Доклад П. Н. Барышникова «Troll ex Machina: алгоритмы и оскорбленные чувства»

В докладе пойдет речь о некоторых этических проблемах, возникших в ходе успешного применения в различных сферах авторегрессионных трансформерных генераторов (типа GPT-3) . Архитектура GPT (Generative Pre-trained Transformer — заранее обученный генеративный трансформер) без дополнительного до-обучения способна генерировать любой текст, схожий с тем, на котором она натренирована. GPT-3 (продукт компании OpenAI из Сан-Франциско) был обучен на огромном массиве данных, состоящим из текстов миллионов интернет-страниц, книг и других источников, содержащих примерно 57 миллиардов слов, и система выявила 175 миллиардов параметров для векторного представления последовательностей слов. Нейросеть теперь не только изъясняется корректным английским языком без каких-либо ошибок, но и способна писать тексты любого формата и любой тематики, где в один контекст связаны не только отдельные слова или предложения, но даже абзацы и параграфы. Она может сохранять свою мысль на очень длинной дистанции. И она много знает о нашем мире, просто потому что она это уже прочитала. И она без проблем сможет достать из памяти ответ на любой вопрос, стоит лишь правильно его сформулировать. Модель не нужно глобально переобучать или приспосабливать, достаточно лишь относительно мелкой настройки. В результате «из-под пера» машины стали выходить тексты, по форме, содержанию и чувствительности к контексту неотличимые от текстов, сгенерированных человеком. В функциональном смысле получилось «усредненное цифровое зеркало», в котором отразилась вся активность человечества по производству текстов. На смену энтузиазму пришли опасения, т.к. стали появляться бессмысленные, оскорбительные, подстрекательные, провокационные, ложные, но при этом качественные по форме и стилю тексты, сгенерированные машиной. Попытаемся осмыслить причины и способы решения возникшей проблемы.

Рекомендуемая литература:

Burruss, M. The (Un)ethical Story of GPT-3: OpenAI’s Million Dollar Model, 2020. [Электрон.  ресурс]. https://matthewpburruss.com/post/the-unethical-story-of-gpt-3-openais-million-dollar-model/Tingiris, S.;

Kinsella, B. Exploring GPT-3. Birmingham: Packt Publishing Ltd., 2021. – 296. ISBN  978-1-80056-319-3. 

Strickland, E. OpenAI's GPT-3 Speaks! (Kindly Disregard Toxic Language) Ready or not, powerful  text-generation AI will soon be assuming roles of customer service reps and video game  characters. [Электрон. ресурс] https://spectrum.ieee.org/open-ais-powerful-text-generating-tool-is-ready-for-business#toggle-gdpr