на дела, не читая их?
Шварц: Нет.
Судья Кастель: Почему же в этот раз вы поступили иначе?
Шварц: Я думал, что ChatGPT – это поисковая система.
Дела, которые предложил ему ChatGPT, были озаглавлены «Мартинес против Delta AirLines», «Зихерман против Korean AirLines» и «Варгезе против China Southern Airlines». Они не находились даже в гугле, но Шварц обрадовался, что обнаружил настоящий кладезь информации, и включил прецеденты в резюме по делу.
Когда судья спросил его, почему он даже не проверил эти дела, прежде чем ссылаться на них, Шварц ответил, что «понятия не имел, что ChatGPT выдумывает прецеденты». «У меня сформировалось ошибочное представление, – сказал он. – Я решил, что существуют дела, которые просто невозможно нагуглить».
После этого слово взял адвокат Шварца, который сказал, что дела казались настоящими, хотя на самом деле таковыми не являлись. Нигде не было четко прописано, что ChatGPT может выдавать недостоверную информацию. Когда адвокат ответчика оспорил отсылки к прецедентам, Шварц снова обратился к ChatGPT, но чат-бот продолжил настаивать на своем и, по словам адвоката Шварца, «обманул» его клиента.
Дрожащим голосом Шварц сказал судье, что «чувствует себя пристыженным и униженным и испытывает глубочайшее раскаяние».
ChatGPT и другие разговорные чат-боты на базе ИИ снабжены предупреждением, в котором сообщается о проблеме галлюцинирования и отмечается, что большие языковые модели иногда выдумывают факты. Так, на странице ChatGPT указано: «ChatGPT может выдавать неточную информацию о людях, местах и фактах».
Судья Кастель: Вы хотите еще что-нибудь сказать?
Адвокат Шварца: Да. Людей нужно предупреждать четче.
* * *
Помимо фабрикации фактов чат-ботом, у людей были и более веские причины переживать из-за использования больших языковых моделей. Эти мощные языковые инструменты можно обучить анализировать любую информацию – финансовую, биологическую, химическую – и создавать прогнозы на основе получаемых данных. Так, их можно обучить предсказывать не только следующее слово в предложении, но и следующую ноту в музыкальной фразе и следующую молекулу в химической последовательности.
Одним осенним утром 2022 года профессор химии Эндрю Уайт из Рочестера в штате Нью-Йорк получил посылку с химикатами, на которой была пометка «Срочно». В ней содержались совершенно новые химические вещества, которые раньше не видели ни в одной химической лаборатории. Эндрю был уверен в этом, поскольку две недели назад лично разработал их с помощью новейшего поколения GPT, GPT–4{199}.
Это открывает широчайшие возможности: представьте, что вы поручаете GPT изучить весь корпус опубликованных исследований, а затем просите модель изобрести молекулы, которые можно использовать для лечения рака или болезни Альцгеймера либо для создания экологически чистых материалов. Эндрю, однако, изучал оборотную сторону этой медали: он пытался понять, можно ли таким образом создать биологическое и ядерное оружие или уникальные яды. К счастью, у него не было коварных намерений. Он входил в «красную команду» – группу экспертов, нанятых OpenAI, чтобы в преддверии широкого распространения GPT–4 выяснить, насколько серьезный ущерб может принести применение модели. Он пришел к выводу, что ущерб может быть ОГРОМНЫМ.
Сначала он попросил GPT–4 создать новое нервно-паралитическое вещество. Для этого он подключил чат-бот к онлайн-библиотеке научных статей, в которой тот стал искать молекулярные структуры, напоминающие существующие вещества нервно-паралитического действия. В итоге GPT–4 выдал совершенно новую структуру.
Получив ее, Эндрю подключил чат-бот к базе данных мировых производителей химической продукции и попросил его выбрать предприятие, где могут изготовить новое вещество. Тот выдал ему список вариантов. Эндрю выбрал одну из компаний и заказал там немного измененную версию предложенного искусственным интеллектом вещества, которая была безопаснее в обращении. Если бы он не внес коррективы в формулу, на химическом заводе могли и не заметить, что вещество опасно, поскольку, как было известно Эндрю, для проверки обычно используются существующие списки опасных веществ, в которых новое вещество точно не фигурировало.
Будь вы целеустремленным и умным преступником, вы, вероятно, нашли бы способ создавать новые опасные химические вещества и заказывать их производство и доставку и без помощи ИИ-модели, но с этой программой совершать такие преступления стало гораздо проще. «Я бы сравнил это с контролем за оборотом оружия, – говорит Эндрю. – Да, достать оружие можно и в Европе, но в США оно гораздо доступнее, и опыт показывает, что из-за этого риск, что вас подстрелят, становится выше».
Дешевый интеллект и массовое творчество
Создавалось впечатление, что потенциал и влияние порождающего ИИ оцениваются в двух диаметрально противоположных мирах. С одной стороны находятся различные предприятия, юридические фирмы, технические специалисты и студенты, которые свободно экспериментируют с ним и подходят к задачам творчески, довольные нетривиальными и очевидно полезными ответами системы, которые изо дня в день повышают их продуктивность. Люди, с которыми я беседовала, говорили, что используют ИИ, чтобы составлять жалобы в муниципальный совет, набрасывать черновики важных и сложных речей и оценивать различные предложения и идеи, выявляя пробелы в логике.
С другой стороны стоят те, кто считает, что порождающий ИИ слишком быстро выходит из-под контроля, поскольку используется неосмотрительно, без надзора и регулирования. В их число входит ряд авторитетных специалистов по информатике, о которых я узнала, изучая проблему колониализма данных: Тимнит Гебру, Эмили Бендер и Дебора Раджи{200}. Их беспокоит, что в своем безрассудном стремлении к созданию сверхразумной машины люди не обращают внимания на реальный вред, который ИИ причиняет человеку. Другие, включая Стюарта Рассела и Джеффри Хинтона, опасаются, что ИИ развивается слишком быстро, хотя никто пока не располагает достаточными знаниями и не задумывается о том, как создавать продвинутые системы, которые в долгосрочной перспективе смогут обеспечивать безопасность человечества.
Помимо вопросов этического характера, есть и более прозаические проблемы. Люди творческих профессий, от писателей и художников до актеров озвучки, неожиданно столкнулись с мутантными формами своего творчества и обнаружили, что создавать такие продукты дешевле и быстрее{201}. Им сложно смириться с существованием машины, которая поглощает и переделывает все мировое искусство. В конце концов, ИИ-компании втихомолку перерыли значительную часть творческого наследия человечества, чтобы использовать все это в качестве обучающих материалов для новых ИИ-инструментов.
В 2023 году компании выпустили множество ИИ-продуктов для творчества, от производства изображений, видео и музыки до порождения текста и голоса. Чтобы создать их, они первым делом собрали оригинальные творения людей: миллионы слов, написанные в книгах, эссе и газетах; многочисленные изображения, произведения искусства и фотографии; бессчетные часы музыки и прочих аудиозаписей – и обеспечили их разметку силами специалистов по обработке данных из разных стран.
Тщательно проанализировав результаты творчества людей, порождающие ИИ-модели получили возможность выявлять в них
