LLM для получения нужных результатов – при этом избегая распространенных ловушек, о которых мы еще поговорим, – смогут возглавить тренд развития генеративного ИИ.
Как практики в области ИИ мы считаем, что для получения представления о том, когда и как использовать эти модели, необходимо базовое понимание их работы. В этой главе мы поговорим о том, почему LLM совершили прорыв, как они работают и где их можно применять, какие у них есть поразительные возможности и потенциальные проблемы. Мы также объясним, что делает LLM такими важными и почему так много людей взбудоражены (и обеспокоены) ими, и почему мы посвятили им целую книгу. Билл Гейтс назвал этот тип искусственного интеллекта «столь же важным, как компьютер или интернет» и сказал, что ChatGPT изменит мир3. Тысячи людей, включая Илона Маска и Стива Возняка, поддержали и подписали открытое письмо организации Future of Life Institute, в котором содержится призыв приостановить исследования и разработку этих моделей, пока человечество не будет лучше подготовлено к возможным рискам (см. http://mng.bz/847B). Это напомнило ситуацию, когда компания OpenAI в 2019 году уже создала предшественника ChatGPT, но заявила, что не будет выпускать полноценную модель из-за опасений ее неправильного использования4. Из-за всей этой шумихи, обилия противоречащих друг другу мнений и преувеличенных заявлений непросто продраться к сути и понять, на что LLM способны, а на что – нет. Но вам поможет это сделать наша книга. Кроме того, мы надеемся, что она послужит полезной опорой для понимания основных идей «ответственных технологий», включая конфиденциальность данных и алгоритмическую прозрачность, а также связанных с ними проблем.
Поскольку вы читаете эту книгу, возможно, вы уже кое-что знаете о генеративном ИИ. Вероятно, вы переписывались с ChatGPT или другим чат-ботом; может быть, этот опыт привел вас в восторг или даже встревожил. Эти реакции вполне понятны. В этой книге мы рассмотрим LLM детально и прагматично, поскольку считаем, что, несмотря на несовершенства, LLM появились, чтобы остаться надолго, и нужно, чтобы как можно больше людей помогали им лучше работать на благо общества.
Несмотря на шумиху, ChatGPT – это не глобальный технический прорыв, а скорее, очередной шаг в постепенном усовершенствовании быстро развивающейся области обработки естественного языка – больших языковых моделях. В частности, ChatGPT – это LLM, предназначенная для ведения диалогов; другие модели могут быть адаптированы для других целей или для общего использования в задачах по обработке естественного языка. Подобная гибкость – один из аспектов больших языковых моделей, который делает их такими производительными по сравнению с предшественниками. В этой главе мы дадим определение большим языковым моделям и обсудим, как они достигли таких преимущества в области обработки естественного языка.
1.1. Как развивалась обработка естественного языка
Обработка естественного языка – это техническая дисциплина, связанная с созданием машин, которые могут обрабатывать человеческий язык или данные, похожие на него, тем самым выполняя полезные для пользователя задачи. Эта дисциплина так же стара, как сами компьютеры: когда они были только изобретены, одной из потенциальных областей их применения предполагался перевод с одного человеческого языка на другой. Конечно, в то время само программирование выполнялось совсем иначе – программа задавалась последовательностью логических операций, записанных на перфокарте. Тем не менее, чтобы компьютеры могли полностью реализовать свой потенциал (и люди это осознавали), необходимо было научить их понимать естественный язык – преобладающую форму общения в мире. В 1950 году британский ученый в области компьютерных наук Алан Тьюринг опубликовал статью, в которой предложил способ оценки искусственного интеллекта, ныне известный как тест Тьюринга5. В популярной формулировке, машина считается «обладающей интеллектом», если в разговоре она способна давать ответы, неотличимые от человеческих. И хотя сам Тьюринг не использовал подобную терминологию, это каноническая задача для понимания и генерации естественного языка. В настоящее время тест Тьюринга как способ оценки интеллектуальной системы считается неполным, поскольку его легко проходят многие современные программы, способные имитировать человеческую речь, но при этом негибкие и не умеющие выстраивать логические выводы6. Тем не менее он служил критерием для оценки на протяжении десятилетий, да и сейчас остается популярным стандартом для современных моделей по обработке естественного языка.
Ранние программы по обработке естественного языка использовали тот же подход, что и первые системы искусственного интеллекта, следуя набору правил и эвристик. В 1966 году Джозеф Вейценбаум, профессор Массачусетского технологического института (MIT), выпустил чат-бота, которого назвал ELIZA в честь персонажа пьесы «Пигмалион». ELIZA разрабатывалась для терапевтических целей. Предполагалось, что чат-бот будет общаться с пациентом с помощью открытых вопросов, а на слова и фразы, которые не смог распознать, будет давать общие ответы, например «Продолжайте, пожалуйста». Хотя бот работал по простому алгоритму сопоставления с образцом, люди чувствовали себя с ним вполне комфортно и могли делиться интимными подробностями. Например, во время тестирования бота секретарша Вейценбаума попросила его выйти из комнаты7. Вейценбаум писал, что был ошеломлен, до какой степени люди, беседовавшие с ELIZA, приписывали модели настоящее сочувствие и понимание. Однако антропоморфизм, примененный к его инструменту, беспокоил Вейценбаума, и впоследствии он потратил немало времени, пытаясь убедить людей, что чат-бот ELIZA на самом деле не так хорош, как его восхваляли.
Хотя основанный на правилах синтаксический анализ текста оставался распространенным в течение последующих нескольких десятилетий, такого рода подходы оказались нестабильными, требовали сложной логики «если – то» и значительных лингвистических знаний. Однако к 1990‐м годам некоторые из лучших результатов в задачах типа машинного перевода были достигнуты с помощью статистических методов, чему способствовали возросшая доступность как данных, так и вычислительных мощностей. Переход от методов, основанных на правилах, к статистическим методам представлял собой серьезную смену парадигмы в обработке естественного языка: людям уже не надо было обучать свои модели грамматике, тщательно определяя и выстраивая такие языковые понятия, как части речи и времена. Новые статистические модели добивались большего успеха, самостоятельно изучая закономерности при обработке тысяч переведенных документов.
Этот тип машинного обучения называется обучением с учителем, поскольку модель получает то, что мы обычно называем размеченными данными, – данные, для которых известны правильные ответы, в данном случае – переведенные документы. В других системах могут использовать обучение без учителя, то есть по неразмеченным данным, или обучение с подкреплением – метод на основе проб и ошибок, где модель постоянно обучается находить наилучший результат, получая обратную связь в виде вознаграждений и штрафов. Сравнение между этими тремя типами приведено в таблице 1.1.
Таблица 1.1. Типы машинного обучения
При обучении с подкреплением (рис. 1.1) вознаграждения и штрафы – это числовые значения, которые направляют прогресс модели в выполнении конкретной задачи. Когда поведение вознаграждается,
