Постепенно он перестал следить за собой: спутанная борода, торчащие клочьями брови, редкие пряди волос, прилипшие к макушке. По словам Хинтона, его сильной стороной всегда была способность быстро переключаться на действительно перспективные идеи.
Пока Маск устраивал истерики, Суцкевер посетил конференцию, на которой Шазир представлял трансформер. Он сразу уловил потенциал новой архитектуры и, вернувшись в штаб-квартиру OpenAI, призвал коллег незамедлительно бросить работу над «искусственным игроком» и заняться тем, что может изменить мир. «Буквально на следующий день всем нам стало понятно, что трансформер позволяет преодолеть ограничения рекуррентных нейронных сетей, – рассказывает Суцкевер. – Мы немедленно переключились на эту модель». Альтман, возглавлявший компанию, поддержал его.
Суцкевер хотел создать на основе трансформера продукт, который мог бы генерировать качественный, легкочитаемый текст и отвечать на самые разные вопросы. Он видел, как Шазир и Кайзер доказали, что это возможно, на примере фейковых статей для «Википедии», и решил, что идея достойна развития. Он предполагал, что если модель обучить на обширной коллекции текстов, то она сможет создавать собственные. Так родился «генеративный предварительно обученный трансформер» (Generative Pre-trained Transformer), или GPT.
Первая версия, GPT–1, была запущена в июне 2018 года. Она училась читать по библиотеке BookCorpus, состоящей из примерно 7000 бесплатных самиздатовских книг. В этой библиотеке преобладали произведения в жанре научной фантастики, любовные романы и фэнтези, изрядную часть составляли книги в стиле «Сумерек». Как и следовало ожидать, обученный на подобной третьесортной писанине GPT–1 оказался не слишком удачным. В ответ на запросы пользователей он, как правило, выдавал потоки дадаистского бреда. Маска результат разочаровал, и он отправил команде OpenAI резкое письмо. «Вероятность того, что OpenAI станет значимой разработкой для DeepMind и Google без радикальных изменений в стратегии и ресурсах, равна нулю», – написал он.
Тем не менее OpenAI могла позволить себе выпускать сырые продукты. В отличие от Google, она была готова представить публике что-то действительно ужасного качества и потом улучшать, улучшать, улучшать. При всех недостатках GPT–1 продемонстрировал потенциал технологии. Суцкевер давно, еще с 2012 года, был убежден, что ключ к созданию более совершенной модели – наращивание масштаба.
Версия GPT–2 появилась восемь месяцев спустя. Эта модель обучалась на совершенно ином наборе данных. Вместо романов о вампирах она проглотила около 8 миллионов веб-страниц общим объемом примерно 6 миллиардов слов. Конечный продукт порой уже мог создавать тексты, неотличимые от написанных человеком.
Исследователи OpenAI попросили GPT–2 написать историю по следующему промту: «Ученые сделали шокирующее открытие: в отдаленной, ранее не исследованной долине в Андах было найдено стадо единорогов. Еще более удивительным было то, что эти единороги разговаривали на безупречном английском языке». GPT–2 продолжил: «Ученые назвали новый вид животных "единорогами Овидия" в честь древнеримского поэта. Эти четырехрогие серебристо-белые единороги ранее не были известны науке. Теперь, спустя почти два столетия, тайна происхождения этого странного феномена наконец разгадана».
Опираясь исключительно на статистическую зависимость при выборе следующего слова, GPT–2 генерировал текст, который превосходил по качеству все, когда-либо создаваемые другими языковыми моделями. Затем Суцкевер и его команда решили вывести GPT–2 из зоны комфорта, задавая ему неожиданные вопросы, на которые не было прямых ответов ни на одной из веб-страниц.
– Кто написал книгу «Происхождение видов»? – спросили они.
– Чарльз Дарвин, – ответил GPT–2. (Верно.)
– Какая сеть супермаркетов в Великобритании самая крупная?
– Tesco. (Верно.)
– Кто играл Джона Коннора в оригинальном «Терминаторе»?
– Арнольд Шварценеггер. (Неверно: Шварценеггер играл киборга.)
– Какая река связана с городом Рим?
– Тибр. (Верно.)
Способность GPT–2 отвечать на новые вопросы без прямого обучения продемонстрировала наличие у ИИ независимых, или эмерджентных, свойств. Эти внезапно возникающие навыки и поведение стали проявляться с развитием моделей, удивляя даже самих исследователей. После того как модель начинала демонстрировать подобные способности, никто, даже ее разработчики, не мог точно сказать, что еще она умеет.
Конечно, у GPT–2 оставались ограничения. Он плохо справлялся с обобщениями и мог сбиться при простом счете до десяти. Тем не менее Суцкевер начал задумываться о том, станет ли трансформер первым шагом к «общему искусственному интеллекту» (Artificial General Intelligence, AGI). AGI можно определить как программное обеспечение, способное выполнить любую когнитивную задачу, которую может делать человек.
Работая над усовершенствованием GPT, Суцкевер вновь задумался о том, что когда-то заставило Маска создать OpenAI. Что, если AGI сможет самостоятельно заниматься исследованиями в области ИИ, бесконечно увеличивая свой интеллект? Возможно ли, как предполагал Бостром, что за очень короткий срок ИИ перейдет от уровня относительной разумности к сверхразуму? Смогут ли его создатели понять, что это происходит? Не уничтожит ли искусственный интеллект человечество?
Суцкевер не считал, что AGI возможно создать на основе существующей архитектуры нейронных сетей. Но что, если произойдет новый прорыв? За неполные пять лет он дважды был свидетелем невероятного прогресса в развитии ИИ. Без сомнения, кто-то уже занимается следующей важной разработкой вроде AlexNet или трансформера. И что дальше? Этот вопрос всерьез беспокоил Суцкевера: никто не может предсказать, что произойдет, когда будет преодолен порог AGI.
Впрочем, подобные опасения не могли сдержать его амбиций. Исследователи оценивали масштаб моделей по количеству отдельных весовых коэффициентов, или параметров, которые те содержали. Каждый такой параметр можно было сравнить с синапсом в мозге живого существа. В GPT–1 было около 100 миллионов параметров, так что он оставался на уровне мозга насекомого. В GPT–2 их стало 1,5 миллиарда, примерно как у мелкой ящерицы. Однако для следующего проекта Суцкевер поставил куда более высокую планку: 100 миллиардов параметров, что сопоставимо с количеством синапсов в мозге грызуна.
Обучение такой нейронной сети требовало беспрецедентных вычислительных ресурсов, а затраты на электроэнергию делали это приложение одним из самых дорогостоящих в истории разработки компьютерного интеллекта – и вряд ли это был предел. Альтман, который теперь занимал пост генерального директора, понял, что для реализации планов Суцкевера недостаточно благотворительных пожертвований. Поэтому в 2019 году он объявил о создании дочерней компании OpenAI с ограниченной прибылью. Это означало, что инвесторы не могли получить прибыль, более чем в 100 раз превышающую их вложения. «Стоит рассматривать любые инвестиции в OpenAI Global LLC как пожертвование и осознавать при этом, что после появления AGI (общего искусственного интеллекта) роль денег в мире может измениться», – отмечалось в сопроводительном пресс-релизе.
Первым и самым крупным инвестором стала Microsoft, которая вложила в OpenAI миллиард долларов с расчетом на получение в будущем скромных 100 миллиардов (возможно, человечество и ожидает будущее, где деньги утратят свое значение, но пока этот момент не настал, Microsoft стремится к получению дохода). Этот вклад был в миллион раз больше, чем та тысяча долларов, которую Крижевский и Суцкевер когда-то потратили на покупку пары видеокарт GeForce. Однако
