того, как LLM задействуют в качестве социальных чат-ботов, чья основная задача состоит в налаживании дружеских связей с пользователями. Здесь обсуждаются возможные риски для межчеловеческих взаимоотношений и предоставляются советы для людей, общающихся с виртуальными собеседниками.
Глава 8 посвящена разбору описанных ранее опасностей и возможностей, которые несут в себе большие языковые модели. Также здесь перебрасываются мостики между различными концепциями, определяются области дальнейшего развития LLM, анализируются нормы законов, касающихся ИИ, и предлагаются маршруты в лучшее, более равноправное будущее.
Глава 9 служит чем-то вроде приложения – в ней основной текст дополняется ценными материалами на смежные темы. Здесь затрагиваются общий искусственный интеллект (artificial general intelligence, AGI), потенциальная способность ИИ чувствовать, сообщество разработчиков открытого ПО и влияние LLM на окружающую среду.
Данную книгу надлежит читать по порядку, так как последующие главы опираются на идеи, рассмотренные в предыдущих. Тематически она завершается в главе 8, тогда как в главе 9 обсуждаются вопросы, которые прилегают к концепциям, ранее изложенным в тексте.
Дискуссионный форум liveBook
Приобретая это издание, вы получаете бесплатный доступ на liveBook, платформу издательства Manning для онлайн-чтения. Эксклюзивные возможности этого дискуссионного форума позволяют вам добавлять комментарии как к книге в целом, так и к конкретным разделам или параграфам. Так вы сумеете с легкостью делать заметки для себя, задавать технические вопросы или отвечать на них, а также получать помощь от автора и других пользователей. Чтобы войти на форум, перейдите по ссылке https://livebook.manning.com/book/introduction-to-generative-ai/. Больше сведений о площадках Manning и правилах поведения на них ищите по адресу https://livebook.manning.com/discussion.
Мы в Manning обязуемся предоставлять нашим клиентам платформу, на которой читатели смогут плодотворно общаться как между собой, так и с авторами. При этом авторы не обязаны уделять таким беседам какое-то определенное время, то есть их участие в деятельности форума полностью добровольно (и не оплачивается). Чтобы они не утратили интерес, попробуйте удерживать их какими-нибудь хитроумными вопросами! Доступ к форуму и архивам предыдущих дискуссий будет поддерживаться на сайте издательства до тех пор, пока книга имеется в продаже.
Онлайн-ресурсы
На случай, если вы заинтересованы в том, чтобы более подробно узнать о каких-либо конкретных идеях или концепциях, представленных в данной книге, мы упоминаем в тексте ряд научных исследований, произведений и статей. Надеемся, что эти дополнительные материалы окажутся для вас ценными.
Об авторах
Инженер и исследователь Нума Дхамани трудится там, где пересекаются общество и технологии. Будучи экспертом в обработке естественного языка, она также владеет всесторонними знаниями об операциях влияния, безопасности и конфиденциальности. Нума разрабатывала системы машинного обучения как для компаний из списка Fortune 500 [2] и социальных сетей, так и для стартапов и некоммерческих организаций. Она консультировала различные фирмы и структуры, занимала должность научного руководителя в экспериментальных программах Министерства обороны США и сотрудничала со множеством международных журналов, публикующих рецензируемые статьи. Кроме того, она участвует в выработке политики в отношении технологий, поддерживая аналитические центры и некоммерческие организации своими данными и усилиями по контролю ИИ. О ее работе по противодействию дезинформации сообщалось в нескольких СМИ, включая New York Times и Washington Post. Нума увлеченно вносит свой вклад в построение более здоровой онлайн-экосистемы и продвижение ответственного ИИ, а также призывает к прозрачности и подотчетности в технологической сфере. Она владеет учеными степенями в областях физики и химии, полученными в Техасском университете в Остине.
Инженер и исследователь Мэгги Энглер в настоящее время занимается безопасностью LLM. Основное внимание она уделяет проблеме злоупотреблений в онлайн-экосистеме, изучая их с применением аналитики данных и машинного обучения. Мэгги владеет экспертными знаниями в областях защиты информации и обеспечения «безопасности и доверия» пользователей. Она создавала системы машинного обучения для обнаружения вредоносных программ и попыток мошенничества, модерирования платформ и оценки рисков. Кроме того, Мэгги консультировала стартапы и некоммерческие организации по вопросам конфиденциальности и информационной инфраструктуры, а также проводила предварительный технический анализ для венчурных компаний. Будучи идейным наставником и популяризатором науки, она трудится внештатным преподавателем в Школе информатики при Техасском университете в Остине. Мэгги глубоко вовлечена в выработку политики в отношении технологий и сотрудничает с группами гражданского общества, которые выступают за ответственный подход к ИИ и управлению данными. Она владеет степенями бакалавра и магистра электротехники, полученными в Стэнфордском университете.
Об иллюстрации на обложке
На обложке книги размещена картина «Няня» (La nourrice) из книги Луи Кюрмера, выпущенной в 1841 году. Каждая иллюстрация в ней тщательно прорисована и раскрашена от руки.
В те дни можно было с легкостью определить, где живет человек, какое у него ремесло или положение в жизни, просто взглянув на его одежду. Издательство Manning восхваляет изобретательность и инициативность компьютерного бизнеса, выбирая для своих книг обложки, основанные на богатом разнообразии региональных нравов многовековой давности, воскресающих на картинах из подобных коллекций.
1
Большие языковые модели: вся мощь ИИ
Темы этой главы
• Знакомство с большими языковыми моделями (LLM)
• Принцип работы трансформеров
• Области применения LLM, их ограничения и риски
• Обзор передовых диалоговых LLM
Компания OpenAI из Сан-Франциско 30 ноября 2022 года написала в X (Twitter): «Попробуйте пообщаться с ChatGPT – нашей новой системой искусственного интеллекта, оптимизированной для диалога. Ваши отзывы помогут нам улучшить ее»1. Чат-бот ChatGPT, с которым пользователи могут взаимодействовать через веб-интерфейс, компания представила как небольшое обновление уже существующих моделей OpenAI, доступных через API [3]. Однако именно благодаря запуску веб-приложения у любого желающего внезапно появилась возможность общаться с ChatGPT, просить его написать стих или код, посоветовать фильмы или планы тренировок, обобщить или объяснить фрагменты текста. Многие ответы выглядели как волшебство. ChatGPT взбудоражил мир технологий, и за считаные дни у него появился один миллион пользователей, а через два месяца после запуска – 100 миллионов. По некоторым показателям это самый быстрорастущий интернет-сервис за всю историю2.
С момента запуска ChatGPT смог поразить воображение миллионов пользователей и одновременно вызвать опасение у опытных специалистов по поводу недостатков диалоговых моделей. ChatGPT и аналогичные модели относятся к классу больших языковых моделей (LLM), которые навсегда изменили область обработки естественного языка (natural language processing, NLP) и позволили достичь новых результатов в таких задачах, как ответы на вопросы, обобщение текста и генерация текста. Уже существуют прогнозы, что LLM изменят то, как мы учим, творим, работаем и общаемся. Люди почти всех профессий будут как минимум использовать такие модели, а возможно даже, принимать участие в их развитии. Таким образом, люди, которые смогут освоить
