вы посоветовать, куда мне пойти? И прикрепил какую‐то свою работу, чтобы он понял, что мне стоит отвечать». Хаттер ответил практически сразу: «Вы должны приехать
к нам, но до окончания приема заявок осталось три дня».
Лейке смеется: «Только представьте: у меня нет ни диплома, ни каких‐либо документов на английском. Я не сдавал языковой тест. И все это нужно было решить за три дня». Ему также предстояло с нуля написать план будущего исследования. И все это во время поездки в другой город. «Как вы понимаете, те три дня я почти не спал».
Лейке подчеркивает: «Вообще, это ужасный способ поступать в аспирантуру: написать одному человеку без всякого поиска и сразу поехать к нему. Так делать не надо!»
К концу года Лейке переехал в Канберру (Австралия) и начал работать с Хаттером. Диссертацию он завершил в конце 2015 года, изучив теоретическую модель агента AIXI (о котором мы упоминали в главе 6) и задокументировав ситуации, в которых такой агент демонстрирует «совершенно неверное поведение» [671]. Защитив степень, Лейке вышел на рынок труда. В то время в мире было всего три-четыре места, где можно было строить карьеру в сфере безопасности ИИ. После полугодовой стажировки в Институте будущего человечества (Оксфорд) он получил постоянную должность в лондонском офисе DeepMind.
«Тогда я много размышлял о выравнивании ценностей и о том, как его реализовать, – говорил Лейке. – Казалось, суть проблемы сводится к вопросу: как обучить саму функцию вознаграждения? Я связался с Полом Кристиано и Дарио Амодеи, так как знал, что они думают о том же».
Пол Кристиано и Дарио Амодей, работавшие в Сан-Франциско, действительно заинтересовались идеей. Кристиано только начал работать в OpenAI и как раз искал масштабный проект. Он продвигал идею обучения с подкреплением при минимальном контроле со стороны человека: когда система получает оценку не 15 раз в секунду, а периодически, во время случайных проверок. Тренировать куратора-человека на играх Atari было сложно, но ученые решили: если обратную связь системе будут давать живые люди, а не программный алгоритм, это вызовет больший резонанс и наглядно покажет перспективы проблемы выравнивания ИИ.
Команда Кристиано из OpenAI и группа Лейке из DeepMind решили объединить интеллектуальный и вычислительные ресурсы. Они задались вопросом: может ли машина обучиться сложной функции вознаграждения, опираясь исключительно на оценки людей? Этот проект стал одной из важнейших работ 2017 года в области безопасности ИИ. Он примечателен не только результатами, но и тем, что объединил две ведущие лаборатории мира для решения проблемы выравнивания [672].
Исследователи разработали масштабный тест для алгоритма обратного обучения с подкреплением без демонстрации нужного поведения. Идея была следующей: автономный агент действовал в виртуальной среде и время от времени отправлял человеку два коротких видеоклипа со своими случайными действиями. Человек получал простую инструкцию: «Посмотри клипы и выбери тот, который тебе больше нравится». ИИ пытался скорректировать свои представления о вознаграждении на основе этих оценок, а затем использовал обновленную метрику (как в обычном обучении с подкреплением), чтобы искать новые удачные паттерны поведения. Достигнув нового максимума, система снова посылала пару клипов человеку на проверку.
Часть экспериментов проходила в классических играх Atari, где есть объективная шкала успеха – игровой счет. Исследователи хотели узнать, как далеко продвинется алгоритм, если лишить его доступа к счету и оставить лишь догадки, основанные на том, какие клипы выбирает человек. В большинстве случаев система справлялась достойно, хотя и не превосходила результаты программ, обученных напрямую максимизировать счет. Однако в гоночной игре Enduro, где требовалось совершать сложные обгоны, обучение на основе оценок человека сработало даже лучше, чем на основе реальных очков. Это указывало на то, что люди своими оценками интуитивно создали отличную «формирующую» систему вознаграждений.
«Игры Atari с их эталонным счетом очень помогли, – вспоминал Лейке. – Они позволяли нам провести диагностику. Мы могли буквально измерить качество выравнивания, спросив: насколько выведенная функция вознаграждения совпадает с реальным счетом?»
Но команда хотела пойти дальше. Нужны было найти задачу, которая была бы полностю субъективной: без встроенного в игру счетчика, сложную для математического описания, но такую, чтобы человек сразу понял: «Да, это то, что нужно!»
Вскоре они нашли идеальный вариант. Сальто назад.
«Я просматривал модели всех виртуальных роботов в симуляторе, – рассказывал Кристиано, – и думал: какая самая крутая вещь могла бы получиться у одного из них?» [673]
Его взгляд упал на модель под названием «прыгун» – это была одиночная механическая нога с огромной ступней. «Моей первой амбициозной мыслью было: выглядит так, будто он способен кувыркнуться назад».
План созрел. Исследователи поместили простейшего робота в виртуальную среду MuJoCo – физический симулятор, где действовали лишь законы гравитации и трения. Их цель: научить «ногу» делать кувырок назад [674]. Идея казалась безумной: «Пусть робот просто как‐то подергается, человек сравнит видео и выберет то, где движение больше похоже на сальто. Затем попросим робота подергаться сильнее и посмотрим, что выйдет».
Кристиано начал первый из множества многочасовых сеансов оценки видео. Пара за парой, клип за клипом, он просто выбирал тот, который хотя бы отдаленно напоминал нужный трюк. Левый. Правый. Правый. Левый.
«Я радовался каждому микроскопическому шажку, – рассказывал Кристиано. – Сначала он просто опрокидывался, и я был в восторге, что при хаотичных движениях он иногда падает в нужную сторону. Потом я радовался, когда он стал падать только в нужную сторону». Прогресс шел мучительно медленно. «Я просто сидел и кликал. Левый. Правый. Сотни и сотни раз».
«Наверное, самый сильный восторг я испытал, когда он начал опрокидываться в прыжке», – вспоминал исследователь.
В итоге, после сравнения нескольких сотен клипов (на что ушло около часа времени человека), робот начал выполнять идеальное, невероятно красивое сальто назад: он группировался в воздухе, как профессиональный гимнаст, и безупречно приземлялся на ногу.
Эксперимент повторили с другими людьми-оценщиками. Сальто каждый раз получались немного разными – будто каждый человек вкладывал в обучение собственную эстетику идеального прыжка.
Кристиано показал видео на еженедельном совещании OpenA I. «Смотрите! – сказал он. – Мы это сделали». Коллеги были в восторге.
«Я был по-настоящему счастлив, – говорил Лейке. – Мы ведь даже не знали, сработает ли эта безумная идея».
Я сказал им, что проект показался мне не просто впечатляющим, но и обнадеживающим: ведь не так уж сложно представить, как слово «сальто» заменяется на более абстрактные понятия, такие как «готовность помочь», «доброта» или «хорошее поведение».
«Именно, – ответил Лейке. – В этом‐то все и дело» [675].
Обучение сотрудничеству
В 2013 году Дилан Хэдфилд-Менелл поступил в Калифорнийский университет в Беркли после получения степени магистра в Массачусетском технологическом институте, где он учился под руководством пионера робототехники и обучения с подкреплением Лесли Кэлблинг. Он предполагал, что тема его будущей докторской
