Super Mario Bros., нажав кнопку прыжка, вы ожидаете, что Марио подпрыгнет (если видели это раньше). Нажав «вниз», вы ожидаете, что он присядет. Но вы вряд ли ждете, что это действие заставит героя исчезнуть в трубе и попасть в подземный мир! Идея заключалась в том, чтобы побудить агента исследовать игру, сделав такие сюрпризы желанными и превратив ошибки прогнозирования в
награду. Действие с неожиданным итогом подкрепляется так же, как и получение игровых очков.
Группа Патака анализировала поведение, порождаемое таким вознаграждением за неожиданность. В трехмерном лабиринте, созданном на движке Doom, они размещали своего агента все дальше и дальше от цели. Агенты, обучаемые только явными наградами были склонны «сдаваться», если не могли найти цель случайным перебором. Агенты же, мотивированные неожиданностью, исследовали лабиринт ради самого процесса: что там за углом? Как выглядит та комната вблизи? В итоге любопытные агенты находили путь к цели в гораздо более сложных лабиринтах, где обычные агенты пасовали.
Команда Патака объединилась с исследователями из OpenAI для дальнейшего изучения ошибки прогнозирования как сигнала вознаграждения. Удивительно, но они обнаружили, что значительное упрощение архитектуры работает не хуже, а иногда и лучше [512]. Вместо нейросети, предсказывающей реальные последствия, они использовали сеть, предсказывающую появление случайных характеристик изображения (Random Network Distillation, RND) [513]. Исследователи из OpenAI под руководством Юрия Бурды и Харрисона Эдвардса доработали этот метод. Вскоре они обратили внимание на Montezuma’s Revenge.
RND-агента отправили в свободное плавание по храму. Движимый только внутренним вознаграждением за неожиданности, он в среднем исследовал от 20 до 22 комнат из 24. Более того, в одном из запусков он сделал нечто невиданное: добрался до последней, 24‐й комнаты и выбрался из храма [514]. Панама Джо открыл последнюю дверь и оказался на фоне синего неба, усеянного драгоценными камнями. Казалось, он падает сквозь небеса – это самый трансцендентный момент в игре. Каждый камень приносил тысячу очков, и это было очень неожиданно [515].
За пределами вознаграждения
Становится предельно ясно, что «внутренняя мотивация», основанная на новизне, неожиданности или схожих принципах, – это чрезвычайно полезный инструмент, помогающий системе увеличить внешние вознаграждения от окружающей среды. Он особенно незаменим, когда внешние награды редки или их трудно найти.
Разумеется, возникает искушение спросить: что произойдет, если мы доведем идею алгоритмического любопытства до логического завершения и создадим агентов обучения с подкреплением, которые, как ни парадоксально, вообще не будут заботиться о внешних наградах?
Как будет вести себя такой агент? На что он будет способен?
Практически каждый, кто изучал внутреннюю мотивацию, задавался этим вопросом, и постепенно начала вырисовываться интересная картина.
Марк Беллемаре и его коллеги из DeepMind продолжали работать над расширением вознаграждения, основанного на новизне, в более сложных средах. Их последующая работа привела к открытию того, что они назвали «раздвиганием границ внутренней мотивации» [516]. Ученые увеличивали бонус за новизну в 10–100 раз и наблюдали как количественные, так и качественные изменения в поведении.
Вполне ожидаемо агент начал вести себя несколько возбужденно. Вместо того чтобы сосредоточиться на наборе очков (что часто приводит к стабильному и предсказуемому накоплению опыта), «максимально любопытный» агент получал исключительно за исследовательское поведение. Эти вознаграждения нестабильны: они исчезают по мере того, как среда становится знакомой [517]. Поэтому агент неустанно охотится за новым вместо того, чтобы вырабатывать устойчивые шаблоны поведения.
Менее ожидаемым было то, насколько успешно агент действовал в игре, несмотря на безразличие к счету. Агенты с гипертрофированным бонусом за новизну набрали наибольшее количество очков в четырех разных играх. Любопытство породило мастерство. Удивительно, но вознаграждения исключительно за новизну, без доступа к счету, оказалось достаточно для успешной игры во многих проектах Atari – о существовании очков агенты даже не подозревали!
Разумеется, нужно сказать, что хорошие игры разрабатываются с учетом внутренней мотивации человека. Очки – это всего лишь пиксели в углу экрана, и игрок сам решает, важны они для него или нет. Поэтому вполне объяснимо, что любопытство и тяга к исследованиям оказались подходящей заменой стремлению максимизировать счет. По крайней мере, это справедливо для большинства игр. Например, в Super Mario Bros. очки даются за сбор монет, разбивание кирпичей и прыжки на врагов, но суть игры – вести Марио вперед, к неизведанным местам. В этом смысле агент с внутренней мотивацией, возможно, лучше соответствует духу игры, чем тот, что руководствуется желанием собирать очки, которые в итоге оказываются бессмысленными.
Группа Дипака Патака в Беркли, а также Юрий Бурда и Харри Эдвардс из OpenAI продолжили работу над этой проблемой, проведя совместное масштабное и систематическое исследование обучения без каких‐либо внешних вознаграждений [518].
Одной из самых поразительных находок стало то, что в большинстве случаев нет необходимости явно сообщать агенту о его смерти. Если цель – максимизировать внешний счет, сигнал о гибели действительно полезен: это одновременно и финальный вердикт по набранным очкам, и сообщение о том, что больше баллов получить не удастся (что обычно снижает желание умирать снова). Но для агента, движимого чистым любопытством, смерть означает лишь перезагрузку игры, а это невероятно скучно! Начало игры – самый знакомый и изученный этап, в нем нет ни новизны, ни сюрпризов. Оказалось, что скука сама по себе служит необходимым сдерживающим фактором [519].
Также обнаружилось интересное исключение из списка игр, в которых внутренне мотивированные агенты набирали на удивление много очков. Этим исключением стала игра Pong. Агент, движимый только внутренними стимулами и безразличный к счету, играет не ради победы над соперником, а ради того, чтобы сделать розыгрыш мяча максимально долгим. Ведь если кто‐то забивает гол, начинается новый раунд, что для агента равносильно скучной «перезагрузке» после смерти в других играх. Возвращение к заезженной стартовой позиции – это тоска по сравнению с непредсказуемыми ситуациями, возникающими в длинной серии ударов.
Команде стало интересно, что произойдет, если такому агенту выпадет шанс сыграть против своей копии. Как поведут себя два любопытных агента в игре, где победить может только один? Ответ: возникает сотрудничество с ненулевой суммой, поскольку обе стороны стремятся к одной цели – уйти подальше от скучного начального состояния. Другими словами, они бесконечно перебрасываться мячом. «На самом деле, – пишут исследователи, – розыгрыши длились так долго, что „ломали“ наш симулятор Atari». Экран начинал дергаться и покрываться помехами. Ищущие неожиданностей агенты, разумеется, были счастливы [520].
Идея отказаться от игрового счета и создать агента, мотивированного только изнутри, может показаться странной, ведь сфера обучения с подкреплением с момента основания строилась вокруг максимизации внешней награды. Зачем отказываться от главного критерия оценки поведения?
Сатиндер Сингх из университета Мичигана совместно с психологом Ричардом Льюисом
