трех играх программа показала результат, сопоставимый с уровнем человека. Чтобы зафиксировать успех, исследователи выступили с докладом на семинаре в конце 2013 года [467]. «Это стало своего рода доказательством того, что сверточные нейронные сети действительно на такое способны», – говорил Беллемаре.
«По сути, – продолжал он, – внедрение глубокого обучения сделало то, чего исследователи в области обучения с подкреплением не могли достичь долгие годы: оно позволило создавать признаки на лету. Теперь это стало возможным для любой игры, неважно какой. А потом все это… – Беллемаре сделал небольшую паузу, – обрело невероятную популярность».
Глубокое обучение с подкреплением
В феврале 2015 года на обложке журнала Nature появилась статья под заголовком «Обучение с подкреплением на уровне человека посредством глубокого обучения» [468]. Представленный DeepMind гибрид классического обучения с подкреплением и нейронных сетей показал способность достигать уровня человека – и даже превосходить его – не в одной-двух играх Atari, а в десятках. В сфере ИИ началась революция, породившая новую отрасль – «глубокого обучения с подкреплением». Результаты были ошеломляющими.
Модель под названием «глубокая Q-сеть» (deep Q-network, DQN) превзошла профессионального тестировщика в игре Video Pinball в 25 раз. В Boxing она оказалась лучше человека в 17 раз, а в Breakout – в 13. Таблица, занимавшая почти целую страницу, документировала это подавляющее превосходство в самых разных жанрах. И везде использовалась одна и та же модель, без какой‐либо специальной настройки или адаптации под конкретную игру.
Однако внизу таблицы оставалось несколько «упрямых» игр, отказавшихся подчиниться DQN и не вписавшихся в эту историю успеха. Среди них особенно выделялась одна, занимавшая последнюю строчку.
Этим исключением стала Montezuma’s Revenge – игра 1984 года, где вам предстоит управлять исследователем по имени Панама Джо. Его цель – пробраться через лабиринт храма, полного веревок, лестниц и смертельных, почти незаметных ловушек. («Я не изучал историю Монтесумы или ацтеков, – признавался создатель игры Роберт Джегер, которому было всего шестнадцать, когда он продал демоверсию Parker Brothers. – Просто подумал, что это колоритная тема и крутое название».) [469] В Montezuma’s Revenge лучшим результатом мощной нейросети DQN стали 0 % – да, именно ноль – от достижений человека.
В чем же была проблема?
Во-первых, в этой игре очень легко умереть. Практически любая ошибка – столкновение с врагом, падение с высоты, попытка пройти сквозь препятствие – означает мгновенную смерть. Система DQN использовала эпсилон-жадную стратегию исследования среды, при которой часть времени обучение происходит путем случайного нажатия кнопок. В Montezuma’s Revenge это равносильно самоубийству.
Во-вторых – и это куда важнее – в Montezuma’s Revenge крайне редкие вознаграждения. Игроку нужно выполнить длинную цепочку правильных действий, прежде чем он получит хоть какие‐то очки. В играх вроде Breakout или Space Invaders даже растерянный новичок, беспорядочно давя на клавиши, быстро понимает, что делает что‐то неправильно. Этого достаточно для запуска процесс обучения: DQN фиксирует полученные очки и постепенно начинает чаще повторять успешные действия. В Montezuma’s Revenge, напротив, событий, дающих обратную связь (помимо смерти), очень мало. К примеру, на первом же экране вам нужно перепрыгнуть четыре ямы, подняться по трем лестницам, пробежать по конвейеру, вскарабкаться по канату и перепрыгнуть через катящийся череп. И все это лишь для того, чтобы найти первый ключ, который принесет жалкие сто очков (и первые ноты мелодии «Кукарача»).
В среде с таким дефицитом наград алгоритм случайного поиска не может нащупать верный путь. Вероятность того, что, хаотично дергая джойстик, он случайно выполнит всю последовательность действий и получит первую награду, ничтожно мала. А пока этого не произойдет, он даже не узнает, движется ли в правильном направлении [470].
Одно из решений проблемы разреженности, как мы уже видели, – это введение дополнительных промежуточных наград, направляющих алгоритм. Но мы также знаем, как сложно это сделать, не создавая лазеек для системы. Если, например, награждать Панаму Джо за каждую секунду жизни, агент может просто никогда не покинуть безопасную стартовую платформу. Получится машинная версия того, что ученые называют «выученной беспомощностью» [471]. Как метко заметил автор афоризмов Эшли Бриллиант: «Если вы достаточно осторожны, с вами не случится ничего: ни хорошего, ни плохого» [472].
Другие очевидные идеи проваливаются с не меньшим треском. Скажем, награда за прыжок через катящийся череп может заставить агента прыгать через него снова и снова вместо того, чтобы идти вглубь храма. А поощрение за прыжки на канат приведет к бесконечному раскачиванию в стиле Тарзана. Это совсем не то, чего мы добиваемся.
Более того, такой подход к формированию навыков обычно требует ручной настройки под каждую игру и участия человека, знающего ее механику. Это похоже на использование шпаргалок и противоречит самой идее Аркадной обучающей среды и успеха DQN – создать единый алгоритм, способный с нуля освоить десятки разных игр, имея на входе лишь картинку экрана и счет.
Так есть ли разгадка у этой головоломки? Как модифицировать универсальный алгоритм проб и ошибок вроде DQN, чтобы он справился со зловещей Montezuma’s Revenge?
Подсказка лежала на поверхности. Люди явно способны научиться играть в Montezuma’s Revenge безо всяких искусственных наград. Мы инстинктивно хотим забраться по лестнице, добраться до дальней платформы, перейти на следующий экран. Мы хотим узнать, что за закрытой дверью, насколько велик храм, есть ли что‐то за его стенами. Мы делаем это не ради «очков», а по более простой и фундаментальной причине: нам просто интересно, что будет дальше.
Возможно, для победы в таких играх надо не насыщать их дополнительными стимулами, а применить принципиально иной подход. Не создавать все более хитрую систему кнута и пряника, а сделать ровно наоборот – разработать агента с внутренней, а не внешней мотивацией [473]. Агента, который переходит дорогу не потому, что там ждет награда, а чтобы оказаться на другой стороне. Агента, который был бы любопытным.
В последние несколько лет наблюдается возрождение научного интереса к теме любопытства, что привело к неожиданным совместным экспериментам специалистов по машинному обучению и детских психологов. Цель этих союзов – понять природу любопытства со строгой, фундаментальной точки зрения. Чем это такое? Зачем оно нам нужно? Как привить его не только детям, но и машинам?
И почему умение это делать становится все более важным?
Исследование любопытства
Желание знать почему? и как? называется любознательностью … [это] удовольствия для разума. Последнее, сохраняясь в непрерывном и неустанном возникновении знания, превосходит кратковременную силу любого другого плотского наслаждения.
Томас Гоббс [474]
Любопытство – начало всех наук.
Герберт Симон [475]
«Крестным отцом» исследований любопытства в психологии стал Дэниел Берлайн. Его первая публикация, вышедшая в 1949 году, была попыткой
