урок на трудном опыте. А еще они узнали несколько вещей, которые помогают справиться с проблемой.
Укрепляйте вознаграждения с помощью цикла: теорема формирования
Астро Теллер, «глава лунных запусков» в Х (компания, ранее известная как Google X), в последние годы контролирует массу проектов: от беспилотных автомобилей Google (впоследствии ставших отдельной компанией Waymo) до системы дополненной реальности Google Glass и исследовательской лаборатории Google Brain. Но в 1998 году он занимался совсем другой проблемой – футболом. Вместе с другом и сокурсником Дэвидом Андре Теллер хотел принять участие в ежегодном футбольном турнире RoboCup, представив программу виртуального футбола, получившую название Darwin United [425]. Формирование навыков с помощью вознаграждения позволило им научить программу играть в футбол. Но возникла проблема. В футболе владение мячом – залог хорошего нападения и хорошей защиты, и это гораздо лучше, чем бесцельно слоняться по полю. Андре с Теллером награждали за это своего робота крошечной долей награды за гол. К их изумлению, программа тряслась над мячом, набирая очки, и больше ничего не делала [426].
В том же году датские исследователи из Института Нильса Бора, Джетте Рандлов и Пребен Альстром, разрабатывали систему обучения с подкреплением, способную управлять виртуальным велосипедом. Перед алгоритмом стояла сложная задача: нужно было одновременно удерживать равновесие и ехать к удаленной цели. Поскольку шансов на то, что система доберется до финиша путем случайных действий, были крайне малы, ученые решили использовать метод промежуточных поощрений. Они настроили программу так, чтобы она получала небольшую награду (баллы) за каждое движение в сторону пункта назначения.
К удивлению исследователей, «агент» начал нарезать круги радиусом 20–50 метров неподалеку от старта [427]. Оказалось, что ученые награждали программу за движение к цели, но забыли ввести штраф за движение в обратную сторону. Система быстро обнаружила эту лазейку и цинично ею воспользовалась, бесконечно «накручивая» очки.
«Разрабатывать подобные функции подкрепления следует очень тщательно», – подытожили авторы эксперимента.
В конце 1990‐х такие поучительные истории всерьез беспокоили Стюарта Рассела из Калифорнийского университета в Беркли и его аспиранта Эндрю Ына (который позже стал вице-президентом и главным научным сотрудником в Baidu). Они видели в этом постоянную угрозу: ИИ будет неизбежно находить «дыры» в правилах, чтобы получить награду в ущерб реальной задаче [428].
Эндрю Ын отличался амбициозностью. Он вспоминал, что в начале карьеры часто спрашивал коллег: «Какая задача в управлении роботами считается самой трудной?» Чаще всего ему отвечали: «Научить компьютер пилотировать вертолет». Именно эту цель он себе и поставил [429].
Свою докторскую диссертацию Ын посвятил обучению с подкреплением на реальной машине, отказавшись от безопасных компьютерных симуляций. Он использовал вертолет Yamaha R‐50 длиной почти три метра, весом 45 кг и ценой 70 000 долларов [430]. Ставки были крайне высоки: любая непредсказуемая ошибка алгоритма грозила не только разбить дорогостоящую технику, но и нанести увечья людям, оказавшимся поблизости.
Главная проблема заключалась в настройке системы поощрений. Ученым нужно было понять, какие промежуточные награды («псевдонаграды») можно добавить, чтобы ускорить обучение, но при этом добиться главной цели, а не просто набрать максимум очков. Используя терминологию Стивена Керра, вопрос звучал так: какое поведение А стоит вознаградить, если мы хотим в итоге получить результат Б? Эндрю Ын описывает эту дилемму следующим образом:
«Простая схема дополнительных наград часто помогает решить, казалось бы, невыполнимые задачи. Однако трудность в том, что, меняя функцию вознаграждения, мы фактически подменяем исходную задачу М на новую – М´. Мы делаем это в надежде, что алгоритм справиться с М´ быстрее и проще. Но всегда остается риск: совершенно не очевидно, будет ли решение, идеальное для модифицированной задачи М´, так же хорошо работать для нашей реальной цели М [431]».
«Насколько свободно мы можем менять функцию вознаграждения, – задавался вопросом Ын, – чтобы при этом оптимальная стратегия поведения оставалась прежней?» [432]
Решение подсказала история с велосипедом. Чтобы не дать ему нарезать круги, бесконечно набирая очки, следовало не только поощрять приближение к цели, но и штрафовать за удаление от нее. Стюарт Рассел, физик по первому образованию, провел параллель между этой задачей и законом сохранения энергии. «Главное, – объясняет он, – чтобы дополнительные награды работали по принципу потенциального поля» [433]. Эти «псевдонаграды» должны были напоминать потенциальную энергию: зависеть только от текущего положения объекта, а не от пройденного им пути. Это гарантировало, что если система вернется в точку старта (сделав круг), итоговый баланс набранных очков будет равен нулю.
Идея интуитивно понятна на примере велосипеда: если мы вознаграждаем за приближение к цели, то обязательно должны штрафовать за удаление от нее. Иначе говоря, количество очков должно зависеть только от того, насколько близко велосипед сейчас к финишу, а не от того, какой длины путь он прошел. Однако аналогия с потенциальной энергией оказалась чем‐то большим, чем просто удачным сравнением. Это стало фундаментальным правилом (необходимым и достаточным условием). Соблюдая его, можно гарантировать, что обучаемый алгоритм будет решать реальную задачу, а не вырабатывать бесполезные или вредные привычки ради награды.
«Общее правило таково, – говорит Рассел. – Оценивать систему нужно по тому, достигла ли она желаемого результата, а не по тому, вела ли она себя так, как представлял разработчик» [434]. Иными словами, вознаграждать следует не за действия, а за изменение ситуации (положение вещей в мире). Обычно это означает прогресс на пути к цели: будь то сокращение физической дистанции или завершение этапов работы – например, написанная глава книги или собранный узел механизма.
Переход от оценки действий к оценке результата – не панацея, но он заставляет по-новому взглянуть на систему мотивации. Представьте ребенка, который специально разбрасывает мусор, чтобы потом получить награду за уборку. Чтобы исправить это с помощью метода «потенциального поля», нужно уравновесить стимулы: ругать за создание беспорядка так же сильно, как хвалить за наведение порядка. Тогда итоговая выгода от хитрости станет нулевой. Однако проще сразу хвалить за состояние, а не за действие. Вместо награды за сам процесс уборки лучше сказать: «Ого, какой чистый пол!»
Разумеется, наука о вознаграждениях не сводится лишь к тому, чтобы робот не бегал по кругу, – это только азы. Ын и Рассел завершили свою работу не на торжественной ноте, а предостережением. «Мы считаем, – писали они, – что задача поиска правильных формирующих функций в будущем станет одной из ключевых проблем» [435].
Эволюция как создатель вознаграждений
Я сказал ему: «Плодись и размножайся». Но другими словами.
Вуди Аллен [436]
С точки зрения эволюции, наши желания должны сводиться к выживанию и продолжению рода. Однако на деле мы хотим вещей куда более приземленных и сиюминутных: удовольствий, сладостей,
