руководить.
Мир людей, напротив, искусно сконструирован так, чтобы поддаваться изучению. К примеру, видеоигры становятся успешными отчасти благодаря тому, как они направляют действия игрока. Возьмем одну из самых известных и значимых в истории видеоигр всех времен и народов Super Mario Bros., выпущенную для Nintendo в 1985 году. Если подробно рассмотреть первые несколько секунд игры, то можно заметить, что она тщательно и блистательно спроектирована так, чтобы научить в нее играть. Вначале враг Гумба появляется справа; если игрок ничего не делает, то погибает. «Нужно естественным путем научить игрока, что необходимо избегать врагов, перепрыгивая их», – говорит разработчик игры, легендарный Сигэру Миямото [406]. Это первый и самый важный из уроков: похожие на грибы фигурки – это враги, и придется прыгать.
Но у Миямото была проблема. Были и хорошие грибы, которые необходимо научиться искать. «Это стало нашей головной болью, – рассказывает разработчик. – Надо было убедиться, что игрок понимает: эти грибы не враги». Как он решил эту проблему? Хорошие грибы приближаются к игроку там, где их невозможно перепрыгнуть. Игрок готовится погибнуть, но вместо того, чтобы убить, гриб вдвое увеличивает в размерах его персонажа. Механизм игры налажен, и теперь у игроков развязаны руки. Они думают, что просто играют. Но их тщательно педантично и незаметно тренируют. Они узнают о правилах, потом – об исключениях. Изучают основной механизм, а потом отправляются в свободное плавание.
Ничего удивительного в том, что принцип формирования навыков – прививание сложного поведенческого комплекса через последовательные приближения – применим не только к голубям Скиннера, но и к людям. Как не удивительно и то, что этот принцип до последней буквы применим и для обучения машин.
С тех пор как возникло машинное обучение, известно, что для одних задач, сред и игр применять этот принцип проще, чем для других. Но только постепенно исследователи и разработчики оценили по достоинству, что сначала систему можно натренировать на более легкой задаче, потому что тогда ей будет проще изучать более трудную проблему, чем агент, обучаемый с нуля [407].
В 1980‐х годах Ричард Саттон и Эндрю Барто вместе со своим коллегой Оливером Селфриджем работали над использованием обучения с подкреплением для обучения модели тележки на колесах, на которой вертикально установлен шест. Чем выше и тяжелее шест, тем проще удерживать его в вертикальном положении – гораздо легче добиться равновесия, держа на ладони, скажем, бейсбольную биту, чем линейку. Исследователи обнаружили, что система находила равновесие быстрее, если предварительно обучалась на высокой и тяжелой опоре, а потом переключалась на более короткую и легкую [408].
Ученые периодически делали это открытие в различных контекстах. В начале 1990‐х годов лингвист Джеффри Элман из Калифорнийского университета в Сан-Диего экспериментировал, пытаясь научить нейросеть правильно предсказывать следующее слово в предложении. К сожалению, первые несколько попыток были провальными. «Проще говоря, – рассказывал он, – нейросеть не смогла научиться сложным грамматическим конструкциям на подборке данных из полноценного «взрослого» языка. Зато когда простые предложения демонстрировались вначале, нейросеть справилась не только с ними, но и с более сложными» [409].
«Это приятный результат, – говорит Элман, – потому что поведение нейросети частично напоминает детей. Они не сразу овладевают языком взрослых во всей его сложности. Напротив, они усваивают самые простые структуры и постепенно их развивают, пока не достигают уровня языка взрослых».
В обоих случаях использование правильной последовательности – легкая версия задачи, за которой следовала более сложная – привело к успеху там, где решение трудной задачи могло не получиться.
Келлер и Мариан Бреланд в своей работе в Animal Behavior Enterprises увидели критическую важность правильной последовательности режимов в своих попытках научить свинью помещать большие деревянные монеты в свинью-копилку. Они начали с одной монеты, лежащей около копилки, и постепенно отодвигали ее все дальше и дальше и от копилки, и от свиньи [410].
Не так давно ученые, занимающиеся машинным обучением, вернулись к идее работы «в обратном направлении». В 2017 году группа инженеров-робототехников из Калифорнийского университета в Беркли обучала роботизированную руку надевать шайбу на анкерный болт. Если бы они ждали, что робот сделает это случайно, на это ушла бы вечность. Но, начав с шайбы, почти полностью надетой на болт, исследователи смогли научить робота делать последнее движение. Затем шайбу только слегка насаживали на болт, и робот научился надевать ее как следует. Затем шайбу клали рядом, и робот научился вставлять болт в отверстие. Наконец, ученые достигли того, что система могла взять шайбу откуда угодно, навинтить ее и затянуть [411].
Даже такой эксперт в играх, как легендарный шахматный чемпион Бобби Фишер, использовал подобную стратегию в своем учебнике «Бобби Фишер обучает шахматам». Предназначенная для начинающих книга содержит десятки примеров мата в один ход, затем переходит к комбинациям из двух, трех и четырех ходов. Обзоры середины и начала игры, а также обсуждение долговременных стратегий он оставил для других книг. Фишер сосредоточился на том, чтобы научить начинающих игроков распознавать возможности закончить игру. Подобная последовательность показала себя очень успешной: некоторые современные гроссмейстеры рекомендуют руководство Фишера как отличный старт для новичка [412], и оно стало наиболее продаваемым учебником шахматной игры всех времен [413].
Казалось бы, дальше напрашивается следующий шаг – относиться к созданию хорошей, пригодной для обучения последовательности режимов как к проблеме машинного обучения и искать возможности автоматизировать процесс ее разработки. Последние исследования ищут способы автоматически определять задания необходимой сложности и примеры, которые максимально поспособствуют обучению нейросети. Первые результаты в этой сфере выглядят многообещающими, и работа продолжается [414].
Одна из самых впечатляющих достижений в автоматизированной разработке последовательности режимов – это работа британской компании DeepMind. Речь в основном идет об игровой нейросети AlphaGo и последовавших за ней AlphaGo Zero и AlphaZero. «В AlphaGo соперник всегда находится на правильном уровне, – объясняет ведущий разработчик игры Дэвид Сильвер [415]. – Вначале все чрезвычайно просто, игра идет случайным образом. Но на каждом этапе обучения есть оппонент – можно назвать его спарринг-партнером, – который тщательно откалиброван по текущему уровню эффективности». И кто же был этим идеальным спарринг-партнером, всегда настроенным на правильный уровень сложности?
Ответ прост, элегантен и очевиден. Машина играет против себя самой.
Стимулы – дело деликатное
Имея дело с обезьянами, крысами или даже человеческими существами, вряд ли можно поспорить, что любой организм ищет информацию о том, за какие виды деятельности можно получить вознаграждение, а потом стремится (или, по крайней мере, делает вид) делать эти вещи, часто практически исключая деятельность, за которую невозможно получить награду.
Стивен Керр [416]
Если система вознаграждений разработана так, что быть моральным – иррационально,
