отрасли должно быть связано со скукой – мнение, которое имеет этическое применение не только для будущих агентов обучения с подкреплением, но, разумеется, и для людей.
С одной стороны, это открывает эволюционную и вычислительную сторону гедонистической беговой дорожки. Если кто‐то испытывает счастье от приятного удивления, а интеллект предполагает неустанную работу, чтобы предугадать неожиданности и избавиться от них, тогда это счастье становится мимолетным. Также наблюдается и эволюционное преимущество. Маленький ребенок может радоваться уже тому, что умеет махать рукой по команде. У взрослого эта способность уже не вызывает прежнего возбуждения. Хоть мы и жалуемся на беспокойства взрослой жизни и ее нестабильность, все это часть жизненного цикла. Если базовые моторные навыки приводят человека в бесконечный трепет, он едва ли когда‐нибудь повзрослеет.
Как сказал Эндрю Барто, эта мимолетность оказалась тем, что Клопф ожидал еще в начале 1970‐х. «Он размышлял о [гомеостатическом] механизме стабилизации, пытающемся снизить противоречия до нуля. Когда они равны нулю, наступает удовлетворение и механизм останавливается. Система, которую он хотел получить, никогда не стала бы счастливой. Так что нам необходимо бесконечное исследование» [378]. К связи между обучением с подкреплением, дофамином, счастьем и исследованиями мы еще вернемся в главе 6.
За пределами подкрепления
Обучение с подкреплением, берущее начало в исследованиях об обучении животных начала ХХ века, расцвело в абстрактном математическом мире машинного обучения 1970‐х и 1980‐х годов, чтобы с триумфом вернуться в литературу о поведении животных с практически идеальной моделью, которая привела к общепринятому пониманию роли дофамина в головном мозге [379]. Эта модель, в свою очередь, дала нам более глубокое осознание человеческих мотивации и счастья.
Тем временем уже в 2018 году нейрофизиологические материалы позволили предположить, что сумасшедшая гипотеза Гарри Клопфа о том, что нейроны являются «гедонистами», мотивированными своими собственными законами эффекта Торндайка, не так уж далека от истины [380]. «Думаю, нейронаука приближается к чему‐то, очень напоминающему предположение Клопфа», – говорил Барто с некоторой гордостью за покойного наставника, которому они с Саттоном посвятили свой учебник [381].
Обучение с подкреплением предлагает веское и, возможно, даже универсальное определение интеллекта [382]. Если, как говорит специалист по информатике Джон Маккарти, интеллект – «это вычислительная часть способности достигать целей в окружающем мире» [383], тогда обучение с подкреплением представляет удивительно всеобъемлющий набор инструментов для достижения таких целей. Похоже, что основные принципы интеллекта раз за разом открывались эволюцией, и – опять же – кажется, будто именно они сформируют основание для того, что ожидает в будущем искусственный интеллект XXI века.
В некотором роде более глубокое понимание способности животных и машин достигать целей в мире опрокидывает более сложные философские воззрения. Эта теория никоим образом не говорит о том, что мы оцениваем или что должны оценивать. Дофамин остается такой же загадкой, как и когда о его роли знали намного меньше. Если это скалярная ошибка прогноза, то сложность в том, как этот прогноз «измерить». Если за дверью номер один находится не отпуск на Карибских островах, как мы ожидали, а путешествие в страну северных сияний, уровень дофамина быстро и надежно покажет, приятно или неприятно мы удивлены. Но как в действительности определяется ценность этих альтернатив? [384] Об этом дофамин ничего не говорит.
Тем временем возникает еще один вопрос. Обучение с подкреплением в своей классической форме считает само собой разумеющейся структуру вознаграждений в мире и задается вопросом о том, как добиться такого поведения – «политики», – чтобы максимально увеличить награды. Но во многих случаях за этим прячется куда более интересная и безотлагательная проблема, с которой мы столкнулись на пороге развития ИИ. Мы гораздо более заинтересованы в обратной стороне этого вопроса: зная, какого поведения мы ожидаем от машин, как структурировать вознаграждения в окружающей среде так, чтобы ожидания оправдались? Как мы получим то, чего хотим, если это мы сидим в задней части аудитории на стуле критика, если мы распределяем лакомства или их цифровые эквиваленты?
Это и есть проблема выравнивания в контексте обучения с подкреплением. Хотя за последние пять или десять лет вопрос стал неотложным – как мы увидим, он прочно связан с прошлым самого обучения с подкреплением.
5. Формирование навыков
Природа поставила человечество под управление двух верховных властителей: страдания и удовольствия. Им одним предоставлено определять, что мы можем делать, и указывать, что мы должны делать.
Иеремия Бентам [385]
Проектные решения функций вознаграждения обсуждают не слишком часто, хотя это, возможно, самый сложный аспект настройки системы обучения с подкреплением.
Майя Матарич [386]
В 1943 году Б. Ф. Скиннер работал над секретным проектом военного времени, который первоначально финансировала корпорация General Mills, производящая продукты питания. General Mills отдала Скиннеру под лабораторию верхний этаж своего мукомольного комбината Gold Medal в Миннеаполисе. Проект можно считать одним из самых дерзких начинаний своего времени: Скиннер и его сотрудники предложили использовать голубей для наведения ракет. Они приучали их клевать в одну точку, дабы открыть кормушку. Затем вместо кнопки птице показывали силуэт вражеского корабля. Картинку начинали смещать, а голубь яростно клевал экран в определенную точку, возвращая силуэт на место и получая в награду пищу. «Мы с коллегами знали, – говорил Скиннер, – что в глазах всего мира выглядим сумасшедшими» [387].
Скиннер сознавал, что многие посчитают проект не только безумным, но и жестоким. Во-первых, отмечал он, люди давно используют органы чувств животных (часто превосходящие человеческие) в своих целях: собаки-поводыри, свиньи, которые ищут трюфели, и так далее. Во-вторых, возражал ученый, «этический вопрос о том, имеем ли мы право превращать низшее существо в героя против его воли – это роскошь мирного времени» [388].
Ученый давно работал над исследованиями обучения с подкреплением, и его знаменитые «ящики Скиннера» действовали как усовершенствованная версия ящиков-головоломок Торндайка. Их лампочки, рычаги и механические устройства для подачи пищи были зачастую заимствованы из торговых автоматов и позволяли проводить точные количественные исследования обучения с подкреплением. В будущем их использовали целые поколения исследователей, не последним среди которых был и вышеупомянутый Вольфрам Шульц, изучавший дофамин обезьян. Имея в своем распоряжении подобные инструменты, в 1950‐х годах Скиннер начал изучать, как животные учатся увеличивать свою награду (обычно в форме пищи) при ряде различных условий. Он проверял разные типы «режима подкрепления» (по его собственному определению) и наблюдал результаты. Например, он сравнивал подкрепление по «коэффициенту» (вознаграждается определенное количество правильных действий) и подкрепление по «интервалу» (правильное действие вознаграждается через определенное время). Также он проверял «фиксированное» и «переменное» подкрепления, где количество действий или протяженность временного интервала
