внутри коробки» [338]. Казалось, это подтверждало, что ученые в самом деле нашли химическую природу вознаграждения.
Но было и кое-что странное.
Если существовал визуальный или звуковой сигнал о том, что еда в коробке появится, это вызывало всплеск дофаминовой активности. Обезьяны бросались вперед и хватали еду, а Шульц скрупулезно отслеживал показания приборов – и ничего не происходило. Спокойный фон нормальных показателей деятельности. Никаких пиков. Дофаминовые нейроны, писал он, «выстреливали во время всплеска импульсов в ответ на [сигнал], но отказывались реагировать на прикосновение к пище» [339].
Что же происходило?
«Мы не могли понять, чем это обусловлено», – говорил Шульц [340]. Он рассмотрел одну за другой несколько гипотез. Может быть, обезьяны просто объелись и действительно не хотели больше. Он попытался не кормить их. Не сработало. Они жадно набрасывались на еду. Но дофаминового всплеска не было.
В конце 1980‐х и начале 1990‐х Шульц и его коллеги пытались правдоподобно объяснить то, что они наблюдали [341]. Раз за разом дофаминовый всплеск смещался с пищи на сигнал, но что же это значило? Если еда каким‐то образом переставала «вознаграждать», тогда почему обезьяны всегда бросались к ней и быстро съедали? Это не имело никакого смысла, значит, дофамин не мог представлять непосредственно вознаграждение. Ученые исключили связь с кратковременной памятью. Они исключили связь с движением и прикосновением.
«Мы ни с чем не могли это связать, – рассказывал Шульц. – Мы пытались найти связь с побуждением, мотивацией, реакцией на стимул, который заставляет двигаться… Так мы думали вначале, но потом обнаружили, что явление слишком неопределенно». Его лаборатория начала работать над гипотезой о том, что этот процесс как‐то связан с удивлением или непредсказуемостью. Идея пришла из психологии и называлась моделью Рескорла-Вагнера, предполагающей, что обучение тесно связано с неожиданностью [342]. Дофамин мог иметь отношение к этой связи, возможно, он каким‐то образом представлял либо удивление от неожиданности, либо процесс обучения, который порождался удивлением. Это бы объяснило, почему еда дает всплеск дофамина, когда появляется неожиданно, но не когда есть сигналы ее появления. И почему в том случае, когда есть неожиданный сигнал, он вызывает выброс дофамина. «Все бы хорошо, – рассказывал Шульц, – но это не объясняло некоторые имеющиеся у нас данные» [343].
В особенности это никак не вязалось с появившимся позднее явлением, которое наблюдал Шульц и которое было даже более таинственным, чем первое. Ученый продолжал исследования, используя похожую схему, но на этот раз вместо коробок с пищей были рычаги и сок. Когда обезьяны усвоили, что сигнал означает появление сока, Шульц попробовал кое-что новое: он подавал ложную тревогу. Он включал сигнал, дофаминовая активность обезьян взлетала выше нормального для нейронов уровня. Обезьяны жали на рычаг и не получали сока. Их дофаминовые нейроны затихали – быстро и однозначно. «Тогда я подумал, что это совершенно не похоже на удивление» [344].
Дофамин так и оставался загадкой. Поначалу он казался таким понятным – своеобразной валютой мозга для вознаграждений. Он явно что‐то измерял. Не вознаграждение, не внимание, не новизну, не удивление – но что?
Набор правил и функция значения состояния
Трудно быть настолько умным, чтобы следующее мгновение не смогло тебя обдурить.
Лео Штайн [345]
В 1980‐е, в то время, когда Шульц начинал свои эксперименты по дофаминовой системе, по другую сторону Атлантики Барто и Саттон приступили к математическим расчетам по проблеме обучения с подкреплением.
Первым большим шагом было разложить задачу на составные части. Ученые понимали, что обучение тому, как производить действия в заданной обстановке, чтобы довести вознаграждение до максимума, затрагивает две связанные, но, возможно, не зависящие друг от друга проблемы: действие и оценка. Когда вы начинаете понимать какую‐то сферу деятельности и, в конце концов, добиваетесь в ней мастерства, это учит вас двум важным вещам: как поступать правильно в конкретных ситуациях и какие преимущества вас ждут при текущем положении вещей. Барто и Саттон пришли к тому, что смотрящий на доску шахматист испытывает сразу два озарения. Он предполагает, какие ходы сделает в дальнейшей игре (и как поступит его соперник). Также интуиция подсказывает ему, кто при таком положении дел с большей вероятностью победит. Эти два измерения проблемы обучения с подкреплением получили известность в качестве технических терминов «политика» или «набор правил» (что и когда делать) и «функция оценки состояния» (какого вознаграждения или наказания можно ожидать).
Одного из этих двух измерений было достаточно для решения проблемы – по крайней мере, в теории. Если шахматист всегда знает, какой ход будет правильным, не имеет значения, умеет ли он предсказывать победителя. И наоборот, если игрок всегда знает, кто в лучшем положении в данной позиции, не имеет значения, если он не уверен в своих действиях. Дайте ему достаточно времени, и он взвесит последствия каждого хода и выберет тот, который приведет его к самому многообещающему будущему.
Основанные на политике подходы вели к системе – будь то животное, человек или машина – с хорошо тренированной «мышечной памятью». Правильное поведение просто выходит само собой, без всяких усилий. Основанные на оценке ценностей подходы, напротив, вели к системе с хорошо развитым чутьем. Она сразу может ответить, угроза перед ней или перспектива. Если полностью развить каждую из них, этого, опять же, в теории было бы достаточно.
На практике же основанные на правилах и оценке ценностей подходы шли бок о бок. Барто и Саттон начали прорабатывать идею, ставшую известной как архитектура «актер-критик», где «актерская» часть системы учится совершать правильные действия, а критическая – предсказывать будущие вознаграждения [346]. Грубо говоря, архитектура актер-критик точно описывала сотрудничество ученых. Барто был особенно увлечен поведением. Саттон прежде всего интересовался прогнозами [347].
Начиная со своей дипломной работы 1978 года, Саттон был увлечен созданием «Единой теории ожиданий» [348]. Интерес к тому, как организмы формируют и совершенствуют свои ожидания, привело его в Амхерст, к сотрудничеству с Клопфом и Барто.
Как объясняет Саттон, формирование правильных ожиданий – хорошая оценочная функция – это согласование своих ежеминутных ожиданий с окончательным вердиктом, приходящим из реальности: окончательный счет игры, квартальный отчет, успешная посадка на Луну, признание восхищенных коллег, стоячая овация, улыбающиеся внуки. Но вам действительно надо дождаться конца игры, чтобы чему‐то из этого научиться; тогда решение проблемы назначения коэффициентов доверия будет буквально невозможно. Логика, как говорит Саттон, объединяет в себе три предмета.
Во-первых, непрактично или даже невозможно помнить все, что мы делаем и думаем. В конце полуторачасового матча по футболу, который мы с треском проиграли, разве мы собираемся в раздевалке и прорабатываем каждый до единого игровой момент? Каждое
