это не обязательно значит, что в результате получится что‐то аморальное. Но стоит ли лишний раз рисковать?
Стивен Керр [417]
ЭТО СИСТЕМА ВОЗНАГРАЖДЕНИЙ, ДУРАШКА!
Редакция Академии управления [418]
Помимо использования последовательности режимов и работы над упрощенной версией задачи существует и другой подход к преодолению разреженности. Предлагается использовать обычную полноценную версию задачи, но добавить вознаграждение, чтобы указать обучающемуся правильное направление или поощрить поведение, ведущее к успеху. Это называют «псевдонаградами» или «доводкой вознаграждения», но проще всего говорить о них как о стимулах.
Скиннер давал голубю маленькие порции еды, которые тот искал, подходя к мячу. Эти действия обязательно предшествовали броску мяча, которого исследователь и хотел добиться. Та же идея работает и при настройке параметров машинного обучения. Например, «настоящее» вознаграждение робота-пылесоса – чистый дом, но можно поощрять его за каждый комок пыли, который он всасывает. Или, допустим, дрон-доставщик должен прибыть в некое место, но можно давать ему небольшие награды за продвижение в правильном направлении.
Бывает очень полезно давать агенту обучения, который мог бы блуждать вслепую, пока не добьется цели по чистой случайности, намек на то, ведет ли он себя правильно или изменяет поведение в правильном направлении.
Мы можем разбивать задачу на этапы, чтобы было психологически легче сохранять мотивацию. Написание кандидатской диссертации или рукописи книги может длиться годами, поэтому трудно судить о количестве работы, которую человек делает за день. Если вы надеетесь потерять какой‐то вес к новому году, можно придумать награды или поощрения за каждый несъеденный кекс – это помогает расслабиться. Как родители, учителя, тренеры мы знаем, что произнесенные вовремя слова ободрения могут помочь провести ученика через трудности даже тогда, когда цель кажется недостижимой.
Люди, которые работают с другими людьми, знают, что создание стимулов – это игра с огнем. Они должны быть очень тщательно проработаны, чтобы не принести неприятностей [419]. Специалист по управлению Стивен Керр в своей классической статье 1975 года говорит, что стоит только подумать о том, чтобы добавить вознаграждение, как тут же возникает риск «глупо надеяться на А, вознаграждая за Б» [420].
Анализ неправильных стимулов Керра – одна из выдающихся работ в науке управления. Ученый посвятил бо́льшую часть своей карьеры работе над стимулами совместно с различными компаниями (от General Electric до Goldman Sachs). Удивительно, когда его спрашивали о том, что же навело его на такие мысли, Керр упоминал и машинное обучение, и работы Б. Ф. Скиннера. «Возможность программировать и обучать машины, возможность запрограммировать машину для игры в шахматы так, чтобы она не повторяла однажды допущенную ошибку, меня просто потрясла, – говорил Керр. – Я был заинтригован возможностью обучить машину так, чтобы она играла в шахматы лучше того, кто ее запрограммировал!» [421]
Керр признавал: «Что же касается описанной в моей статье глупости, очевидно, Б. Ф. Скиннер понял это раньше меня. Я никогда и не заявлял иного. По словам Скиннера, он орал на своих крыс: „Почему вы не ведете себя как надо?!“, если они не делали того, что он ожидал. Возможно, Скиннер бы в гробу перевернулся, если бы узнал, что люди, читающие мою статью, не видели его работы. Само собой, он сделал много, но я сумел упаковать его результаты в правильную для применения в бизнесе упаковку. Обвинять крысу – очень поучительный урок. Моя статья посвящена тому, что работники не всегда виноваты: руководство несет ответственность за бо́льшую часть их ошибок».
По мнению Скиннера, не стоит обвинять крысу (или сотрудника). Наше поведение, как он полагал, определяется стимулами и вознаграждениями. Однажды репортер на телевидении спросил его: «Что же тогда остается свободе воли?», на что ученый ответил: «Ей остается пребывать плодом вымысла» [422].
Если оставить свободу воли в стороне, проблема стимулов охватывает не только психологию животных и менеджмент организаций; на самом деле, самых безжалостных и креативных манипуляторов наградами мы называем детьми.
Экономист Джошуа Гэнс из университета Торонто хотел возложить на свою старшую дочь помощь в приучении младшего брата к горшку. Поэтому он сделал то, что на его месте сделал бы любой хороший экономист. Он предложил ей стимул: конфету за каждый успешный поход в туалет ее брата. Дочь немедленно нашла лазейку, которую проглядел ее отец, профессор экономики. «Чем больше вливается, тем больше выливается, – поняла она. – Так что я просто буду поить брата чаще». Гэнс признал, что результат не оправдал его ожиданий [423].
У когнитивного психолога из Принстона Тома Гриффита возникла до странности похожая ситуация с его собственной дочерью. «Ей действительно нравилось подметать, – рассказывал он. – Уборка пробуждала в ней азарт. Мы подарили ей маленькую щетку и совочек. На полу были рассыпаны какие‐то крошки, и она их подмела. И я ее похвалил: „Прекрасная работа! Отличная уборка! Ты молодец!“» [424]
Этой похвалой Гриффит хотел добиться двух целей: развить моторные навыки у дочери и приучить ее помогать по дому – двойная победа родителя. Но удалось ли ему? Дочь за несколько секунд нашла лазейку.
«Она подняла голову, улыбнулась, – рассказывал он, – высыпала крошки из совка обратно на пол и снова их подмела, чтобы ее еще раз похвалили».
Для Гриффита, чьи исследования закрывают бреши между психологией и машинным обучением, вывод был очевиден. Это «то, что заставляет меня задуматься о некоторых трудностях в создании мотивированного наградами ИИ, ведь нужно очень тщательно продумывать разработку функции вознаграждения».
Гриффит все время размышляет об обучении с подкреплением в контексте родительства. «Как родитель вы разрабатываете функцию вознаграждения для своих детей, верно? Я имею в виду вещи, за которые вы хвалите, и вещи, за которые даете определенного вида обратную связь… Никто всерьез не задумывается над вопросом, какова функция вознаграждения, которую мы разрабатываем для своих детей».
Гриффит рассматривает детско-родительские отношения как своего рода доказательство идеи, лежащей в основе проблемы выравнивания. Он отмечает, что история цивилизации всегда была связана с тем, как вложить ценности в странные рассудки, которые неминуемо унаследуют наши общественные достижения, – то есть в наших детей. Параллель можно провести даже дальше, и пристальное внимание к искусственному интеллекту и детско-родительским отношениям показывает, как на удивление много одна сторона может сообщить другой.
Наши дети могут быть не умнее нас, но даже очень маленькие ребятишки в состоянии переиграть наши правила и стимулы, отчасти за счет того, насколько они мотивированы сделать это. Что касается систем обучения с подкреплением, они рабы своих вознаграждений, но имеют огромную вычислительную мощь и потенциально бесконечное количество попыток найти все возможные лазейки в любых стимулах, которые мы разрабатываем. Исследователи машинного обучения усвоили этот
