катастрофически неустойчивыми. Однако в нашем случае автопилот – не средство решения проблемы, а ее
источник.
Кроме того, имитационное обучение обычно исходит из предположения, что эксперт и имитатор обладают в целом одинаковыми возможностями: у них схожее «тело» и, по сути, аналогичный «разум» (по крайней мере, потенциально). Автомобиль – удачный пример, где это допущение работает. Водитель-человек и автопилот действительно делят одно тело. Они оба посылают электронные сигналы в одну и ту же колонку рулевого управления, у них общая поперечная балка моста, одни и те же шины и тормоза. Однако в других ситуациях такое предположение не срабатывает. Если кто‐то существенно быстрее, сильнее, крупнее или меньше вас либо мысли намного быстрее, чем вы способны, идеальная имитация его действий может оказаться невозможной. Более того, она может привести к катастрофе. Вы делаете то, что сделал бы он, если бы оказался на вашем месте. Но вы не он – и то, что делаете вы, не совпадает с тем, что сделал бы он на вашем месте.
Логический вывод
По мере того как агенты ИИ становятся все более изощренными, им нужны улучшенные модели человеческого поведения, чтобы понять, как устроен мир и как им следует (и не следует) действовать. Если они моделируют людей исключительно как неукротимых и безошибочных «максимизаторов вознаграждений», это чревато серьезными последствиями. Представьте: кто‐то искренне старается вам помочь, но при этом совершенно не понимает, чего вы хотите – сейчас или в жизни вообще. Результат может оказаться хуже, чем если бы вам вовсе не пытались помочь. А если этот заблуждающийся помощник обладает сверхчеловеческим умом и силой, последствия станут еще более разрушительными.
В дискуссиях о системах, которые выводят человеческие ценности и мотивации из наблюдаемого поведения, есть ряд ключевых допущений. Остановимся на одном из них.
Оно состоит в том, что человек (или эксперт) демонстрируют «оптимальное» поведение. В реальности это почти никогда не соответствует действительности [817]. Более продвинутые системы ослабляют это допущение и используют конкретные формальные модели «частичной оптимальности» человеческого поведения. Например, они считают, что мы ведем себя вероятностно: вероятность того или иного действия пропорциональна вознаграждению. На практике такая модель порой работает неплохо, но остается открытым вопрос: действительно ли это лучшая модель человеческого поведения? Этот вопрос актуален для психологов, когнитивистов, специалистов по поведенческой экономике и информатике [818].
Даже с учетом допущений о возможных ошибках, частичной оптимальности или иррациональности, модели обычно предполагают, что человек – не ученик, а знаток: это походка взрослого, а не ребенка, который учится ходить; это профессиональный пилот вертолета, а не новичок у пульта управления. Модели полагают, что человеческое поведение сводится к набору лучших методов, что люди знают максимум возможного или достигли предельного уровня мастерства. В этом контексте термин обратное обучение с подкреплением не вполне точен. Мы делаем выводы о целях и ценностях человека, не на основе процесса обучения с подкреплением, а на основе итогового поведенческого результат («выученной политики»). Мы оцениваем демонстратора не по тому, как он осваивал навыки, а по тому, как действует после достижения цели. Эта мысль прозвучала еще в первой статье по IRL в 1998 году [819]. Спустя 20 лет системы IRL набирают обороты, но принципиальный вопрос остается малоизученным [820].
Типичное обратное обучение с подкреплением предполагает, что человек-эксперт действует, не осознавая, что с него берут пример. Совместное обратное обучение с подкреплением предполагает обратное: человек выступает в роли педагога, открыто обучая машину, а не просто «занимается своим делом». В реальности наше поведение в присутствии других находится между этими двумя полюсами. Крайние допущения могут привести к неверной интерпретации, если условия изменятся [821].
Еще одна, – и, возможно, самая серьезная – проблема: типичные системы обратного обучения с подкреплением считают, что моделируются предпочтения только одного человека. Как адаптировать их к системам, которые служат двум или более «хозяевам»?
По словам Стефано Эрмона, специалиста по информатике из Стэнфорда, выравнивание ИИ с человеческими ценностями – «вещь, с которой согласилось бы большинство людей. Но проблема в том, чтобы определить, что это за ценности. У людей разные культуры, происхождение, социоэкономический статус – и поэтому разные представления о ценностях. Это действительно сложная задача» [822].
Специалист по информатике из университета Луисвилла Роман Ямпольски соглашается, подчеркивая: «Мы как человечество не можем выработать общие ценности. Даже те, по которым мы согласны, со временем меняются» [823].
Имеют значение и технические нюансы: если половина пользователей поворачивает налево, а половина – направо, «среднее» решение (например, столкновение с разделителем) не будет правильным.
Кроме того, машинное обучение сталкивается с парадоксами, когда взаимодействует с давними проблемами других дисциплин: политической философией, политологией, теорией голосования и социального выбора [824].
Чтобы завершить раздел предположений, немного расширить взгляд на него, скажем, что любая архитектура машинного обучения неявно опирается на перенос навыков на нескольких уровнях. Система предполагает, что реальные ситуации в среднем похожи на те, с которыми она сталкивалась при обучении. Из этого допущения возникают классические проблемы, например переобученность.
Одно из простейших нарушений – постоянное изменение мира.
Один специалист по компьютерной лингвистике жаловался, что не может добиться от своей модели такой же точности, какая была годом или двумя ранее. Проверка не выявила ошибок. Что же они делали не так?
Как выяснилось, ничего. Причина оказалась в данных для обучения: они были набраны в 2016 году, английский в 2017 году уже немного отличался, а в 2018‐м отличия стали еще заметнее. Это пример «сдвига в распределении». Модели, обученные на старых данных, постепенно теряют точность по мере изменения мира [825].
* * *
Можно составить длинный перечень случаев, напоминающих о том, что «карта – это еще не территория». Как писал Бруно Латур: «Мы принимали науку за реалистичную картину, воображая, что это точная копия мира. Наука, как и картины, делает нечто иное: она соединяет нас с выровненным, преобразованным, умозрительно выведенным миром» [826]. Такой мир выравнивается лишь при удаче, осторожности и мудрости.
Это сводится к предостережению на будущее. Существует опасность того, что контроль над миром захватит не ИИ и не машины, а модели – формальные, часто численные спецификации всего, что существует, и всего, чего мы хотим [827].
Как заметил художник Роберт Ирвин: «Человеческие существа, живущие в структурах и с помощью структур, становятся структурами, живущими в человеческих существах и с их помощью». Это звучит как предупреждение.
Хотя я рассказываю об истории прогресса, не стоит думать, что мы близки к ее завершению. Одна из самых опасных вещей в машинном обучении – найти достаточно хорошую модель, объявить о победе и начать путать карту с территорией.
Коллективная память человечества коротка (в
