ценностей неполна (есть вещи, которые для вас важны, но ИИ о них просто не знает), система запутается. Например, если робот ничего не знает об устройстве человеческого аппетита, он не поймет, почему вы требуете стейк в 18:00, но категорически отказываетесь от второго стейка в 19:00. Если модель робота примитивна («стейк – это всегда хорошо»), то один из этих двух выборов он сочтет ошибкой. Система интерпретирует ваше поведение как иррациональное, а это, как мы уже знаем, – прямой путь к неповиновению и отказу от корректировок [763].
Следовательно, модель человеческих ценностей должна быть намеренно усложнена. «Мы обнаружили интересную вещь, – рассказывал Хэдфилд-Менелл. – Если вы заложите в модель ИИ слишком много переменных для оценки человеческих желаний, система будет учиться чуть дольше, но в итоге поймет все правильно. А вот если переменных недостаточно, система очень быстро станет непослушной, свято уверовав, что знает все лучше человека».
К сожалению, на практике заложить в ИИ «достаточно параметров» сложнее, чем сказать; мы возвращаемся к проблеме 20 миллиардов параметров Стюарта Армстронга. Если модель ваших предпочтений при поиске жилья включает только метраж и цену, алгоритм сочтет ваш выбор дома (поменьше, но подороже) досадной ошибкой. В реальности же на ваш выбор влияют факторы, которых просто нет в базе данных алгоритма: престижность района, хорошие школы, красивый вид, соседство с друзьями или ностальгия. В машинном обучении это называется проблемой «неверной спецификации модели». Обычная проблема, но в контексте непослушного ИИ ее последствия выглядя пугающе.
«Чтобы система успешно взаимодействовала с человеком, ей нужна детализированная модель человеческой психологии, – говорила Милли. – А создавать такие модели невероятно трудно». Она отмечала, что при всем прогрессе в отрасли главные прорывы происходят на «стороне робота». Интеграция качественных моделей человеческого поведения сильно отстает.
Идея о том, как удержать ИИ от излишней самоуверенности – заставить его сомневаться даже тогда, когда мы даем ему конкретную функцию вознаграждения, – оказалась настолько важна для контроля, что команда из Беркли перешла к следующему шагу.
Что, если спроектировать систему так, чтобы она оставалась неуверенной, даже если вы даете ей абсолютно чуткую цель? Как бы это выглядело?
Одной из сквозных тем (вспомним главу 5) была сложность создания функция вознаграждения (счетчика очков), которая мотивировала бы нужное поведение без лазеек и побочных эффектов. Многие в индустрии ИИ считают, что ручная настойка внешних параметров цели – это дорога в ад, вымощенная благими намерениями: как бы тщательно вы все ни продумали, ИИ все равно найдет то, что вы не учли.
Пессимизм в отношении жестко заданных целевых функций укоренился настолько глубоко, что сегодня передовые исследования безопасности ИИ направлены на уход от явных целей. Вместо этого ученые создают системы, которые учатся, пытаясь подражать людям (беспилотные авто), искать их одобрения (робот, делающий сальто на основе оценок человека) или угадывать человеческие намерения (трюки с вертолетом).
Но что, если существует способ спасти архитектуру с внешней функцией вознаграждения? Или хотя бы сделать ее безопаснее?
Группа из Беркли поняла: для этого нужно создать систему, которая осознает собственное несовершенство. ИИ должен понимать, что программисты честно пытались перевести свои сложные желания в формулу вознаграждения, но неизбежно справились с этим неидеально. ИИ должен усвоить, что очки в игре – это еще не вся суть игры. Есть истинные желания человека, и явно выраженная цель отражает их лишь частично.
«Мы хотели… взять эту концепцию неопределенности и задаться вопросом: какое простейшее исправление программисты могут внести прямо сейчас, чтобы это исправить? – говорил Хэдфилд-Менелл. – Какая крошечная корректировка в коде повысит здоровую неуверенность ИИ в собственной цели?»
Он поясняет: «Функция вознаграждения – это чрезвычайно плотный сигнал. Это важнейшее указание на то, что нужно делать. Сейчас в ИИ принято считать этот сигнал исчерпывающей истиной – мы допускаем, что наша функция вознаграждения идеально описывает правильное поведение при любом состоянии мира. Но это не так. Как нам использовать этот мощный сигнал, не воспринимая его как абсолютную истину в последней инстанции?» [764]
Как заключает Стюарт Рассел: «Система обучения усваивает свидетельства о человеческих предпочтениях, а сигнал вознаграждения – это в лучшем случае одно из таких свидетельств» [765].
Исследователи назвали этот подход «обратным проектированием вознаграждения» (Inverse Reward Design, IRD) [766]. Теперь мы не воспринимаем прямую инструкцию (целевую функцию) как истину в последней инстанции; мы воспринимаем ее лишь как информацию о том, чего хочет человек. В обратном обучении с подкреплением ИИ спрашивал: «Чего ты хочешь, судя по тому, что ты делаешь?» В IRD ИИ идет дальше и спрашивает: «Чего ты на самом деле хочешь, судя по тому, что ты мне приказываешь?» [767]
«Автономные агенты оптимизируют функцию вознаграждения, которую мы им даем, – писали исследователи. – Чего они не понимают, так это того, насколько трудно человеку сформулировать функцию, которая действительно отражает его желания» [768].
Вспомните знаменитую нейросеть, управляющую гоночной лодкой, которая накручивала очки, наворачивая круги вокруг бонусов, вместо того чтобы закончить гонку. Ей открыто приказали: «Максимизируй очки», что обычно является отличной стратегией. Заданная человеком награда отлично работает в той предсказуемой среде, для которой систему тренировали. Но когда в реальном мире система сталкивается с непредсказуемыми ситуациями, которых не мог предусмотреть даже создатель, слепое следование изначальной инструкции теряет всякий смысл.
Вполне вероятно, что в ближайшие десятилетия интеллектуальные системы по-прежнему будут получать прямые приказы. И они будут воспринимать их крайне серьезно. Но – ради нашей же безопасности – они не будут воспринимать их буквально.
Моральная неопределенность
Иногда невозможно добиться большего, чем несовершенной уверенности в наших поступках, а никто не обязан делать невозможное.
Доминик М. Пруммер, орден доминиканцев [769]
Позвольте природе делать свое дело, прежде чем занимать ее место, не мешайте ее работе. Вы говорите, что знаете цену времени и не хотите его терять. Но разве не понимаете, что безделие не так губительно, как время, проведенное без пользы. А ребенок, которого воспитали плохо, гораздо дальше от мудрости, чем тот, которого совсем не воспитывали.
Жан-Жак Руссо [770]
Если взглянуть на проблему шире, идея систем, которые «осознают свою неполноту и потенциальную способность совершать опасные действия» и стремятся к «знакам поощрения», даже если ради этого приходится отказаться от немедленного внешнего вознаграждения, звучит… по-католически.
На протяжении многих веков католические богословы искали ответ на вопрос: как прожить жизнь в соответствии с правилами веры, учитывая, что среди ученых-теологов нередко возникают разногласия о том, каковы эти правила на самом деле.
Представьте гипотетическую ситуацию: восемь из десяти теологов считают, что есть рыбу по пятницам допустимо, один запрещает это,
