целую бурю споров не только о COMPAS и алгоритмическом анализе рисков в целом, но и о самом понятии справедливости. Как именно мы должны определять в терминах статистического и вычислительного подходов принципы, права и идеалы, сформулированные законом?
Когда председатель Верховного суда США Джон Робертс годом позже посетил Политехнический институт Ренсселера, президент университета Ширли Энн Джексон спросила его:
– Как вы считаете, настанет день, когда умные машины с искусственным интеллектом будут участвовать в судебном следствии или, что еще более сомнительно, помогать выносить вердикт?
– Этот день уже настал, – ответил он [21].
* * *
Той же осенью Дарио Амодей приехал в Барселону на конференцию по нейросетевым системам обработки информации (Neural Information Processing Systems conference, сокращенно NeurIPS). Это самое крупное событие в отрасли ИИ, которое разрослось от нескольких сотен участников в 2000‐е годы до тринадцати тысяч в наши дни. (Организаторы отмечают, что, если она будет продолжать расти такими же темпами, как в последние десять лет, к 2035 году на ней соберется все население планеты.) [22] Но именно в тот день ум Амодея был занят не «порядком сканирования в выборке Гиббса», не «регуляризацией потерь на наблюдениях с шумом Радемахера» и не «минимизацией сожалений в рефлексивных банаховых пространствах», и, если уж на то пошло, не представленным в соседней комнате тематическим докладом Толги Болукбаси о гендерном неравенстве в Word2Vec [23].
Он смотрел на лодку, которую охватил пожар.
Амодей наблюдал, как она заходит в маленький порт, делает несколько кругов и ее корма ударяется о каменный причал. Двигатель загорелся. Лодка продолжала бешено кружиться, брызги воды погасили пламя. Затем судно врезалось в бок буксирного катера, и пожар снова разгорелся. А потом лодка опять крутилась у причальной стены.
Это все происходило, потому что Амодей, по-видимому, приказал лодке вести себя именно так. Лодка делала то, что он велел. Но не то, что он имел в виду.
Амодей – один из исследователей, работавших в проекте Universe. Он член команды, разрабатывавшей один ИИ общего назначения, нужный для решения широкого круга задач и способный играть в сотни различных компьютерных игр не хуже человека. Эта трудная задача в сообществе, работающем с искусственным интеллектом, воспринималась как что‐то вроде священного Грааля.
«Я просто запустил несколько этих сред, – рассказывал мне Амодей, – и подключался к ним через VPN [24], чтобы посмотреть, как идут дела. Там были автомобильные гонки, с которыми все было в порядке, еще что‐то вроде гонки на грузовиках и та самая гонка на лодках».
Амодей замолк на минуту, а потом продолжил: «Я смотрел на них и думал: „Эта лодка, что, плавает кругами? Что, черт побери, вообще происходит?“» [25] Лодка не просто двигалась случайным образом; она не «одичала» и не потеряла управление. На самом деле, все было наоборот. Она была запрограммирована на такое поведение. С точки зрения компьютера, он нашел идеальную стратегию и воплотил ее в жизнь до последней буквы. Однако смысла в ней не было никакого.
«В конце концов я посмотрел на вознаграждение», – рассказывал Амодей.
Он допустил старую и хорошо известную ошибку: «поощрение A в надежде на B» [26]. Чего хотел исследователь, так это научить машину выигрывать лодочную гонку. Но это трудно выразить четко. Амодею нужно было найти способ формализовать такие сложные понятия, как место на дорожке, круги, положение среди других лодок и так далее. Вместо этого он использовал то, что показалось разумной заменой: очки. Машина нашла лазейку – маленькую гавань, где можно было пополнять запасы топлива и полностью игнорировать гонку, нарезать круги и вечно набирать очки.
«И, конечно же, в какой‐то мере в этом был виноват я, – сказал Амодей. – Просто запустил все эти игры, не обратив должного внимания на целевые функции… В других играх нужно проходить гонку, чтобы набрать очки. Их начисляют за пользование заправками, которые расставлены вдоль дороги… В десяти других случаях очки зарабатывались победой. Но не в одиннадцатом [27].
Люди критиковали такой подход, говоря: „Ты получил именно то, о чем просил“. Это словно сказать: „Твое оптимальное решение не подразумевало финиша в гонке“. И я могу ответить на это только одно, – в этом месте он сделал паузу, – все так и есть».
Амодей разместил видеоролик с этим эпизодом на канале своей группы в корпоративном мессенджере Slack. Видео немедленно посчитали «уморительным» все, кто его видел. Эта мультяшная плохая комедия, безусловно, такой и была. Но для Амодея, который руководил командой по безопасности ИИ в исследовательской лаборатории OpenAI в Сан-Франциско, в этом эпизоде имелся куда более глубокий смысл. В каком‐то смысле именно такого поведения он всегда и боялся.
На самом деле смысл игры, в которую они с коллегами-исследователями играли, не в том, чтобы победить в гонках нарисованных лодочек; это попытка научить все более многофункциональные системы ИИ делать то, что мы хотим, – особенно когда трудно изложить четко и полно, что мы хотим и чего не хотим.
Сценарий с лодкой – это, конечно же, просто разминка, тренировка. Весь понесенный ущерб остался исключительно виртуальным. Но это тренировка в игре, которая на деле вовсе не игра. Начиналось с нескольких робких заявлений и постепенно захватило всю отрасль – и теперь целый хор голосов в сообществе разработчиков ИИ говорит о том, что, если мы не будем достаточно осторожны, мир кончит именно так. По крайней мере на сегодняшний момент человечество проигрывает эту игру.
* * *
Эта книга посвящена машинному обучению и человеческим ценностям. В ней рассказывается о системах, которые обучаются с помощью данных, а не жестко запрограммированы, и о том, как и чему именно мы пытаемся их научить.
Область машинного обучения включает в себя три крупных сферы: при неконтролируемом обучении (обучении без учителя) машине просто дают множество данных и – как в случае с системой Word2Vec – просят найти в них смысл, определить схемы, закономерности, полезные способы редукции, представления или визуализации данных. При контролируемом обучении системе дают ряд упорядоченных по категориям или размеченных примеров – как в случае с условно-досрочно освобожденными, часть из которых снова попала под арест, а часть осталась на свободе, – и приказывают сделать прогноз о новых примерах, которые система не видела при обучении, или по тем, ответы по которым и вовсе еще неизвестны. При обучении с подкреплением систему помещают в обстановку, где существуют награды и наказания, такую, как лодочная гонка с заправками и повреждениями – и приказывают найти лучший способ свести к минимуму наказания и максимизировать награды.
По всем трем направлениям все чаще кажется, что эти математические и компьютерные модели так или иначе переворачивают мир. Отличаясь по сложности – от систем, которые
