ведут книги бухгалтерского учета, до тех, которые можно с большой долей уверенности назвать
искусственным интеллектом, – они неуклонно замещают как человеческое суждение, так и программное обеспечение более традиционного вида.
Этот процесс происходит не только в сфере технологий, не только в торговле, но и в областях, где есть этическая и моральная нагрузка. Законы штатов и федеральные законы дают все больше полномочий на использование программного обеспечения для оценки рисков при освобождении под поручительство и условно-досрочном освобождении. Легковые и грузовые автомобили на шоссе и на соседних улицах все чаще управляют сами собой. Мы больше не можем предполагать, что наше заявление на получение ипотеки, резюме или результаты анализов увидит хоть один человек до того, как решение будет принято. Будто бо́льшая часть человечества в начале XXI века поглощена задачей постепенного перевода мира на автопилот – как в переносном смысле, так и буквально.
В последние годы сигналы тревоги раздаются сразу в двух абсолютно независимых друг от друга сообществах. Первое – это люди, обратившие внимание на современные этические риски, связанные с технологиями. Если система распознавания лиц очень неточна в работе с людьми определенной расы или пола, но прекрасно справляется с другими, или если кому‐то отказали в освобождении под залог из-за того, что статистическую модель никогда не проверяли, а в зале суда не было ни одного человека – ни судьи, ни прокурора, ни защитника, – понятно, что это проблема. Такие задачи не могут быть решены в рамках традиционных отраслей науки, нужен диалог между специалистами по теории вычислительных машин и систем, социологами, юристами, политологами, этиками. Диалог этот начался в спешке.
Второе сообщество – это те, кто обеспокоен будущими угрозами, которые поджидают нас по мере того, как наши системы наращивают возможности по быстрому и гибкому принятию решений и в Интернете, и в реальном мире. В последнее десятилетие мы, бесспорно, могли наблюдать самый головокружительный, скачкообразный и вызывающий беспокойство прогресс за всю историю машинного обучения и даже искусственного интеллекта. Существует негласное соглашение, разрушившее своего рода табу: исследователям ИИ больше не запрещено обсуждать вопросы безопасности. На самом деле, такая озабоченность в последние пять лет вышла из кулуаров, став одной из центральных в отрасли.
Несмотря на споры о том, следует ли отдавать приоритет непосредственным или долговременным проблемам, эти два сообщества едины в своих более масштабных целях.
Поскольку системы машинного обучения не только распространяются, но и становятся все более мощными, мы чаще оказываемся в положении волшебника-недоучки: обращаемся к существующей отдельно от нас, но полностью послушной силе, даем ей ряд инструкций, а потом носимся как сумасшедшие, пытаясь остановить ее, поняв, что наши инструкции неточны или неполны, хотя, как это ни ужасно, получаем именно то, о чем просили.
Как избавиться от столь катастрофического расхождения целей и результатов, как убедиться, что модели учитывают наши нормы и ценности, понимают, что мы имеем в виду и что намереваемся сделать и, самое главное, чего мы на самом деле хотим? Этот вопрос стал одной из самых главных и срочных проблем в области информатики. У него есть название – проблема выравнивания.
Реакция на этот сигнал тревоги – как на то, что передний край науки как никогда близко подошел к разработке так называемого «общего» интеллекта, так и на то, что существующие в реальном мире системы машинного обучения все больше и больше касаются этически неоднозначных аспектов личной и общественной жизни – была неожиданной и энергичной. Самые разные люди призывают действовать, выходя за рамки традиционных дисциплинарных направлений. Некоммерческие организации, научно-исследовательские центры и институты упрочивают свое положение. Лидеры как в бизнесе, так и в науке начинают открыто высказываться, предостерегая и выражая свою озабоченность, а также перераспределяют финансирование исследований в соответствии с новыми опасениями. На программы постдипломного обучения зачислено первое поколение студентов, работы которых направлены непосредственно на этическую составляющую и безопасность машинного обучения. Первые отклики на проблему выравнивания уже появились.
На сбор материала к этой книге потребовалось потратить четыре года и проехать много тысяч километров. Она стала результатом почти сотни официальных бесед и сотен неформальных разговоров с исследователями и идеологами недолгой истории этой отрасли, постоянно расширяющей границы. Я увидел, что эта сфера деятельности обретает почву под ногами в условиях головокружительных и иногда даже пугающих успехов ИИ. Я думал, что знаю эту историю, но она показала себя одновременно более захватывающей, пугающей и подающей надежды, чем я представлял раньше.
Машинное обучение – на первый взгляд, техническая отрасль, все чаще и чаще сталкивающаяся с человеческими проблемами. Личностные, социальные и общественные дилеммы становятся техническими. А технические вопросы превращаются в этические, социальные и общественные. Успехи и поражения в том, чтобы заставить эти системы делать то, «что мы хотим», как выясняется, становятся бескомпромиссным зеркалом, разоблачающим наши недостатки.
Эта история состоит из трех частей. В первой исследуется стартовая площадка проблемы выравнивания: существующие в наши дни системы уже расходятся с нашими лучшими намерениями, а попытаться недвусмысленно вложить эти намерения в системы, которые мы якобы можем контролировать, достаточно сложно. Вторая часть посвящена обучению с подкреплением, когда мы подходим к пониманию систем, способных не только предсказывать, но и действовать; в ней говорится об их развитии, человеческой мотивации, чувствительности к стимулам, а также применении в бизнесе и родительстве. Третья часть выводит нас на передний край технических исследований безопасности ИИ и показывает лучшие идеи, связанные с тем, как уравнять сложные автономные системы с нормами и ценностями, которые настолько неявны или изощренны, что едва ли возможно определить их напрямую.
Хорошо это или плохо, но история человечества в этом столетии, скорее всего, будет связана с созданием и поддержанием таких систем. Как ученик волшебника, мы обнаружим, что являемся всего лишь одной движущей силой среди многих в мире, заполненном, если можно так выразиться, волшебными метлами.
Как именно мы собираемся их обучать?
И чему?
Часть 1
Предсказание
1. Представление
Летом 1958 года в научно-исследовательском управлении ВМФ в Вашингтоне, округ Колумбия, собралась группа репортеров. Им предстояло увидеть работу двадцатидевятилетнего исследователя по имени Фрэнк Розенблатт из Корнеллской лаборатории аэронавтики. Розенблатт создал нечто под названием «перцептрон» и продемонстрировал собравшимся журналистам возможности своего изобретения.
У Розенблатта был набор дидактических карточек, на каждой из которых имелся цветной квадрат, расположенный либо на левой стороне карты, либо на правой. Исследователь вытягивал из колоды одну карту и размещал ее перед камерой перцептрона. Прибор воспринимал ее как черно-белое изображение размером 20 на 20 пикселей, и каждый из этих четырехсот пикселей превращался в двоичное число – 0 или 1, темный или светлый. Четыреста
