а другая открыта.
Во-вторых, иногда единственное, что может вас спасти, – это ваша собственная некомпетентность. Я вспомнил, что если бы система отопления была мощнее, а наша спальня лучше изолирована, мы могли бы буквально свариться в ней. Конечно, мы бы проснулись, но если взглянуть на другую сторону термодинамического спектра, холод куда опаснее. Гипотермия в слишком холодной спальне способна убить человека – и такие случаи действительно происходят [791].
В документальном фильме 1997 года «Руки на твердом теле» рассказывается о техасце по имени Дон Кертис, который установил у себя дома двадцатитонный кондиционер. «Этот агрегат был достаточно велик, чтобы охладить весь супермаркет Kmart», – рассказывал он. Магазин закрывался, и, по словам Кертиса, «они отдали мне кондиционер почти даром. Я подумал: „Ну, эта штука охладит мой дом!“ Но мне и в голову не пришло, что она снизит температуру до двадцати градусов ниже нуля. Вскоре мы это узнали». Кертис избежал гипотермического шока, но угроза была вполне реальной.
Пока я проветривал комнату и закрывал обе двери, я задумался о Норберте Винере – великом кибернетике ХХ века, который предвидел множество современных проблем, связанных с выравниванием. Именно он произнес знаменитую фразу: «Нам следует убедиться, что цели, заложенные в машину, совпадают с нами желаниями».
Но другое его замечание столь же пророческое и шокирующее: «В прошлом неполное и неадекватное восприятие человеческих намерений было относительно безвредным лишь потому, что ему сопутствовали технические ограничения, – писал Винер. – Это один из множества примеров того, как бессилие человека до сих пор ограждало нас от разрушительного натиска человеческих прихотей» [792]. Яркий пример проблемы, возникающей, когда наши растущие возможности разрушают эту защиту, – история Дона Кертиса. И я не могу не провести параллель между этим случаем и ИИ, который напоминает двадцатитонный кондиционер, проникающий в каждый дом.
В этом контексте остается надеяться, что мы сумеем скорректировать свои желания быстрее, чем утратим способность их контролировать. Как в 2018 году отметил Ник Бостром из Института будущего человечества, «существует огромная разница между техническими возможностями человечества, напоминающими на коня, галопом летящего через поля, и его мудростью, которая больше похожа на жеребенка, стоящего на нетвердых ногах» [793]. Сам Винер предупреждал о прославлении изобретательности – совокупности знаний и «ноу-хау» – без критической оценки того, что мы действительно хотим сделать, того, что он называл «ноу-вот» (знать-что). К сожалению, последнее остается в дефиците.
Еще в 1937 году Олдос Хаксли выразил эту мысль иначе: «Становится совершенно очевидным, что все, что до сих пор делала торжествующая наука, – это всего лишь улучшение средств для достижения несовершенных или фактически ухудшенных целей» [794].
* * *
До этого момента наша история выглядела вдохновляюще: она рассказывала об уверенном и стабильном научном прогрессе. Экосистема совместных усилий ученых и специалистов по этике, влияющих на ближайшие и отдаленные цели, распространяется по всему миру. Этот поток только зарождается, но становится все мощнее.
Сегодня исследования вопросов неравенства, справедливости, прозрачности и множества аспектов безопасности составляют значительную часть работ, представленных на крупнейших конференциях по ИИ и машинному обучению. Фактически это самые динамичные и быстрорастущие области не только в информационных технологиях, но и во всей науке. По словам одного ученого, на одной из крупнейших конференций 2016 года люди удивлялись, когда он заявил, что работает над вопросами безопасности. Год спустя на том же мероприятии никто уже не обращал на это внимания. Такие культурные изменения отражаются и в финансировании, и в акцентах самих исследований.
В предыдущих главах мы рассматривали как описание, так и содержание текущих исследовательских задач – прогресс заметен на всех направлениях.
Но книга не случайно начинается со слов Джорджа Бокса, напоминающего, что «все модели не верны». В этом духе давайте взглянем критически на некоторые аспекты нашей истории.
Представление
В главе 1 мы обсуждали, кого или что представляют данные, используемые для обучения моделей. Мы заметно продвинулись: сегодня едва ли найдется система распознавания лиц для массового потребителя, которая разрабатывается без учета репрезентативности обучающих данных. Однако стоит помнить, что такие модели применяются не только в потребительском ПО (для подписей и фото) или в аппаратных решениях (для разблокировки смартфонов). Поэтому возникает вопрос: действительно ли повышение точности распознавания лиц представителей расовых меньшинств, уже находящихся под пристальным вниманием, – безусловное благо?
Удивительно, насколько проблемы репрезентации в потребительских технологиях перекликаются с более старыми, сложными и, возможно, более опасными несоответствиями. Недавно я обедал с группой врачей-исследователей. Когда я рассказал им о переходе к более репрезентативным данным для обучения моделей машинного обучения, они почти хором напомнили: большинство медицинских исследований по-прежнему проводится на мужчинах [795].
Выбор участников клинических испытаний – палка о двух концах. Даже разумные на первый взгляд ограничения, призванные защитить уязвимые группы (например, запрет на участие беременных женщин и пожилых людей), порождают неравенство и пробелы в данных.
Яркий пример – история с препаратом талидомид. Его выпустили на рынок как «абсолютно безопасный», поскольку производитель «не смог обнаружить дозу, достаточную для того, чтобы убить крысу». Однако оно вызвало десятки тысяч врожденных уродств, прежде чем было снято с продажи [796]. Американцы избежали этой трагедии благодаря доктору Фрэнсис Олдхэм Келси из Управления по контролю качества продуктов и лекарств, которая проявила скептицизм и не допустила препарат на рынок.
В случае контролируемого обучения, где данные «размечены», критически важно не только то, какие данные мы включаем, но и то, как мы расставляем метки, которые система воспринимает как эталон. Зачастую эта «истина» таковой не является.
К примеру, ImageNet опиралась на суждения случайных пользователей Интернета. Если большинство людей считает волчонка щенком, то и система распознавания образов будет думать, что это щенок.
Известен случай, когда Андрей Карпатый (ныне директор по ИИ в Tesla, а тогда – аспирант Стэнфорда) почти неделю занимался разметкой изображений для ImageNet, проводя человеческий эталонный тест. После некоторой практики он достиг 95 % «точности». Но… точности относительно чего? Не относительно истины, а относительно консенсуса [797].
На философском уровне разметка отражает некий полуфабрикат объектной модели, который мы вынуждены принимать без вопросов. Каждое изображение в ImageNet относится к одной из тысячи категорий [798]. Чтобы использовать эти данные и модели, обученные на их основе, мы должны принять допущение: все тысячи категорий взаимно уникальны и исчерпывающи. Изображение не может быть отнесено одновременно к категориям «ребенок» и «собака», даже если оба объекта присутствуют. Любой объект на фото обязан входить в одну из тысячи категорий. Если на фото изображен мул, а в категориях есть только «осел» и «лошадь», модель должна выбрать один из этих вариантов – двоякое толкование исключено. В условиях стохастического градиентного спуска модель принуждается принять эту догму. Подписи не могут быть
