компании Google появился совершенно безобидный пост под названием «Изучение смысла, скрывающегося за словами» [14].
Начинался он так: «Сегодня компьютеры не слишком хорошо понимают человеческий язык. И хотя современное состояние технологий в этом плане все еще оставляет желать лучшего, мы добились значительного прогресса, используя последние достижения машинного обучения и методы обработки естественного языка».
Сотрудники Google «скормили» искусственной нейросети, созданной по образу биологических систем, огромные базы данных естественного языка. Эти тексты, собранные с из новостных статей и Интернета, по объему в тысячи раз превосходили все, что использовалось ранее. Системе позволили самостоятельно анализировать предложения в поисках взаимосвязей и зависимостей между словами.
С помощью метода так называемого обучения без учителя система начала выявлять закономерности. К примеру, она определила, что слово «Пекин» (что бы оно ни значило для программы) находится в таких же отношениях со словом «Китай» (что бы за ним ни стояло), как слово «Москва» – со словом «Россия».
Можно ли назвать это «пониманием» – вопрос для философов, однако трудно поспорить с тем, что алгоритм уловил нечто очень важное в самом процессе чтения и осмысления текста.
Поскольку программа преобразовывала прочитанные слова в числовые значения, называемые векторами, Google дала ей имя Word2Vec и опубликовала как программное обеспечение с открытым исходным кодом.
С точки зрения математики векторы обладают набором полезных свойств, позволяющих оперировать ими как обычными числами: их можно складывать, вычитать и умножать. Вскоре исследователи обнаружили нечто удивительное и неожиданное. Они назвали это явление «лингвистическими закономерностями в непрерывном векторном пространстве представления слов» [15], но объяснить его можно гораздо проще. Поскольку Word2vec превращает слова в векторы, к ним можно применять математические операции.
Например, если вы напишете «Китай + река», то получите «Янцзы». Если введете «Париж – Франция + Италия», результатом будет «Рим». А из выражения «король – мужчина + женщина» получится «королева».
Результаты оказались поразительными. Технологию Word2vec начали применять в «Google Переводчике» и поисковых алгоритмах компании, что подтолкнуло к ее внедрению во множество других сервисов, включая платформы для найма и поиска работы. Эта система стала одним из главных инструментов для нового поколения лингвистов, изучающих большие данные в университетах по всему миру.
В течение двух лет никто не замечал в этом проблемы.
В ноябре 2015 года аспирант Бостонского университета Толга Болукбаси вместе со своим научным руководителем пришел на неформальную пятничную встречу в Microsoft Research. Потягивая вино и общаясь, они вместе с исследователем из Microsoft Адамом Калаи открыли ноутбуки и начали экспериментировать с Word2vec.
«Мы играли с векторами слов и ради интересна вводили случайные комбинации, – рассказывал Болукбаси. – Я сидел за своим компьютером, Адам присоединился ко мне» [16]. А затем кое-что произошло.
Они набрали:
«врач – мужчина + женщина»
И в ответ получили:
«медсестра»
«В этот момент мы были просто в шоке и поняли, что есть проблема, – рассказывал Калаи. – Мы копнули глубже и выяснили, что все обстоит гораздо хуже» [17].
Исследователи попробовали еще одно сочетание:
«лавочник – мужчина + женщина»
Ответом стало:
«домохозяйка»
Еще одно выражение:
«программист – мужчина + женщина»
дало тот же ответ:
«домохозяйка»
К этому моменту все разговоры в комнате стихли, а вокруг монитора собралась целая группа людей. Как говорит Болукбаси: «Мы все одновременно осознали, что что‐то пошло не так».
* * *
В органах правосудия по всей стране все больше и больше судей полагается на алгоритмические инструменты анализа рисков, принимая решения о размере залога или самом факте содержания обвиняемого под стражей до рассмотрения дела. Комиссии по условно-досрочному освобождению используют их, освобождая заключенных до истечения срока наказания или отказывая в этой привилегии. Один из самых популярных таких инструментов был разработан мичиганской фирмой Northpointe и известен как программа прогноза криминального рецидива Correctional Offender Management Profiling for Alternative Sanctions, сокращенно COMPAS [18]. Она использовалась в Калифорнии, Флориде, Нью-Йорке, Мичигане, Висконсине, Нью-Мексико и Вайоминге, алгоритмически оценивая степени рисков – рецидива в целом, повторного совершения тяжкого преступления или неявки в суд – по шкале от 1 до 10.
Как ни удивительно, подобные средства зачастую применялись на территории всего штата без официальных проверок [19]. COMPAS – патентованный инструмент с закрытым исходным кодом, так что ни прокуроры, ни адвокаты, ни судьи точно не знали, как работает его модель.
В 2016 году группа журналистов-аналитиков данных из некоммерческой организации ProPublica под руководством Джулии Энгвин решила тщательнее изучить COMPAS. Запросив судебные протоколы округа Броуард, штат Флорида, журналисты получили материалы дел и оценки рисков примерно семи тысяч обвиняемых, арестованных в период с 2013 по 2014 годы.
Поскольку расследование велось в 2016 году, члены команды ProPublica могли сыграть роль оракулов. Просматривая информацию за два предыдущих года, журналисты уже знали, как повели себя эти люди, нарушили они снова закон или нет. Было задано два простых вопроса: верно ли модель предсказывает, кто из обвиняемых наиболее опасен, и не отдает ли она предпочтение какой‐то группе или не действует ли она против одной из категорий осужденных?
Заподозрить неладное можно было с первого взгляда на данные. Например, журналисты обнаружили, что двое обвиняемых получили одинаковые сроки за один и тот же серьезный тип преступления. Дилана Фьюгета, уже задерживали за попытку кражи. Бернарда Пакера обвиняли в ненасильственном сопротивлении аресту. Риск рецидива для белокожего Фьюгета программа оценила как 3 из 10. У чернокожего Пакера оценка рисков рецидива составила 10 из 10.
В 2016 году уже известно, что Фьюгет был трижды задержан за разные противоправные нарушения. В то же время Пакер не совершил ни одного преступления.
В другом случае журналисты сопоставили двух осужденных, получивших одинаковые сроки за мелкую кражу. Вернон Пратер привлекался трижды – за два вооруженных ограбления и одну попытку. Бриша Борден, будучи подростком, имела четыре приво́да. Риск рецидива у белого Пратера программа вновь оценила на 3 из 10, а у чернокожей Борден – на 8 из 10.
С позиции 2016 года команда Эгвин увидела, что Пратер в итоге получил еще один срок за кражу в особо крупных размерах и отправился в тюрьму на восемь лет. Борден же более ни за какие правонарушения не привлекалась.
Осужденные и сами недоумевают от подобных оценок. Джеймс Ривелли, белый мужчина, был арестован за мелкую магазинную кражу. Риск рецидива был оценен на 3 из 10, несмотря на то что ранее он уже обвинялся в физическом насилии при отягчающих обстоятельствах и имел несколько сроков за кражи. «Я провел пять лет в тюрьме штата Массачусетс, – рассказывал он репортеру. – Удивительно, что баллы такие низкие».
Статистический анализ подтвердил, что такая несоразмерность возникает систематически [20]. Вышла статья, основную мысль которой можно свести к двум предложениям: «Это программное обеспечение используется по всей стране, чтобы предсказывать преступления. И оно необъективно к чернокожим».
Но были и те, кто не был так уверен, и доклад ProPublica 2016 года вызвал
