сделан человек, нельзя сделать ничего прямого.
Иммануил Кант [92]
Подобные модели представления слов (модели эмбеддинга), среди которых можно отметить Word2vec от Google и стэнфордскую GloVe, постепенно превратились в стандарт компьютерной лингвистики. Примерно с 2013 года они стали основой практически любого приложения, связанного с использованием языка компьютером, будь то ранжирование результатов поиска, перевод с одного языка на другой или анализ ожиданий потребителей по письменным отзывам [93].
Несмотря на свою простоту, эмбеддинги, которые для каждого слова представляют собой ряд чисел, основанный на угадывании соседних пропущенных слов, улавливают удивительное количество информации о реальном мире.
К примеру, можно сложить два вектора, чтобы получить третий и поискать ближайшее слово. Результаты, как мы видим, часто получаются весьма осмысленными:
Чех + валюта = крона
Вьетнам + столица = Ханой
Германия + авиалинии = Люфтганза
Франция + актриса = Жюльет Бинош [94]
Также можно вычитать слова. Как ни трудно в это поверить, таким образом вы можете создавать аналогии, находя «разность» между двумя словами и прибавляя ее к третьему [95].
Это позволяет предположить, что представления содержат знания по географии:
Берлин – Германия + Япония = Токио
И по грамматике:
больше – большой + холодный = холоднее
И по кулинарии:
суши – Япония + Германия = сарделька
И по химии:
Cu – медь + золото = Au
И по технологиям:
Windows – Microsoft + Google = Android
И по спорту:
Montreal Canadiens – Монреаль + Торонто = Toronto Maple Leafs [96].
К сожалению, это не все, что познали векторы. Кроме всего прочего, они научились ошеломляющему гендерному неравенству. На каждую возможную или удачную аналогию к «мужчина: женщина», такую, как «парень: девушка» или «рак простаты: рак груди», находился целый ряд других, которые выглядят как стереотипы: «плотник: швея» или «архитектор: дизайнер интерьеров», «врач: медсестра».
Мы только сейчас начинаем осознавать масштаб проблемы. «Существуют сотни статей о представлении слова и его применении в разнообразных приложениях – от поиска в Интернете до анализа резюме, – пишут Толга Болукбаси, Адам Калаи и их коллеги. – Тем не менее ни в одной из них не упоминается о том, сколь откровенно сексистскими оказываются эмбеддинги и насколько мы рискуем перенести различные предрассудки в системы реального мира» [97].
Подобные системы машинного обучения не только демонстрируют неравенство, они могут тихо и незаметно способствовать его сохранению. Возьмем, к примеру, сотрудника отдела кадров, ищущего кандидатов на должность разработчика программного обеспечения. Поисковая система отсортирует миллионы возможных резюме по некой степени соответствия и представит только несколько вариантов, оказавшихся выше других [98]. Система, невинно использующая Word2vec или что‐то вроде того, может заметить, что «Джон» встречается в резюме разработчиков чаще, чем «Мэри». И тогда при прочих равных условиях резюме, принадлежащее Джону, получит оценку выше, чем такое же резюме, принадлежащее Мэри. Это далеко не гипотетические примеры. Один из клиентов Марка Жируара, адвоката по трудоустройству, проверял по просьбе потенциального покупателя инструмент для анализа резюме и выявил, что одним из двух факторов, имеющих наибольший положительный вес для модели, было имя Джаред. Клиент не купил этот инструмент, но его могли купить другие [99].
Разумеется, мы знаем, что имена кандидатов оказывают влияние на работодателей. В 2001 и 2002 годах экономисты Марианна Бертран и Сендил Муллайнатан разослали более пяти тысяч резюме с именами, которые казались принадлежащими белым (Эмили Уолш, Грег Бейкер) или афроамериканцам (Лакиша Вашингтон, Джамал Джонс). Ответные звонки поступали с шокирующим разрывом в 50 %, несмотря на то что сами резюме были идентичными [100].
Word2vec распределяла собственные имена по расовым и половым признакам точно так же, как и все остальные слова, помещая пару «Сара – Мэттью» по оси пола, а пару «Сара – Киеша» по оси расы. Если учесть, что по тем же осям программа распределяла и профессии, то несложно представить, что система непреднамеренно использовала расовое или половое разделение – фактически, стереотипы, – чтобы повысить или понизить степень соответствия кандидата открытой вакансии. Другими словами, у нас есть все причины беспокоиться, если машина, а не человек, будет выбирать резюме [101].
Очевидное с точки зрения человека решение – скрыть имена – не сработает. В 1952 году Бостонский симфонический оркестр начал проводить прослушивания с использованием ширмы, которая отгораживала кандидатов от членов комиссии. Большинство оркестров последовали их примеру в 1970‐е и 1980‐е годы. Ширмы оказалось недостаточно. Стало ясно, что музыкантам перед выходом на сцену стоило также снимать обувь [102].
Проблема с системами машинного обучения в том, что они разработаны, чтобы отыскивать скрытые совпадения в данных. До такой степени, что, скажем, разные стили письма у мужчин и женщин – незначительные отличия в правописании или синтаксисе – Word2vec найдет в течение минуты. Обнаружит программа и непрямые корреляции между «разработчиком программного обеспечения» и всеми характерными для мужчин фразами [103]. Они могут быть заметными (например, футбол, а не софтбол в списке увлечений), незаметными (например, названия определенных университетов или родных городов) или почти невидимыми (например, предпочтение какого‐то словечка или фразочки). Другими словами, системе такого рода нельзя завязать глаза. Она всегда услышит стук каблуков по деревянному полу.
В 2018 году международное агентство новостей Reuters сообщило, что программисты Amazon с 2014 года разрабатывали инструмент машинного обучения, отфильтровывающий размещенные в Интернете резюме и оценивающий кандидатов по шкале от одной до пяти звезд (как и сами продукты Amazon), основываясь на том, насколько они многообещающие. Специалисты по подбору кадров Amazon сосредоточились на этих оценках [104]. «Они хотели буквально создать машину, вложить в нее резюме сотни соискателей, чтобы она выбрала пять лучших, и взять их на работу», – рассказал один из источников репортерам. Каким же должен быть критерий отбора? Таким же: модель представления слов оценивала схожесть резюме кандидатов с резюме тех, кого Amazon наняла за последние десять лет.
Тем не менее к 2015 году Amazon начала замечать проблемы. Большинство нанятых ранее разработчиков были мужчинами. Модель приписала отрицательный коэффициент слову «женский» – например, при описании хобби. Ее отредактировали, чтобы убрать это неравенство.
Также выяснилось, что программа приписывает отрицательный коэффициент и именам всех женщин-коллег, указанных в резюме. Модель опять отредактировали.
Но она снова нашла лазейку. Разработчики заметили, что модель приписывает положительный коэффициент практически всему выбору лексики, более характерной для мужских резюме – например, таким словам, как «выполнил» или «добился» [105].
К 2017 году Amazon закрыла проект и распустила команду, которая им занималась [106].
Как избежать неравенства в векторном представлении слов
Толгу Болукбаси, Адаму Калаи и их коллегам из BU и Microsoft, разумеется, было важно не просто обнаружить предвзятость, но и устранить ее.
Можно было отыскать в этом многомерном векторном пространстве оси, которые отвечают за понятие пола, и удалить их. Но удаление гендерных отличий означало бы утрату таких полезных аналогий, как «король: королева», «дядя: тетя». Так что перед разработчиками стояла сложная задача: «снизить гендерное неравенство при векторном представлении слов, сохранив полезные свойства этого представления» [107].
Как
