используется как инструмент для анализа данных. Наша работа показывает, как артефакты машинного обучения (в данном случае представление слов) могут быть интересными объектами социологического анализа. Мы считаем, что такое смещение парадигмы может дать множество плодотворных исследований».
Во-вторых, предрассудки и оценочные суждения, хотя и кажутся незаметными, эфемерными, невыразимыми, существуют в действительности. Их можно измерить во всех подробностях. Они проявляются неожиданно и стабильно в моделях, созданных только для того, чтобы предсказывать пропущенное слово. Они измеримы, поддаются количественной оценке и изменяются. Они отслеживают достоверные, эталонные данные об участии в трудовой деятельности и субъективные мнения и стереотипы. Все это и многое другое есть в моделях, которые якобы лишь предсказывают пропущенное слово с помощью контекста: история нашего языка – это история культуры.
В-третьих, эти модели следует использовать с осторожностью, особенно за пределами их изначального предназначения – угадывания пропущенных слов. Как говорит Адам Калаи, «я общался с людьми, которые, прочитав нашу статью, говорили, что … теперь будут осторожнее при использовании представлений слов или, по крайней мере, дважды подумают, прежде чем применять их в своих собственных приложениях. Так что один положительный результат есть». Похожие мысли выражает и команда из Принстона. «Разумеется, – пишут они, – необходимо с осторожностью подходить к встраиванию в системы принятия решений модулей, созданных с помощью неконтролируемого машинного обучения» [123]. Очень немногие руководители Amazon стали бы открытым текстом заявлять о политике «найма людей, которые, если бы подали резюме десять лет назад, сильнее других походили бы на тех, кого мы тогда действительно наняли». Но использование языковых моделей для отбора резюме по «релевантности» создает именно такую петлю времени.
Мы переживаем непростой момент в истории: сила и гибкость этих моделей сделали их чрезвычайно полезными для большого количества коммерческих и общедоступных приложений, но стандарты и нормы, связанные с их допустимым использованием, остаются расплывчатыми. Нам следует быть особенно осторожными и консервативными, тем более что многие из этих моделей едва ли существенно изменятся, когда их привлекут к оказанию услуг в реальном мире. Как подытожил Арвинд Нарайянан из Принстона, «вопреки широко распространенному штампу о том, что „технология развивается так быстро, что обществу ее не догнать“, их коммерческое внедрение обычно идет очень медленно – только посмотрите на продукты, которые работают в банках и авиакомпаниях. Модели машинного обучения, которые разрабатываются сегодня, будут работать спустя 50 лет, и это пугает».
Моделирование мира таким, каков он есть, – это одно. Но как только вы начинаете использовать эту модель, вы меняете мир, совершая маленькие и большие действия. Существует предположение о многих моделях машинного обучения: сами по себе они не меняют реальность, которую моделируют. Чаще всего оно оказывается неверным.
На самом деле неосторожное внедрение этих моделей может породить петлю обратной связи, восстановление после которой будет очень трудным или потребует куда более значительного вмешательства. Если, скажем, система для поиска резюме обнаружит гендерное отклонение в определенной позиции и отсортирует, например, кандидатов-мужчин так, чтобы подчеркнуть это отклонение, это может стать следующим пакетом данных, на которых модель учится. И она узнает еще более выраженную версию существующего предрассудка. Проще всего – вмешаться как можно скорее.
Наконец, эти модели становятся для нас цифровым компасом, позволяющим обществу обратить взор в будущее. Мы получаем картину не только нашей истории, но и сиюминутного настоящего. Ежедневно онлайн появляются новые тексты, которые сразу же становятся выборками для обучения.
Если пользоваться ими мудро (чтобы носили описательный, а не предписывающий характер), те же самые системы, способные усилить и закрепить дремлющие в обществе предрассудки, могут помочь их увидеть. Они дают нам возможность измерить то, что кажется нечетким или бесформенным. Это только начало.
Йонатан Зунгер, который больше не работал в Google, утверждает, что люди иногда забывают, насколько проектирование инженерных систем неотделимо от общества, его норм и ценностей. «Проектирование связано с сотрудничеством, взаимопомощью, сочувствием как к коллегам, так и к клиентам, – пишет он. – Если кто‐то говорит, что проектирование – это сфера деятельности, где нет взаимодействия с людьми и их чувствами, тогда я очень сожалею, но он лжет» [124].
Что же до Джеки Алсине, который теперь руководил собственной компанией по разработке программного обеспечения и поддерживал контакты с Зунгером, то он согласен, что проблема не только в технике. «Отчасти именно поэтому я и хочу стать учителем истории, – сказал он мне, улыбаясь. – Когда мне исполнится 35, я все брошу, уйду на пенсию и погружусь в историю». И он был по крайней мере наполовину серьезен.
2. Справедливость
С тех пор как сошли ледники, и, возможно, даже до ледникового периода, когда человечество отправилось в странствия по американскому континенту, к его эволюции прилагалось одно грустное дополнение, одна из проблем, за которую наука недавно взяла на себя ответственность, – это возможность предсказать, что будет делать человек, отпущенный из тюрьмы под честное слово.
Chicago Tribune, январь 1936 [125]
Наши законы наказывают людей за то, что они сделали, а не за то, кем они являются. Назначение наказаний на основании неизменных характеристик личности полностью противоречит этому основополагающему принципу.
Председатель Верховного суда США Джон Робертс [126]
Поскольку мы находимся на пороге применения машинного обучения для принятия практически всех видов решений, имеющих важное значение в таких областях, как образование, трудоустройство, реклама, здравоохранение и охрана правопорядка, важно понимать, почему машинное обучение по определению не может быть справедливым, что бы ни вкладывалось в смысл этого слова.
Мориц Хардт [127]
Идею о том, что общество может стать более стабильным, правильным и справедливым, если заместить сугубо личное индивидуальное правосудие цифровыми моделями, едва ли можно назвать новой. Их использовали в уголовном судопроизводстве еще более века назад.
В 1927 году новый председатель комиссии по условно-досрочному освобождению (УДО) штата Иллинойс Хинтон Клабо заказал исследование работы системы досрочного освобождения. Он руководствовался тем, что называл разрывом между инновацией и ее применением на практике. «Хотя наши промышленные и правительственные машины далеки от идеала, мы, возможно, являемся самой промышленно развитой и эффективной нацией, – писал Клабо. – Можем ли мы положа руку на сердце сказать то же самое и о наших правоохранительных органах?» [128] Несмотря на то что Иллинойс был одним из первых штатов, применивших условно-досрочное освобождение, общественность была недовольна. Как заметил Клабо, народ считал, что «маятник, раскачивающийся от правосудия к милосердию, принимает сторону преступников». Его собственная точка зрения не слишком отличалась: он полагал, что идея условно-досрочного освобождения может привести к излишней мягкости и что саму систему, возможно, следует отменить. Но он приводил довод о том,
