человеческие жизни, преобразованные в непрерывные потоки информации. Конкурентная борьба за эти данные представляет собой историческое продолжение колониализма и усугубляет неравенства прошлого в условиях «датафикации» общества, которая есть не что иное, как новая форма грабежа и угнетения.
Колдри приводит в пример гиг-работников – людей, работающих через приложения в таких структурах, как Uber, Deliveroo и DoorDash, – чьи заработки и жизни зависят от алгоритмов, которые среди прочего определяют, кто получит заказ, как он будет оплачен и кого в конце концов уволят. «Это тирания, – объяснил он мне. – Возникают этические вопросы о том, какие границы мы должны установить, чтобы сделать жизнь людей сносной. Очень важно, чтобы люди всего мира были в этом солидарны. Работники в Бразилии, Индии, Китае и США сталкиваются с одинаковыми проблемами – может, в Сан-Франциско они сегодня стоят не особенно остро, но вскоре они дадут о себе знать и там».
В такой формулировке эта истина стала для меня откровением. Постепенно, подобно тому как из размытых силуэтов складывается четкий полароидный снимок, стали проявляться связи между отдельными героями этой книги. Я вдруг поняла, что структура, объединяющая собранные мной истории о взаимодействии с алгоритмами, в которых фигурировали совсем разные люди, времена и места, на самом деле вполне закономерна – и уже описана небольшим, но растущим сообществом ученых из разных стран. Некоторые имена тех, кто в числе первых излагал эти идеи, были мне знакомы: Тимнит Гебру, Джой Буоламвини, Кейт Кроуфорд, Кэти О’Нил, Мередит Уиттакер, Вирджиния Юбенкс{5} и Сафия Умоджа Нобл{6}. Я обратила внимание, что все они женщины, изучающие несоразмерно большой вред, который ИИ наносит маргинализированным сообществам.
Прочитав их работы и просмотрев научные статьи, на которые они ссылались, я обнаружила и другие, не столь известные имена. В основном это были небелые женщины, которые живут и работают за пределами англоговорящего Запада: Паола Рикаурте{7} из Мексики, Абеба Биране из Эфиопии, Урваши Анеджа из Индии, Милагрос Мисели и Пас Пена из Латинской Америки. Они были непосредственными свидетелями того, как в их сообществах проявляются дискриминация и социальное неравенство, и многие из них жили именно в тех местах, о которых пойдет речь в этой книге.
Снова и снова в своих работах они приходили к тому же выводу, что и Колдри с Мехиасом в своей теории колониализма данных. Такие масштабируемые системы, как машинное обучение, создаются на благо крупных социальных групп, но обычно работают за счет других людей. Этими «другими», как правило, оказываются индивиды и сообщества, которые уже отчуждены большинством и существуют на размытых границах основного общества, пытаясь сделать так, чтобы их все-таки было слышно и видно. На одних только примерах из этой книги я увидела, как ИИ-системы вредят женщинам, чернокожим и смуглокожим людям, мигрантам и беженцам, религиозным меньшинствам, беднякам, инвалидам и многим другим.
Люди сегодня оказались в созависимости с бесконечными строками кода, который прочно вошел в их жизнь. Не понимая, как работают ИИ-системы, мы просто не замечаем, когда они выходят из строя или причиняют вред – особенно представителям уязвимых групп. И наоборот, не понимая природу, этику, историю людей и саму нашу человеческую сущность, ИИ-системы никак не могут нам помочь.
* * *
Сила моделей машинного обучения состоит в их способности находить статистические связи, часто незаметные для людей. Принимаемые ими решения и методы их работы не диктуются людьми, которые их создают, поэтому их и называют черными ящиками. Считается, что благодаря этому они гораздо объективнее людей, но вместе с тем их логика бывает непрозрачной и неочевидной – даже для их создателей.
Например, исследователи, которые разрабатывали алгоритмы диагностики COVID–19, использовали в качестве контрольной группы рентгеновские снимки грудной клетки больных пневмонией, но оказалось, что в выборку попали только снимки детей в возрасте от одного до пяти лет. В результате построенные учеными модели научились отличать детей от взрослых, вместо того чтобы отличать COVID–19 от пневмонии{8}. Эти системы – загадочные сущности с непознаваемыми когнитивными паттернами.
Помимо того, что автоматизированные системы технически непрозрачны, люди не всегда замечают, какое воздействие они оказывают на жизнь. Особенности внедрения алгоритмов в общество привели к размытию нашего чувства личной автономии, а также к снижению влияния и степени участия в нашей жизни тех, кому мы доверяем как специалистам, что в итоге спровоцировало общественную трансформацию.
Даже когда мы знаем, что решения, которые сказываются на нас, принимает алгоритм, институты и компании обычно не посвящают нас в принципы работы системы. Мы все оказываемся заложниками бесконечного цикла, где «компьютер говорит нет».
Потеря чувства самостоятельности и контроля приводит к тому, что человеку становится сложнее брать на себя ответственность за собственные действия. Сложнее становится и предъявлять официальные обвинения и в принципе осуждать индивидов и корпорации, которые перекладывают ответственность с себя на программы ИИ. В конце концов, машину в суд не вызовешь.
В 1980-х годах стэнфордский психолог Альберт Бандура назвал агентность – чувство, что мы контролируем свои действия и их последствия, – неотъемлемым свойством человеческой природы и условием эволюции нашего вида. Он утверждал, что люди не просто являются продуктами среды и общества, а вносят в них свой собственный вклад{9}.
Бандура описал три основных типа влияния людей: индивидуальный, посреднический и коллективный. Посредниками обычно становятся люди, обладающие экспертными знаниями или ресурсами, – например врачи, сотрудники правоохранительных органов и выборные представители, которых мы наделяем правом говорить за нас. Коллективы же накапливают знания и ресурсы, чтобы обеспечить всем лучшее будущее.
Философы полагают, что личная свобода человека неразрывно связана с особенностями его агентности – с его способностью считать свои действия и желания собственными и чувствовать, что он в состоянии что-то изменить. ИИ-системы явно и неявно влияют на это, в связи с чем людям начинает казаться, что они теряют самостоятельность – или в некотором роде даже свободу воли.
Мы как общество попали в затруднительное положение: регулирование ИИ и других статистических алгоритмов в последующие годы окажет на нас огромное влияние, но у нас недостаточно инструментов, чтобы управлять грядущими переменами. Мы плохо понимаем, как воздействуют на нас ИИ-системы. Мы никак не можем решить, какие этические принципы следует в них встроить. Мы спорим о том, как регулировать работу ИИ. Мы коллективно перекладываем свой моральный авторитет на машины.
Но если каждый отдельно взятый человек чувствует, что ИИ-системы лишают его возможности контролировать свои действия и решать, чему уделять больше внимания, то коллективная агентность с развитием ИИ, как ни странно, укрепляется. По иронии судьбы неотъемлемые свойства автоматизированных систем – их непрозрачность, негибкость, постоянная изменчивость и нерегламентированность
