не представляют ли массовые инструменты прогнозирования на основе данных, включая ИИ, экзистенциальную угрозу для демократии – и для наших гражданских свобод.
Единожды взглянув на проблему под этим углом, она стала замечать ее повсюду. На переднем крае находились применяемые государством алгоритмы, которые удаленно руководили шпионажем, надзором и даже убийствами. Но этим дело не ограничивалось. В разных штатах США и во многих странах Европы и Азии власти испытывали автоматизированные программы в системе правосудия, в образовании, здравоохранении и пограничном контроле. В Великобритании, где живет Крайдер, Министерство внутренних дел применяет беспилотники, оснащенные ИИ-технологиями, для обнаружения надувных шлюпок с нелегальными мигрантами у берегов страны{147}. Органы власти с ограниченными финансовыми ресурсами, например Министерство труда и пенсий, внедряют программы для выявления закономерностей, чтобы принимать решения о социальном обеспечении{148}, прямо как правительство аргентинской провинции Сальта, которое для этих целей привлекло к сотрудничеству компанию Microsoft.
В частном секторе Крайдер наблюдала сокрушительное, обесчеловечивающее влияние менеджмента на основе данных и искусственного интеллекта на курьеров, получающих заказы через приложения, и складских работников компании Amazon.
Крайдер заметила, что, несмотря на свидетельства немалого ущерба, наносимого алгоритмами, сообщество правозащитников почти не занимается этими вопросами. Она посещала общественные дискуссии и мероприятия, участники которых рассуждали о том, как ограничить власть крупнейших технологических компаний и уменьшить вред от использования ИИ, но в основном встречала там технарей, предлагающих программные решения.
Где же были активисты и правозащитники, которые борются за людей, притесняемых технологиями на основе данных? Кто подавал в суд на крупные корпорации за злоупотребление персональными данными людей, за ущерб, который компании причиняют сообществам своими рекомендательными алгоритмами, и за угнетение множества невидимых работников, занятых в производстве ИИ-продуктов, – таких, как Иэн Коли, Дэниел Мотаунг и Александру Ифтимие?
По собственному опыту Крайдер знала, что социальные перемены провоцирует конфликт, но в технологическом мире конфликта практически не наблюдалось. «Не стоит ожидать, что однажды утром Джефф Безос сделает несколько отжиманий, съест свой пудинг с чиа и вдруг ощутит огромное чувство вины, – говорит она. – Как сказал Фредерик Дуглас, власть не уступит ничего, если у нее ничего не потребовать».
Летом 2019 года Крайдер и две ее коллеги – Марта Дарк и Роза Кёрлинг – на несколько недель обосновались в уголке принадлежащего ее другу офиса, чтобы продумать цели и задачи новой правозащитной организации Foxglove, названной в честь наперстянки – полевого цветка, который может и убивать, и исцелять, в зависимости от дозировки. Они решили юридическими средствами добиваться того, чтобы компании брали на себя ответственность за такие технологии, как большие данные и искусственный интеллект, а люди вернули себе свободу влиять на ситуацию.
Сегодня Foxglove представляет интересы модераторов контента социальных сетей, складских рабочих Amazon и водителей Uber. Команда Крайдер подала иск к Meta от имени жертв межобщинного насилия в Эфиопии, которые винят алгоритмы социальных сетей в провоцировании убийств. Крайдер помогает бороться с автоматизацией в системе социальной защиты в Великобритании и выступает за прозрачность использования данных в Национальной системе здравоохранения.
Она не одна – все больше людей из разных стран пытается отстоять свою независимость от непрозрачных ИИ-систем и призывают к этичному созданию и использованию систем, основанных на больших данных, по всему миру. История Крайдер показывает, что значит быть современным луддитом: нужна немалая смелость, чтобы выступить против самых могущественных структур в истории нашей цивилизации.
* * *
В 2019 году, когда Крайдер и ее коллеги основали Foxglove, они сформулировали ее цель откровенно идеалистично. Организация была призвана бороться за права «маленьких людей», оказавшихся в ловушке автоматизированных систем. Для этого предполагалось использовать все рычаги демократической и судебной систем. Пока они занимаются только делами людей, испытавших на себе негативное воздействие технологий на основе данных.
Например, в 2020 году они сделали себе имя, приняв участие в двух судебных процессах, в ходе которых рассматривалось несправедливое использование алгоритмов британским правительством. Сначала они подали иск к Министерству внутренних дел, применявшему непрозрачный алгоритм выдачи виз, который, как полагали правозащитники, дискриминировал заявителей по национальному признаку{149}. Эта программа присваивала заявлениям на получение британской визы разный приоритет в зависимости от уровня риска. Изучив, как алгоритм разделяет национальности, правозащитники Foxglove назвали его «приоритетной посадкой для белых»{150}. Министерство внутренних дел предпочло не раскрывать информацию о работе системы и не вести судебные тяжбы, а приостановить использование модели и скорректировать ее.
Через несколько месяцев, в августе 2020 года, правозащитники Foxglove поставили под сомнение корректность работы широко распространенного алгоритма выставления предполагаемых экзаменационных оценок выпускникам британских школ, который использовался во время пандемии COVID–19, когда национальные экзамены были отменены{151}.
Эта система, внедренная национальным Управлением по регулированию квалификаций и экзаменов, получала из каждой школы данные о том, как учащиеся сдавали экзамены в прошлые годы, и анализировала распределение оценок. После этого ее настраивали в сторону большей или меньшей строгости в зависимости от того, какой была успеваемость текущего выпуска в сравнении с предыдущим.
Эта система была устроена так, что не учитывала частные случаи, не допускала корректировку со стороны учителя и завышала оценки по предметам, которые изучало лишь небольшое количество учеников, как правило в частных школах. В совокупности это привело к тому, что из-за перекосов в данных за прошлые годы алгоритм занизил экзаменационные оценки тысячам выпускников – по большей части из школ, ученики которых традиционно показывали низкие результаты.
Юридические угрозы со стороны таких организаций, как Foxglove, вкупе с массовыми протестами школьников, которые объединились под лозунгом «В жопу алгоритм!», вынудили правительство отказаться от использования автоматизированной системы и вернуться к выставлению оценок силами учителей{152}.
Но правительствами дело не ограничивается. Foxglove готовится еще и к битве против Кремниевой долины. От Мьянмы и Мумбаи до Мельбурна – повсюду технологические платформы каждый день принимают политические, этические и культурные решения от имени миллиардов пользователей. Как правило, они вершат судьбы людей, находясь в привилегированном положении и физически располагаясь в США. В развивающемся мире эти платформы, основанные на алгоритмах, создают собственные пузыри рабочей силы, определяют границы интернета, жалуются на местные законы, задают рамки свободы слова, а порой и провоцируют политическое насилие, войны и геноцид.
Погрузившись глубже в технологический мир, Крайдер по-новому взглянула на тех, кому она противостоит. Она обнаружила, что всемогущий промышленный комплекс американских корпораций, условно объединяемых в «большую пятерку», сосредоточил в своих руках такую власть и такие объемы информации, которым позавидовало бы большинство государств. «Вся хитрость в названии, ведь это общества с ограниченной ответственностью», – говорит она. Их власть при этом почти не ограничена, и Крайдер полагает, что бороться с
