снова загорелся огонь. Я стала бороться с системой».
Полицейские алгоритмы
В теории прогностические полицейские алгоритмы позволяют дешевле и эффективнее распределять ограниченные ресурсы, чтобы органам правопорядка не приходилось разбираться с последствиями уже совершенных преступлений.
Для проверки этой теории был разработан целый ряд экспериментов с ИИ-системами. Они использовались для прогнозирования бандитизма в Великобритании{92}, для выявления потенциальных террористов в Германии{93} и для предупреждения домашнего насилия в США. Методы машинного обучения испытываются в качестве инструментов для прогнозирования рецидивизма среди осужденных преступников, для подкрепления решений о мере наказания и о назначении залога. Но пока остается открытым вопрос о том, насколько хорошо они работают.
Тем временем есть основания полагать, что такие алгоритмы проявляют расизм – непреднамеренно или в силу особенностей своего проектного решения. Даже в тех случаях, когда алгоритмы не учитывают расу, они используют эрзац-переменные – прошлые аресты, присутствие при совершении насильственных преступлений, жизнь в определенном районе и даже самую обычную бедность, – которые закрепляют институциональный расизм. Это было продемонстрировано в расследовании некоммерческой журналистской организации ProPublica, которая проанализировала прогнозный инструмент COMPAS, широко используемый в США для прогнозирования вероятности рецидивов у обвиняемых в совершении преступлений и вынесения решений о том, отпускать ли их под залог. Журналисты ProPublica изучили прогнозы COMPAS для более чем семи тысяч арестованных во Флориде и пришли к выводу, что это расистский алгоритм. Они обнаружили, что «чернокожие почти вдвое чаще белых отправляются в группу высокого риска, хотя более не нарушают закон». Белые, напротив, «гораздо чаще чернокожих отправляются в группу низкого риска, но в итоге совершают другие преступления»{94}.
В голландские списки тоже вошли в основном небелые мальчики, и критики утверждают, что отчасти это объясняется тем, что в сравнении со своими белыми сверстниками они привлекают гораздо больше внимания со стороны полиции.
В Нидерландах такие технологии оценки риска, как «Список 600» и «Список 400», входят в национальную политику обеспечения безопасности, которую голландский антрополог из Лейденского университета Анук де Конинг называет системой «рассеянного контроля»{95}. Помимо алгоритмов ProKid, в стране используется также ИИ-программа Crime Anticipation System (CAS, «Система прогнозирования преступлений»), которая прогнозирует, где и когда в будущем произойдут преступления. Эту программу разработали в Амстердаме и впоследствии внедрили по всей стране.
В рамках «рассеянного контроля» используются и статистические модели – в том числе на базе ИИ, – которые помогают брать на прицел конкретные группы: главным образом небогатую и небелую городскую молодежь. Цель состоит в том, чтобы прогнозировать и предотвращать проблемы. В совокупности эти меры воплощают собой сочетание «заботы и принуждения», которое отразилось в слогане, использованном полицией для «Списка 600»: «Составлен с заботой»{96}.
На протяжении полутора лет де Конинг беседовала с молодыми людьми и их семьями из амстердамского района Диамантбурт, а также с социальными работниками и полицейскими и обнаружила, что крупнейшую подгруппу в «Списке 600» составляют юные голландцы марокканского происхождения, живущие в этом районе. При этом городские власти утверждали, что их компьютерные системы не учитывали такие факторы, как раса, национальность и этническая принадлежность. Де Конинг изобличила широкую сеть надзора и наказаний, в которую входили не только правоохранительные органы, но и государственные социальные, образовательные и воспитательные службы. Она пришла к выводу, что алгоритмические прогнозы и надзор на основе данных не только имеют дискриминационный характер, но и порождают культуру страха среди семей иммигрантов, подрывая их доверие к государственным институтам.
Это происходило на фоне резкого увеличения количества камер видеонаблюдения в Диамантбурте, аналогично ситуации в недавние годы в лондонском Стратфорде. Один мальчик из списка, который дал де Конинг интервью под псевдонимом Мо, сказал ей, что из-за камер возникает ощущение, будто полиция «постоянно стоит над душой», а его самого и его друзей держат под колпаком и штрафуют за самые безобидные вещи: когда они собираются вместе, перешучиваются и тусуются возле местного общественного центра. Полицейские прекрасно знают этих мальчишек и пользуются этим, чтобы им угрожать. «Когда полицейские проезжают мимо и называют тебя по имени, тебе сразу кажется, что тебя поставили на место. [Когда полицейский говорит мне:] “Привет, Мо!”, – я отвечаю: “Привет, козел!”»
И списком с данными этих ребят дело не ограничивалось. В одном полицейском участке в районе Амстердам-Вест примерно в восьми километрах от Диамантбурта на стене красуется цветная мозаика из восьмидесяти полицейских снимков местных фигурантов «Списка 600», которая служит ежедневным напоминанием о том, кого полиции надо держать на прицеле.
«Список 600» был составлен по инициативе бургомистра Амстердама Эберхарда ван дер Лана, который ранее работал адвокатом по уголовным делам. Список был призван предотвратить вовлечение молодежи в преступный мир. Все вошедшие в список имели хотя бы одну судимость за совершение «серьезного» преступления, но условия для исключения из списка не оговаривались{97}. К этим детям приставлялись государственные координаторы – с семьей Дианы их работало как минимум двое, – которые помогали шестистам подросткам не сворачивать со стези добродетели.
Чтобы подкрепить это начинание, бургомистр указал на выводы специалиста по поведенческой психологии Жаклин Винтьес, которая консультировала центральное правительство и утверждала, что большинство взрослых преступников начинали демонстрировать признаки деструктивного поведения – совершать поджоги, употреблять наркотики, курить, прогуливать школу, драться – еще до достижения двенадцати лет. После этого Винтьес и ее коллегам поручили разработать ProKid – набор моделей машинного обучения, которые должны прогнозировать, будет ли человек в возрасте от нуля до двадцати трех лет нарушать закон. Бургомистр рассчитывал использовать эти прогнозы для раннего вмешательства, чтобы эти воображаемые преступления так и не произошли.
В июле 2016 года более ста амстердамских детей младше восемнадцати лет получили уведомления о включении в «Список 400», составленный на основе прогнозов модели ProKid. В прессе это назвали «уникальным экспериментом», который позволял прогнозировать – и менять – будущее ребенка. В мэрии сообщили, что дети включались в список не только на основании прошлых приводов в полицию, но также с учетом данных, используемых для оценки риска: «например, о зафиксированных прогулах или о том, что [ребенок] был жертвой, свидетелем или подозреваемым в деле о домашнем насилии»{98}. Хотя в названии списка фигурировало число 400, на самом деле имен в нем было меньше. Судя по внутренней переписке сотрудников мэрии, которую исследователи получили по Закону о свободе информации, этого им, похоже, было недостаточно{99}. «В “Список 400” входят двести человек, – написал один из чиновников, – а денег выделяется на четыреста. Можно ли расширить критерии отбора?»
Модель ProKid, обученная на данных об арестах, произведенных в 2011–2015 годах, выявляла закономерности в демографических характеристиках и
