поведении людей. На основании этого она прогнозировала, будет ли человек арестован в будущем. Важно отметить, что модель никак не могла спрогнозировать, совершит ли человек преступление, поскольку в обучающем наборе данных содержалась информация об арестах, а не о приговорах. Чем больше я об этом читала, тем более четко вырисовывался у меня в голове уроборос – древний символ змея, поедающего собственный хвост. Вот как это работало: полиция главным образом направляла ресурсы на контроль за жизнью иммигрантских сообществ, в значительной мере состоящих из небелой молодежи. Вмешательства полицейских, которые иногда приводили к арестам, становились единицами информации для компьютерной программы, созданной для прогнозирования будущих столкновений с той же полицией. Очевидно, что в этой модели не учитывался вопрос о том, какие преступления совершались на самом деле и кто именно их совершал.
Для оценки риска в каждом случае разработчики алгоритма брали ряд переменных, включая пол и возраст ребенка, а также его историю взаимодействия с полицией, в том числе в качестве свидетеля или жертвы преступлений. Они обнаружили, что часто эти переменные имели корреляцию с арестами. Как утверждали в мэрии, все вошедшие в «Список 400» хотя бы раз бывали арестованы, хотя и не обязательно осуждены.
Кроме того, в ProKid учитывались такие данные, как взаимодействие с полицией друзей и близких индивида, а это связывало людей с теми, с кем они обычно проводили время или состояли в родстве. Учитывая, что социальная среда может существенно влиять на ребенка, ученые полагали, что выбранные ими единицы данных служат важными индикаторами преступного поведения{100}.
После того как Диана и десятки других родителей получили письма о включении их детей в «Список 400», сотрудники Городского совета Амстердама написали бургомистру письмо, текст которого исследователи позже получили по Закону о свободе информации{101}. В нем чиновники отметили, что плохо понимают, почему алгоритмическая система включила в список конкретных людей, поскольку программы на базе машинного обучения представляют собой так называемые черные ящики – непрозрачные системы, внутренние механизмы которых не до конца могут объяснить даже их создатели.
Источник: Письмо бургомистру
Среда, 3 августа 2016 года
Тема: ProKid + информация для родителей
Письма о выводах ProKid разосланы молодежи и родителям, и теперь, как и ожидалось, озабоченные родители начинают нам звонить. Разумеется, мы пока не можем ответить на самый важный их вопрос. Почему я или мой ребенок оказались в этом списке? Разумеется, мы хотим, чтобы родители были максимально вовлечены в судьбу ребенка. Пока мы пытаемся с этим разобраться. Мы вообще не упоминаем о ProKid. И пытаемся не использовать слово «прогнозировать».
* * *
Составленные алгоритмами списки были не просто инструментами для прогнозирования. Они были проклятием. Попадание в один из них навсегда меняло жизнь многих молодых людей. Эти подростки начинали сомневаться в себе. Просто попав в список, они получали клеймо и чувствовали, что их осуждают везде, куда бы они ни пошли. Даже сохраняя надежду со временем исключить свои имена из списка, они опасались, что теперь их шансы поступить в университет, найти работу и купить дом стремятся к нулю и это навсегда. Программа ProKid взяла события, над которыми они были не властны, например присутствие на месте преступления или жизнь в неблагополучной семье, вывернула их особым образом и, возможно, навсегда лишила их будущего.
Попадание в «Список 600» не только омрачило жизнь множества подростков, но и запустило самосбывающееся пророчество, поскольку фигурантов списка принялись активно вербовать наркоторговцы. Диана рассказала мне, скольких из них преступники привлекли к работе, поскольку считали их легкой добычей и пускали в ход угрозы, если они осмеливались возражать.
Одна мать сказала, что ее сыну, включенному в «Список 600», угрожали насилием, если он откажется помогать в совершении преступлений. Она пыталась объяснить это полиции и социальным работникам. «Но кто меня послушает? Никто. Никто, – сокрушалась она. – Я не знала, что он теперь заклеймен. Я передала всю информацию в “Список 600”. Теперь они начальствуют над нами»{102}.
Адвокат Элин Грунендаль защищала интересы нескольких юношей из района Диамантбурт. В основном это были голландцы марокканского происхождения. Она слышала о мальчиках, которых увольняли с работы, которым запрещали бывать в таких общественных местах, как бассейн, которых преследовали, притесняли и даже арестовывали без предъявления обвинений, просто потому что их имена входили в «Список 600». Хотя данные не были обнародованы, полиция и другие государственные органы имели к ним доступ и часто указывали на это юношам из обоих списков.
Каждый арест – даже безосновательный – становился дополнительной единицей информации для модели, которая использовала такие столкновения с полицией как признак того, что исключать имена из списка не нужно. Вот почему людям было сложно избавиться от наложенного на них клейма. Вошедшие в «Список 400» и вовсе чувствовали себя беспомощными, поскольку их заклеймили за вещи, не поддающиеся их контролю. Нафайо, который никогда прежде не «конфликтовал с законом», принялся угонять мотороллеры, и его мать полагает, что виной тому возникшее у него чувство никчемности.
В 2022 году на экраны вышел короткометражный фильм «Матери». Его режиссер Нирит Пелед побеседовала с несколькими голландскими матерями, чьи сыновья попали в списки, и показала, как в итоге это повлияло на их семьи. Ей пришла идея снять этот фильм, когда она услышала, как несколько матерей обсуждают списки, стоя возле кафе неподалеку от ее дома в Амстердаме. Пелед познакомилась с Дианой и посетила несколько общественных мероприятий, на которых собирались матери включенных в списки юношей, и это вылилось в многочасовые разговоры о влиянии предсказывающих преступления программ на общество. Чтобы не раскрывать личности женщин, она снимала в фильме актрис, реплики которых были взяты из интервью с реальными матерями.
В фильме Пелед матери сообщили о притеснениях: во внутренних документах социальных служб их называли «слегка отсталыми» и «нервными», но оспорить или изменить эти характеристики они не могли. При этом ожидалось, что они будут открывать свои двери целым толпам незнакомцев, даже не спрашивая, зачем те пришли.
Если они сообщали социальным работникам о своей уязвимости, это использовали против них, как их ошибку. Клеймо «проблемные родители» давало чиновникам право относиться к ним с презрением и бездушием. Матерям постоянно казалось, что стоит им хоть раз оступиться, как у них и вовсе заберут детей. Одна мать сказала, что стоило ей только дать властям отпор, как ее тут же «заклеймили “проблемной матерью”, а поскольку [на нее] навесили этот ярлык, [она], вероятно, уже вошла в какой-нибудь список 600 проблемных матерей»
