class="a">{103}.
В «Матерях» рассказывается о четырнадцатилетнем чернокожем парнишке, который был арестован за кражу банки газировки из магазина. Ему не позволили вернуться в школу. Вместо этого ему велели явиться вместе с матерью на собрание, где присутствовали полицейские, психологи и школьные работники. Как отмечает его мать, казалось, что они были настроены против него. Полицейские не оказывали поддержку, а лишь усиливали конфронтацию, и складывалось впечатление, что идет настоящий суд.
В 2021 году некоммерческая организация Fair Trials, которая следит за отправлением уголовного правосудия в Европе, организовала для журналистов, политологов и правоведов мероприятие, чтобы обсудить «Список 600» и программу ProKid. Диане предложили рассказать свою историю. «Если ты мать-одиночка, – сказала она собравшимся, – ты должна вписываться в определенные… рамки. Если ты в эти рамки не вписываешься, тебя в них впихнут. Я лишилась всех денег, потому что мой сын попал в “Список 600”, я потеряла работу. И сразу вписалась в эти рамки. Я даже не понимала этого, но тебя действительно в них загоняют».
Диана выбралась из замкнутого круга лишь после того, как взяла ситуацию в свои руки, рассказала историю своих злоключений в голландской газете Het Parool и написала напрямую бургомистру, попросив назначить нового координатора. «Я написала бургомистру, что [алгоритм] хорош в теории, но плохо работает на практике». Газетная статья и письмо бургомистру привлекли внимание к ее семье, и им назначили нового социального работника, который помог Диане изменить положение дел.
Новый координатор стал работать непосредственно с Дианой, помогая ей вернуть уверенность в себе и поднять самооценку, чтобы она снова смогла заботиться о своих детях. Через три месяца, окончательно встав на ноги, она поняла, что привлечение матерей к заботе о детях – ключ к решению поведенческих проблем. Со временем она даже пришла к выводу, что государственная поддержка, разработанная с учетом нужд конкретных семей, может приносить людям пользу.
Однажды вечером, поговорив с Дианой, я взяла в руки старый экземпляр «Алой буквы» – американского романа 1850 года, в котором пуританское общество клеймит позором молодую женщину Эстер Прин, родившую ребенка вне брака. Она становится изгоем и носит на груди клеймо – алую букву «А». Прин не спастись, не искупить свой грех, не получить прощения. У меня в голове зазвучали слова Дианы с мероприятия Fair Trials: «Семьи разрушаются, детей забирают у матерей. Такова наша реальность».
О справедливости и прощении
Для государственных органов главный вопрос состоял в том, правда ли оценка рисков и последующее вмешательство в жизнь подростков приводят к снижению преступности. Семьям и правозащитникам важнее было понять, оправдывают ли благие цели сомнительные средства: внесение сумятицы в молодые жизни, негативное влияние на семьи и предположительно дискриминационный фокус на иммигрантских сообществах.
Первым делом я поискала свидетельства успеха системы. Стремясь к обеспечению прозрачности, голландское правительство четыре года публиковало отчеты об эффективности «Списка 400». Самый свежий из них, обнародованный в 2017 году, показал, что на конец года в «Список 400» входил 231 человек в возрасте от 14 до 24 лет (программа ProKid работала с детьми до 18 лет, но в список добавили и других молодых людей). После создания алгоритмических списков в 2015 году количество арестов в этой группе сократилось на 33% – со 123 до запуска программы до 82 за два с половиной года после его создания. Но было неясно, как аресты распределяются внутри группы, – например, не может ли быть такого, что улучшается поведение лишь небольшой доли включенных в список, в то время как остальных арестовывают не реже, а то и чаще.
Кроме того, в отчете сообщалось, что 13% фигурантов «Списка 400» были перемещены в более серьезный «Список 600», а значит, их арестовывали чаще и за более тяжкие преступления, чем раньше, и даже осуждали за них. В этой группе количество арестов за три года сократилось всего на 9%. И снова было неясно: то ли программа сделала правильный прогноз, но вмешательства не помогли, то ли само включение в списки делало молодых людей более уязвимыми для преступного мира.
В целом результаты казались в лучшем случае скромными, особенно в сравнении с негативными последствиями для семей, которых заставили участвовать в этом эксперименте. Голландский антрополог Пауль Мютсарс несколько лет изучал влияние на людей используемых в стране программ для поддержания правопорядка, включая системы на основе ИИ. В ходе своего исследования он сопровождал полицейских, которые патрулировали бедные районы, в частности Амстердам-Вест. Он взял интервью у начальника полицейского участка, который признал, что из его района в «Список 600» попали исключительно представители этнических меньшинств. «Разумеется, у них гораздо больше шансов оказаться пойманными, – сказал он, – потому что мы постоянно за ними следим»{104}.
Мютсарс также слышал, как полицейские отпускают расистские шуточки и преследуют марокканцев, которых они называют «нафферами» (от англ. North African – выходец из Северной Африки). «Я вместе с полицейскими заходил в крошечные квартиры, где даже мебели нормальной не было, – рассказывает он. – Там царила нищета, но они даже не замечали, что вокруг нас происходит. Это вписывалось в этнические стереотипы».
Полиция держала эти семьи на прицеле, поскольку их дети входили в «Список 600», что «заставляло их чувствовать себя беспомощными перед лицом неодолимой силы этого алгоритма». Баланс «сместился от заботы к принуждению».
Изначально прогнозные алгоритмы и подходы на основе больших данных планировалось использовать для реабилитации, напоминает Мютсарс. «Если цель состоит в том, чтобы обеспечить восстановительное правосудие в проблемных семьях, то [алгоритмы] не работают. Они запугивают людей, используя их близких в качестве рычагов давления, – сказал он. – Разве это можно считать успехом, если даже без рецидивов люди притесняются в обществе? Если да, то это очень печально».
Помимо непредвиденных последствий использования таких ИИ-систем, как ProKid, существует и более общий вопрос о том, можно ли считать оценки ИИ – например, прогнозы вовлеченности человека в преступный мир и риска рецидивизма – более справедливыми, чем выводы людей. Проанализировав систему COMPAS, журналисты газеты Washington Post обнаружили, что выводы ProPublica о расизме приложения отчасти объясняются разными представлениями о справедливости у журналистов и компании Northpointe, владеющей COMPAS{105}. В представлении Northpointe выставляемые оценки говорили об одинаковом риске рецидивизма вне зависимости от расы обвиняемого. Но поскольку чернокожие преступники чаще нарушали закон повторно, большее число чернокожих обвиняемых отправлялось в группу высокого риска. Между тем журналисты ProPublica считали несправедливым, что с чернокожими, которые когда-то подвергались обвинениям, но впоследствии не нарушали закон, обращаются более сурово, чем с белыми в аналогичных случаях. Иными словами, невозможно создать статистическую систему, соответствующую всем представлениям о справедливости. Возможно, как предположили в Washington Post, проблема требует более радикального решения – например, замены выплаты залога на электронный мониторинг, «чтобы
