никто не сидел за решеткой без необходимости».
В конце концов, все сводится к людям, которые руководят процессом, – ИИ не может заменить свободу человека выбирать наиболее справедливый исход. Я поговорила с американским специалистом по криминологии и статистике Ричардом Берком, который разработал несколько ИИ-инструментов для американской системы уголовного правосудия. «Это проблемы политики и этики, в которых я не разбираюсь», – признался он. Поэтому он привлекает к сотрудничеству людей, которые принимают решения, включая членов комиссий по досрочному освобождению, адвокатов, судей и полицейских, и предлагает им различные компромиссы. Он показывает, как алгоритмы работают с разными группами населения, и предлагает выбирать, на чем делать акцент и какие результаты важнее. «Эти параметры всегда определяют люди», – говорит он.
* * *
Через три года после включения в амстердамский «Список 600» имя Дамьена наконец-то из него вычеркнули. В телеинтервью журналист спросил у юноши, заслужил ли он попадания в этот список из-за своих преступлений. «Я считаю, что за все расплатился раньше, когда меня судили за мои проступки, – сказал Дамьен. – Меня приговорили к домашнему аресту, мне установили комендантский час, я даже заплатил несколько штрафов. Я знаю, что после этого усвоил свой урок».
Слова Дамьена о том, что он уже расплатился за свои преступления, натолкнули меня на мысль о милосердии. Когда обществу следует прощать человека? Справедливо ли, что человека наказывают один раз, или же необходимо и дальше сомневаться в нем и наблюдать за ним, чтобы он больше не нарушал закон? И не становится ли грубое вмешательство государства в эти дела не благом, а наказанием?
Идея о прощении занимает центральное место в поведенческой психологии, особенно в том, что касается развития ребенка. Мы говорим детям, что простим их в любом случае, что мы любим их, даже когда злимся, и что у них всегда есть шанс исправиться. Исследования показывают, что, прощая детей, мы повышаем их самооценку, помогаем им принимать себя и воспитываем в них здоровое отношение к ошибкам. В результате они превращаются в самодостаточных и эмпатичных людей{106}.
Всевозможные ИИ-инструменты и другие статистические программы, прогнозирующие траекторию жизни человека, имеют карательный, а не эмпатичный характер. Поддерживать общественный порядок на основе этих прогнозов – значит не оберегать и прощать, а исключительно оценивать, с какой вероятностью человек оступится. Каждое действие, каждое наблюдение, каждая сторона вашей личности каким-то образом связываются с преступностью, поскольку именно в таком ракурсе рассматривается ваша жизнь. Ошибки ваших родителей, цвет вашей кожи, ваш родной язык, ваша любимая музыка, общий уровень социальных и институциональных предубеждений – все становится эрзац-переменными в алгоритме, который оценивает вашу потенциальную опасность для общества. Полиция начинает преследовать вас в повседневной жизни, подкрепляя в вас чувство собственной несостоятельности.
Раздумывая о ценности эмпатии, я наткнулась на статью о роли прощения в государственном профилировании с помощью ИИ. Ее написала Каролина Ла Форс, которая изучает профилирование уязвимых групп, осуществляемое голландским правительством, и она утверждает, что детей необходимо исключить из государственных и полицейских систем профилирования, таких как «Список 600», «Список 400» и ProKid, просто потому что дети невинны. Эта идея нашла частичное отражение в европейских законах об охране персональных данных в виде «права на забвение», которое позволяет человеку потребовать, чтобы та или иная компания уничтожила его персональные данные, а также в виде права обжаловать автоматизированные решения и потребовать человеческого вмешательства. Кроме того, Ла Форс отмечает, что у этих детей должно быть право не подвергаться алгоритмической оценке. Их данные должны быть забыты{107}.
Эмпатия учит нас, что никто не идеален, но все заслуживают прощения. Оценка рисков говорит обратное: вот твоя зафиксированная цифровым образом реальность, а твои преступные наклонности только и ждут момента вырваться наружу. Обстоятельства таковы, что ты вообще не заслуживаешь прощения. Еще находясь в «Списке 600», Дамьен сказал голландскому телеведущему: «Я просто не вижу выхода».
Когда я спросила Ла Форс, может ли она вообразить более удачное решение для борьбы с преступностью среди подростков и молодежи, она проявила оптимизм. «Мне сильно не хватает мнения детей», – сказала она. Теперь она изучает, как привлечь детей и их родителей к разработке решений, чтобы не клеймить кого попало оценками алгоритмов. Кроме того, она предложила включать в прогнозные алгоритмы все переменные, связанные с улучшением жизни молодых людей, включая сведения о посещении служб по работе с молодежью, о работе с психологами и позитивные результаты, которые могли бы сбалансировать их психологический портрет. «Я возвращаюсь к принципу прощения, – сказала она. – У детей должна быть возможность выбраться из этих списков. Почему бы в дополнение к черному списку не сделать и белый?»
Пока мы говорили, я поняла, что почему-то в этом случае в дискуссии об этике ИИ – о том, как работают автоматизированные системы, какие критерии и единицы информации используются и насколько прозрачными должны быть результаты, – власти забыли о том, что на самом деле важно. В центре этой карательной системы был ребенок или молодой человек, который совершил ошибку. Какой смысл использовать технологии, если они причиняют вред детям и семьям, которым вообще-то должны помогать?
Оказывается, власти Амстердама продолжают использовать прогнозные полицейские алгоритмы, поскольку верят в их положительное влияние на снижение преступности. Они утверждают, однако, что больше не доверяют прогнозирование системам машинного обучения. Чуть более года назад – после выхода фильма «Матери» – мэрии Амстердама пришлось ответить на критику со стороны общественности и членов городского совета. Бургомистр Фемке Халсема подтвердила, что оба списка по-прежнему используются.
Но она сказала, что программа ProKid, созданная на основе ИИ-технологий, более не применяется при формировании «Списка 400». Вместо нее город использует простой статистический метод на базе ряда установленных критериев, включая прогулы уроков, аресты, подозрения в совершении правонарушений и продажу поддельных лекарств. «Хотя программа ProKid+ имела под собой научные основания, комплексная оценка различных факторов риска производилась слишком изощренно и потому заинтересованным лицам было сложно в ней разобраться, – написала Халсема. – Мы прислушались к мнению молодых людей и их родителей и поэтому прекратили использовать ProKid+».
Халсема отрицает, что в процессе имели место предвзятость и дискриминация, и настаивает, что критерии попадания в список были прозрачны и «никакие персональные данные о расе, этнической принадлежности, национальности, религии, политических взглядах, гендере и сексуальных предпочтениях не влияли на включение людей в “Список 400”».
Она признала справедливость критики матерей из фильма Пелед и других, включая Диану, отметила, что опыт «показал, что необходимо еще усерднее работать над информированием родителей и их включением в процесс», и добавила, что теперь при попадании ребенка в один из списков его родители сразу приглашаются на специально организованную
