преступника в 33-летнем чернокожем Парксе. Год спустя дело было закрыто за недостаточностью улик, и позже Паркс подал против полиции иск о нарушении его гражданских прав. Через год после этого программа распознавания лиц снова дала сбой, и Роберт Джулиан-Борчак Уильямс, отец двоих детей из Детройта, был арестован за магазинную кражу, которой не совершал{53}. Его задержали прямо у него во дворе, на глазах у близких.
Технология распознавания лиц ошиблась и тогда, когда идентифицировала Амару Маджид, родившуюся в Америке, как террористку, которая участвовала в организации взрывов в Шри-Ланке на Пасху 2019 года{54}. Маджид, которая в то время училась в университете, сказала, что из-за ошибки системы и она сама, и ее семья испытали унижение и боль, когда их родственники из Шри-Ланки неожиданно увидели в вечерних новостях ее фотографию среди снимков обвиняемых в терроризме.
Наблюдая, как сталкиваются два его мира, Карл был вынужден признать, что ИИ-надзор имеет негативные последствия, – и задуматься о собственной роли в создании систем, которые могут ограничивать свободу индивидов и целых сообществ, живущих своей обычной жизнью. «Думаю, раньше я полагал, что создаю технологию, – сказал он, – а другие умные люди заботятся о ее регулировании. Теперь мне пришлось гораздо глубже задуматься о том, чем именно я на самом деле занимаюсь».
То, что он считал техническими недочетами, – например, тот факт, что алгоритмы гораздо более точно распознают мужские и европеоидные лица и часто ошибаются при распознавании лиц темнокожих людей и женщин, – оказалось куда более серьезной проблемой.
«Это сложное чувство. Как инженер и как ученый, я хочу создавать технологии во благо, – сказал он. – Но как человек и как чернокожий, я знаю, что люди будут использовать технологии неподобающим образом. Я понимаю, что определенным способом мою технологию можно использовать и против меня».
Я освещаю новости технологий на протяжении десяти лет, и Карл стал одним из немногих специалистов по информатике, которые открыто заявили мне о своих моральных терзаниях. Общаясь с ним, я поняла, в каких натянутых отношениях инженеры порой состоят со своими же детищами, и увидела, какие этические дилеммы встают перед ними, когда их профессиональные побуждения сталкиваются с личными.
Кроме того, он оказался одним из немногих технарей, которые интуитивно понимают, какие угрозы таит в себе технология распознавания лиц.
«Проблема не в алгоритмах – проблема в людях», – настаивает он. Он утверждает, что всякий раз, когда технология распознавания лиц дает сбой в сфере охраны правопорядка, проблемы возникают в силу человеческого фактора: из-за повышенного внимания, которое полиция проявляет к мужчинам-афроамериканцам и представителям других меньшинств, и неспровоцированного насилия полицейских в отношении чернокожих – как было с Филандо Кастилем, Джорджем Флойдом и Брионной Тейлор.
Карл знал, что технология часто дает ложные срабатывания, а люди склонны искать подтверждение своей точки зрения. Следовательно, если полицейский считает человека виновным в преступлении, а ИИ-система это подтверждает, под ударом оказываются невинные люди. «Но если это чернокожие, то кому какая разница?» – говорит Карл.
По его признанию, он опасается, что неизбежные ошибки технологии приведут к неоправданному вооруженному насилию. Он боится, что проблемы такого рода усугубят дискриминацию по расовому и любому другому признаку. Вместе с ИИ люди могут создать гораздо более опасную полицейскую систему, чем существует сегодня.
«Это все та же проблема, что возникла в период действия законов Джима Кроу в шестидесятых, ведь они предполагали сегрегацию при равенстве возможностей, но равенства никто не видел, все ограничивалось сегрегацией… люди в принципе не относятся ко всем одинаково. Законы принимают люди, и алгоритмы тоже используют люди. В конце концов, компьютеру совершенно все равно».
Суперраспознаватели на улицах
Лицо – это внешние ворота в наш внутренний мир. Оно представляет нас максимально публично, но характеризует максимально лично. Мы с раннего детства привыкаем узнавать его в зеркале, а незнакомцы на основе него делают определенные выводы о нас. На нашем лице отражаются особенности нашего характера.
Когда Хелен Морт и Ноэль Мартин нашли в интернете откровенные сексуальные фотографии и видеоролики, в которых увидели себя, именно их лица стали преследовать их в кошмарах, перевернув их жизнь и став причиной множества тревог и страхов. Когда однажды ночью полицейский заметил машину Карла в престижном районе Ньюпорта, именно лицо Карла – а не стиль его вождения – стало основанием для приказа остановиться.
Я заинтересовалась лицами – и тем, что делает их узнаваемыми, – в 2015 году, когда писала статью о так называемых суперраспознавателях, работающих в лондонской полиции. Это люди, которых ценят за их способность точно распознавать лица. Я побеседовала с патрульными и сотрудниками следственных изоляторов, которые просматривали тысячи часов зернистого видео с камер наблюдения, следя за людьми в масках и капюшонах в толпе, или бросали взгляд на арестованного и тотчас вспоминали, где видели его раньше, как его зовут и за какие преступления его разыскивают.
После лондонских беспорядков 2011 года двадцать суперраспознавателей столичной полиции просмотрели примерно пять тысяч снимков подозреваемых. Они опознали на них более 600 человек, 65% из которых в итоге предстали перед судом{55}. Когда я работала над своей статьей, в полиции пытались создать аналогичную по функциям систему на основе ИИ, отталкиваясь при этом от двух вопросов: благодаря чему суперраспознаватели так хорошо находят нужные лица в большой толпе и есть ли способ ухватить суть их мастерства и перевести ее в код, понятный компьютерам?
Оказывается, такой способ есть, и вездесущие камеры все чаще запечатлевают наши лица – наши уникальные идентификаторы в море человечества – без нашего ведома и согласия. Впоследствии эти изображения используют для обучения машин мастерству суперраспознавания, чтобы они справлялись с задачами не хуже сотрудников лондонской полиции, с которыми я познакомилась почти десять лет назад.
В Лондоне за нами наблюдают около 900 тысяч камер{56}. Многие из них были установлены в начале 1990-х годов после терактов, устроенных в городе членами Ирландской республиканской армии. В дальнейшем они устанавливались волнами: после теракта 11 сентября 2001 года, после взрывов в лондонском метро в 2001 и 2005 годах, а также в преддверии Олимпиады 2012 года. Долгое время эти камеры «не понимали», что видят, и оставались просто цифровыми глазка́ми, позволяющими людям наблюдать за происходящим. Но сегодня многие из них модернизируются и оснащаются системой распознавания лиц. В некоторых районах города ИИ-камеры уже сканируют лица прохожих и выявляют в толпе тех, кого разыскивает полиция.
Холодным февральским днем я вышла со станции метро «Стратфорд», туго обмотав шарф вокруг шеи, и увидела припаркованный на улице большой синий фургон с двумя крупными камерами на крыше. Лондонская полиция устанавливала личности проходящих мимо
