Пабло, эти люди сами открывали двери, окликали исследователей и приглашали их к себе домой. Они очень хотели, чтобы их услышали и чтобы им помогли.
Бедные сообщества, сообщества коренных народов или, например, семьи иммигрантов, к которым проявляют повышенное внимание власти Нидерландов, неизбежно в большей степени опираются на государство в вопросах здравоохранения, образования и работы, а также для обеспечения базовых потребностей в жилье, электричестве и питьевой воде. В силу частых взаимодействий с государством они гораздо чаще фигурируют в государственных базах данных, чем такие зажиточные семьи, как Абелейра. Разумеется, районы для сбора информации и релевантные переменные выбирались исключительно из политических соображений, в связи с чем итоговая картина получалась однобокой.
На ранних этапах разработки проекта Пабло посетил несколько попавших в эту базу данных семей, но впоследствии забыл, где именно они жили. Он явно не ходил от двери к двери и не собирал данные лично. Он был одним из тех, кто сидел за компьютером, производя расчеты и разрабатывая модель, которая составляла списки.
Анкетировать граждан должны были их знакомые – аналогично тому, как сотрудники ASHA собирали информацию о здоровье и беременностях в индийских деревнях. В Сальте этим занялись студенты, которые учились в университете на социологов и медсестер, сотрудники общественной организации Conin и представители различных органов местного самоуправления, уже знакомые с семьями.
Каждую девушку из сообщества спрашивали о ее социально-экономическом положении, образовании и репродуктивной истории. Сборщики данных записывали информацию о ее физических и психических заболеваниях. Они выясняли, замужем ли девушка, и задавали ей вопросы о беременностях и детях (живых и умерших), о ее матери, родных и двоюродных сестрах, а также о том, где работают поддерживающие ее родственники. Они спрашивали, как девушка живет: о нищете и запустении, о повседневных проблемах, о том, какими туалетами пользуются члены ее семьи, о том, жестяная ли в доме крыша и случаются ли протечки.
Чтобы спрогнозировать вероятность того, что конкретная девушка забеременеет в двенадцать, пятнадцать или восемнадцать лет, программисты создали модель, которая учитывала данные о социально-экономическом положении и семейной истории девушки, полагая, что этих факторов достаточно для оценки вероятности забеременеть и что их можно переносить и на будущие поколения. Девушек не спрашивали, насколько защищенными они чувствуют себя в своих сообществах, в какой степени они самостоятельны и самодостаточны и какие надежды они возлагают на будущее. У них не спрашивали, хотят ли они детей и не боятся ли они, что у них просто не будет другого выбора. Вопросы о мужчинах им тоже не задавали. В процессе сбора данных молодых женщин считали пассивными существами.
Даже в тех районах, где люди добровольно соглашались пройти анкетирование, команда Министерства раннего детства не могла объяснить им свои реальные цели. Многие семьи были верующими католиками. Хотя родители трезво смотрели на вещи и понимали, что их дети-подростки могут заниматься сексом, едва ли они были бы рады услышать, что их несовершеннолетняя дочь скоро забеременеет. Подобно высеченному в камне пророчеству, оценка вероятности предопределяла неизбежное будущее. Точно так же, как амстердамская программа сообщала, что чей-то ребенок в будущем совершит серьезное преступление. Это было клеймо. Алая буква.
По словам Пабло, алгоритм был слишком сложен, чтобы объяснить его работу. Людям говорили, что исследователи собирают информацию о проблемах, с которыми они сталкиваются, чтобы правительство нашло для них решение. Им давали надежду, что государство поможет им отремонтировать дом, перекрыть крышу, положить приличный пол, обеспечить санитарные нужды, получить доступ к здравоохранению и выучиться на плотника или сантехника, чтобы обрести финансовую независимость.
«Мы можем сказать: хорошо, вы существуете, мы заботимся о вас, мы можем сделать что-нибудь, чтобы улучшить вашу жизнь или помочь вам, – говорит Пабло. – По крайней мере, это позволяет нам пролить свет на то, что обычно скрывается от глаз…»
Загадка пропавшего ИИ
Норма согласилась с положительной оценкой Пабло: она тоже считала, что ИИ-программа могла бы привлечь внимание к нуждам и проблемам ее сообщества. Но сложно сказать, справилась ли ИИ-система с этой задачей. Очень немногие были посвящены в тайну существования алгоритма машинного обучения, который выбирал семьи. Даже Норма, которая слышала о программе помощи молодым матерям, не знала, что в основе нее лежит прогнозирующая компьютерная система. Публично об этом упомянули лишь однажды, в 2018 году, через пару лет после начала работы над алгоритмом, когда губернатор Уртубей заявил: «С помощью этой технологии… можно на пять-шесть лет вперед прогнозировать, какие девочки, или будущие подростки, с вероятностью 86% предрасположены к подростковой беременности»{112}.
Это заявление возмутило местных борцов за права женщин. Важным был и еще один момент: Уртубей сообщил о программе в разгар национальной кампании за легализацию абортов, развернутой в Аргентине в 2018 году. Правозащитница Пас Пенья, которая занимается проблемой влияния технологий на человека, сказала: «Судя по их словам, при наличии достаточных данных о жизни бедных семей можно внедрять консервативные меры, чтобы прогнозировать и предотвращать аборты у бедных женщин. Кроме того, есть мнение, что “если это рекомендует алгоритм, то это математика, а значит, верно и неопровержимо”»{113}.
Критики считали алгоритм слишком сложным и несовершенным инструментом, который пытается каким-то образом «исправить» девушек, вместо того чтобы решать социальные проблемы, из-за которых у них возникают трудности. В собранных данных не было информации о мужчинах. «Нацеленность лишь на один пол подкрепляет патриархальные гендерные роли и, по сути, винит девушек-подростков в нежелательных беременностях, как будто ребенка можно зачать без спермы, – написала Пенья. – Если учесть, что в базу данных входят девочки от десяти лет и старше, которые могут забеременеть лишь в результате сексуального насилия… как машина может сказать, что вы с высокой вероятностью станете жертвой такого насилия? Разве не жестоко создавать подобные вещи?»
Социальная работница Паула Каттанео, которая занимается в Сальте проблемами молодежи, услышала об ИИ-системе из телевыступления Уртубея. «Я смотрела и думала: что?! Я расспросила [коллег], и они сказали: “Так мы и работаем, мы фильтруем семьи по своему усмотрению, а правительство играет на этом и называет это алгоритмами”».
Паула двадцать два года работала в Сальте и согласилась стать моим проводником по лабиринтам местной бюрократии. Она весела и остра на язык, а ее доброта располагает к ней любого. Она много лет назад перестала быть практикующей католичкой и редко проявляет нетерпимость к людям. Исключение она делает лишь для католических благотворительных организаций вроде Conin, поскольку они настраивают против абортов семьи, с которыми она работает. Им она советует не лезть в чужие дела. «Это моя работа, а не ваша», – говорит она, вскинув брови. Подростки наверняка ее любят.
Родители
