в Форт-Дефайенсе в Аризоне. Эта больница обслуживала необычный район, поскольку находилась на просторных равнинах резервации Навахо-Нейшен на границе штатов Аризона и Нью-Мексико. Ее пациентами в основном становились представители коренного народа навахо. Зиад год проработал там единственным специалистом по неотложной медицине.
Красота североамериканской пустыни, изрезанной глубокими каньонами и усыпанной каменистыми утесами, омрачалась серьезными социальными проблемами: в регионе наблюдался чрезвычайно высокий уровень преступности, алкоголизма, аварий на дорогах, депрессий и самоубийств, особенно среди молодежи{79}. Работу в «Тсехотсое» Зиад сравнивал со ссылкой на прекрасный, но безрадостный остров. «Там сталкиваешься с такими дилеммами, о которых и не думал в Бостоне, – говорит он. – Поскольку медицинский центр стоит на отшибе, а ландшафт суров, там приходится принимать мучительные решения».
Как и Чинчпада, этот городок отчаянно нуждался в базовых вещах: опытных врачах, оборудовании для спасения жизней и социальной помощи. Например, в больнице навахо было небольшое отделение интенсивной терапии, однако не было ни хирурга-специалиста, ни лаборатории катетеризации для лечения инфаркта. Если симптомы пациента указывали на сердечный приступ, врачам приходилось вызывать санитарную авиацию из Альбукерке или Флагстаффа в трех часах пути от медицинского центра. При этом, как отметил Зиад, если прогноз для пациента был хороший, его не спешили отправлять в далекую больницу, где он остался бы один вдали от близких, не зная, как потом вернуться домой.
Любое решение могло стать вопросом жизни и смерти. Часто Зиаду казалось, что должен существовать более объективный и последовательный способ принимать эти решения, не опираясь лишь на мнение отдельных врачей. Он полагал, что ответом может стать искусственный интеллект.
Такие же люди, как мы
Работая в «Тсехотсое» и бостонских отделениях неотложной помощи, Зиад замечал, что западная медицина подводит тех, кто оказывается на задворках системы: людей с небелым цветом кожи, женщин, а также всех бедных, безработных и необразованных людей. Он своими глазами видел, как сообщество навахо страдает от недостатка качественных медицинских услуг.
Он сказал мне, что проблема не только в социуме. Неравенство по умолчанию заложено даже в технологии здравоохранения. Взять, к примеру, вездесущий пульсоксиметр – прибор, который надевается на кончик пальца и измеряет уровень кислорода в крови. Этот инструмент часто встречается в кабинетах семейных врачей и дома у больных и пожилых людей, поскольку позволяет быстро и эффективно выявлять потенциально фатальные изменения в биохимических процессах организма. Он фиксирует колебания в количестве света, поглощаемого кожей человека, и на этом основании определяет процент насыщения крови кислородом.
Однако, как отметил Зиад, это устройство не делает поправку на различные уровни меланина, и исследования показывают, что пульсоксиметр хуже справляется со своей задачей в случае с темнокожими пациентами, чья кожа поглощает больше света, чем у светлокожих людей{80}. Этот прибор предвзят в силу своей конструкции. В исследовании, проведенном в 2020 году, ученые из Мичиганского университета обнаружили, что пульсоксиметр показывал значения в пределах нормы для 12% пациентов с опасно низким уровнем кислорода в крови{81}. Таким образом, прибор, который по-прежнему широко используется во всем мире в своем нынешнем виде, показывает, что дизайн технологии порой бывает дискриминационным и приводит к смертельным исходам, которых можно было бы избежать, особенно среди небелых людей.
Именно такое широко распространенное неравенство в медицине подтолкнуло Зиада к изучению ИИ как потенциального способа решения этой проблемы, и он заинтересовался тем, как основанные на данных инструменты вроде моделей машинного обучения могут помогать врачам принимать лучшие решения – и работать на благо всем пациентам. Чем глубже он в этом разбирался, тем больше крепла его уверенность в том, что такие системы выявления закономерностей привнесут в отделения неотложной помощи важные навыки, которых недостает врачам: более глубокое понимание состояния здоровья меньшинств и способность корректировать когнитивные искажения и делать более осведомленные прогнозы о жизни и смерти. Зиад полагал, что ИИ сможет не только улучшить медицинское обслуживание, но и сократить существующее неравенство.
При этом Зиад понимал, что ИИ-системы не безупречны. В конце концов, они создаются людьми, а данные, на которых они обучаются, отражают особенности общества, в котором они собраны. Это мы определяем, что учитывать и что считать эталонной «установкой» ИИ, скажем, при радиологической диагностике, и мы решаем, как взвешивать переменные, – например придавая большую ценность мнению врачей, а не опыту пациентов.
На эти решения влияют глубоко укорененные предрассудки – скажем, отношение медицинских кругов к меньшинствам и женщинам. Я уяснила, что глупо полагать, будто ИИ сам по себе обеспечивает объективность и дает навыки, которых недостает людям. Если не визуализировать эти предрассудки и не научить ИИ-системы их избегать, они будут сказываться на решениях алгоритмов так же, как на наших собственных.
В 2019 году Зиад решил оценить точность медицинских алгоритмов, которые уже использовались институтами здравоохранения. Первым делом он получил доступ к ИИ-системе, разработанной крупной американской медицинской компанией Optum. Ежегодно ее алгоритмы использовались для рекомендации дополнительного медицинского обслуживания примерно семидесяти миллионам жителей США{82}. Система здравоохранения опиралась на этот алгоритм, чтобы назначать пациентам, которые обращаются за первичной медицинской помощью, дополнительный уход – например, закреплять за ними медсестер или записывать их на повторный прием к терапевту. Цель состояла в том, чтобы не допустить ухудшения их состояния и предотвратить необходимость в госпитализации. ИИ-модели оценивали риски для каждого из пациентов, а медицинские центры по всей стране на основании этого решали, кого переводить в группу высокого риска и лечить соответствующим образом.
Изучая, как алгоритм оценивает риски для отдельных пациентов, Зиад обнаружил в данных некоторую странность: у чернокожих пациентов оценки оказывались ниже, чем можно было бы предположить, зная, как далеко в итоге зайдет их болезнь. Копнув глубже, Зиад нашел причину. Разработчики алгоритма приняли на первый взгляд вполне безобидное решение: они обучили систему оценивать здоровье человека на основании его ежегодных трат на медицинские услуги. Иными словами, модель использовала медицинские затраты, чтобы оценивать медицинские нужды{83}.
Казалось бы, в этом есть логика: заболевшие люди обычно дороже обходятся системе здравоохранения. Но проблема с этим предположением, отраженным в дизайне системы, состоит в том, что не все подходят к тратам одинаково. Меньшинства и другие социальные группы, слабо обеспеченные услугами здравоохранения, не всегда могут отпроситься с работы, чтобы сходить к врачу, или сталкиваются с дискриминацией внутри системы, которая отмахивается от них, в результате чего им назначают меньше процедур и анализов, а следовательно, их медицинское обслуживание оказывается дешевле. При этом их медицинские нужды в среднем выше, чем нужды белых пациентов с эквивалентными медицинскими затратами.
Эта ошибка разработчиков привела к возникновению в системе расовой предвзятости: модель систематически
