(Объяснимый искусственный интеллект).
На другой стороне Атлантического океана Европейский союз готовился принять «Общий регламент ЕС по защите данных» (General Data Protection Regulation, GDPR). Он вступал в силу в 2018 году и полностью менял то, как компании собирают и хранят информацию, как делятся ею и используют ее онлайн. Регламент – все 260 страниц – стал одним из важнейших документов в истории конфиденциальности данных. В нем было и кое-что более интересное и интригующее и, возможно, не менее значительное.
Брайс Гудман, который осенью 2015 года работал в Оксфордском институте Интернета, изучал черновик законопроекта, и вдруг кое-что привлекло его внимание. «Я немного знал о машинном обучении и о том, что его лучшие методы не всегда прозрачны и интерпретируемы, – рассказывал он. – И тут я наткнулся на это. В первых черновиках GDPR эта мысль была выражена куда более явно… Там говорилось, что у людей есть право потребовать объяснения алгоритмических решений [229].
Меня заинтересовало, что появляются законодательные акты и что кто‐то выступает вперед и открыто говорит о проблеме».
Гудман обратился к своему коллеге из Оксфорда Сету Флаксману, недавно получившему PhD в области машинного обучения и общественной политики.
– Слушай, недавно я кое-что прочитал в GDPR, – сказал Гудман. – И, кажется, это будет проблемой.
– Да, похоже, так и будет, – ответил Сет.
Если вам отказали в выдаче ссуды, не дали кредитную карту, заключили под стражу до суда или отказали в УДО и с этим была как‐то связана система машинного обучения, у вас есть право узнать не только о том, что произошло, но и о том почему.
Весной 2016 года GDPR был официально принят Европейским парламентом, и волосы руководителей компаний технического сектора встали дыбом. Юристы описывали переговоры с законодателями Евросоюза. «Понимаете, – пытались объяснить первые, – дать вразумительные объяснения работе глубокой нейронной сети – это неразрешимая научная проблема». Как писали Гудман и Флаксман, для этого «может потребоваться полный пересмотр стандартов и широко используемых алгоритмических методов». Но законодатели ни на сантиметр не сдвинулись со своей позиции: «У вас есть время до 2018 года».
Один исследователь подытожил: «Они дали нам два года на решение огромной научной проблемы».
Сейчас GDPR уже действует, хотя ожидания европейских законодателей – как выглядит приемлемое объяснение, кому оно дается и в какой ситуации, – все еще разрабатываются. Тем временем прозрачность, то есть способность понимать, что происходит внутри модели машинного обучения и почему она ведет себя таким образом, превратилась в одну из самых заметных и приоритетных задач отрасли. Работа над ней продолжается полным ходом, но на сегодняшний день успехов удалось добиться не на всех фронтах. Вот что нам предстоит узнать.
Клинический прогноз против статистического прогноза
Существует распространенный миф о том, что опытный судья добивается успеха с помощью неких мистических прорицаний. Разумеется, это глупости. Он достигает успеха, потому что делает меньше ошибок в фактах и реже ошибается в их оценке. Глубокое понимание ситуации и расследования должны быть способны без каких‐либо изъянов обеспечить нам все преимущества субъективных суждений (кроме их скорости и удобства).
Эдвард Торндайк [230]
Сталкиваясь с проблемой прозрачности (особенно крупных и сложных моделей), первое, что мы должны обдумать, – а стоит ли нам использовать такую крупную и сложную систему. Если уж на то пошло, должны ли мы пользоваться моделями?
Эти проблемы глубоко уходят в историю статистики и машинного обучения. Сегодня они остаются не менее актуальными, чем вчера, а ответы на них бывают весьма неожиданными.
В 1954 году Робин Доус был студентом философского факультета Гарварда и специализировался на этике. Его дипломная работа «Взгляд на анализ» изучала связь моральных оценок с эмоциями и то, насколько они влияют друг на друга.
Доус не просто считал эти вопросы значимыми, он полагал, что «эмпирическое исследование может оказаться важным. Но как его провести?» Задав этот вопрос, исследователь понял, что его интересы лежат скорее в области психологии, а не философии. Он подал заявки на постдипломные программы по психологии, и одна из лучших в стране – программа университета штата Мичиган – внесла его в список поступивших в последний день приема заявлений. Потрясенный Доус поведал об этом своему научному руководителю, который сказал: «Немедленно им перезвони, пока они не решили, что ошиблись» [231].
Доус поехал в Мичиган и начал подготовку по клинической психологии. В то время – в конце 1950‐х и начале 1960‐х годов – большое внимание уделялось тесту Роршаха. Доус скептически относился к нему как к клиническому инструменту: «Результаты основаны на интуиции и воспринимаются прежде всего бессознательно. Но потом я начал читать и узнал, что эмпирически большинство таких инструментов не работает».
Пока его доверие к Роршаху падало, Доус работал врачом-стажером в психиатрическом отделении. «У нас был пациент с галлюцинациями, – вспоминает он, – ему чудилось, что у него растет грудь. Он был в моей группе, содержался в закрытой палате, поскольку галлюцинации означали шизофрению. Почему же он подумал, что у него растет грудь? На той неделе у него в семье случилась трагедия, и у пациента начались галлюцинации. Это прекрасно все объясняет, верно?.. Врачи даже ни разу не попросили парня снять рубашку! Его просто отправили в психиатрическое отделение, и он шесть недель провел в закрытой палате. А когда его наконец раздели, оказалось, что он совершенно прав: у него росла грудь». У мужчины был синдром Клайнфельтера – генетическое отклонение, вызванное лишней Х-хромосомой, симптомы которого – отсутствие волос на теле и развитие грудных желез. Доус был вне себя. «Шесть недель просто выпали из его жизни, – говорил он, – потому что люди были так уверены в том, что у него галлюцинации».
Это привело к резкому повороту в карьере Доуса. Он отошел от клинической практики и занялся тем, что в те времена называлось математической психологией. Он написал статью, посвященную сравнению экспертных клинических оценок и простых математических моделей. Доус собирался ее опубликовать, но перед этим показал другу. Реакция приятеля привела ученого в замешательство: «Он усмехнулся, глядя на меня, и спросил что‐то вроде: „А ты уверен, что ниоткуда не списывал?“»
Так получилось, что Доус присоединился к академическому сообществу, о котором и понятия не имел. Проблема сопоставления экспертных суждений и математических моделей, которые тогда назывались «актуарными» методами, восходила к написанной в начале 1940‐х работе коллеги Эрнста Берджесса Теда Сарбина. Сарбин изучал прогнозы академической успеваемости первокурсников в университете Миннесоты. «Актуарная» модель представляла собой простую линейную регрессию, предсказывающую средний балл успеваемости в колледже всего по двум опорным точкам: рейтинг в классе в старшей школе и результаты отборочного теста в колледже. Экспертные прогнозы делали опытные клинические психологи, у которых был доступ к этим точкам, а также
