студентом магистратуры в университете Карнеги – Меллона. Рич работал с нейросетями, когда его научный руководитель Том Митчелл попросил помочь в одном деле.
Митчелл работал над амбициозным междисциплинарным проектом, охватывающим несколько организаций и объединяющим биостатистиков, специалистов по информатике, философов и врачей. Они изучали пневмонию. Когда пациенту ставился этот диагноз, больнице необходимо было быстро принять критически важное решение: госпитализировать его или лечить амбулаторно, то есть оставить в больнице и отслеживать состояние или отпустить домой. В то время пневмония была шестой по частоте причиной смерти в Соединенных Штатах, примерно 10 % больных умирали. Верно определить, кто из пациентов находится в группе риска, значило спасти чьи‐то жизни.
Группа получила набор данных о примерно пятнадцати тысячах больных пневмонией. Задачей было создать модель машинного обучения, прогнозирующую выживаемость пациентов, что помогло бы разделять новых пациентов на потоки. В результате получился своего рода конкурс разных моделей машинного обучения: логистическая регрессия, обучение, основанное на правилах, байесовский классификатор, дерево принятия решений, метод ближайших соседей, нейросеть – всех не перечислить [216].
Каруана работал с нейросетями (в 1990‐е последним словом науки были не глубокие, а широкие нейросети) и не без гордости представил свои результаты. Нейросеть победила с легкостью. Она оказалась лучшей из сложных моделей и со значительным отрывом превзошла более традиционные статистические методы, такие как логистическая регрессия [217].
Группа написала в отчете: «Даже небольшие улучшения в прогнозе для широко распространенных заболеваний с дорогостоящим лечением, таких как [пневмония], скорее всего, приведут к значительным улучшениям в качестве и эффективности оказания медицинской помощи. Таким образом, важен поиск моделей с самым высоким возможным уровнем прогностических показателей» [218].
Поэтому вполне естественно, что больница Питтсбурга, которая была партнером исследования, решила внедрить самую высокопроизводительную модель. Ведь так?
«Мы заговорили о том, безопасно ли использовать нейронную сеть, когда речь идет о жизни людей, – рассказывает Каруана [219]. – И я сказал: „Черт побери, нет, мы не будем использовать эту нейросеть на пациентах!“»
В итоге они внедрили одну из более простых моделей, которую нейросеть легко опережала. И вот почему.
Неправильные правила
Ричард Амбросино, один из ученых, участвовавших в проекте, готовил по тому же набору данных совершенно другую модель с обучением, основанном на правилах. Она из тех систем машинного обучения, работу которых проще всего понять: они обычно имеют вид списка правил в виде «если x, тогда y». Вы просто читаете список сверху вниз, и как только правило подходит, останавливаетесь. Представьте графическую схему программы, которая не разветвляется и выглядит как единая ветка, выполняющаяся сверху вниз: «Это правило выполняется? Если да, вот ответ. Если нет, продолжайте читать». Этим модели с обучением, основанным на правилах, напоминают условные выражения или операторы переключения в традиционном программировании; они также во многом похожи на то, как думают и пишут люди. (Более сложные модели используют не списки, а наборы, где многочисленные правила применяются одновременно.) [220]
Амбросино создавал основанную на правилах модель, используя данные по пневмонии. Однажды вечером, обучая модель, он заметил, что она усвоила правило, которое выглядело очень странным: «Если у пациента в анамнезе есть астма, то он попадает в группу с низким риском и может лечиться амбулаторно».
Амбросино не знал, что делать с этим открытием. Он показал его Каруане. Тот вспоминал: «Он говорит: „Рич, как ты думаешь, что это значит? Бессмыслица какая‐то“. Странно, заболев пневмонией, радоваться, что у тебя астма». Пара исследователей пришла на следующее собрание группы, где присутствовало несколько врачей. Возможно, доктора медицины смогут объяснить то, перед чем пасуют специалисты в информатике. «Они сказали: „Вы знаете, возможно, это реальная схема действий из наших данных. … Мы считаем астму таким серьезным фактором риска для пациентов с пневмонией, что не просто кладем их в больницу… А можем сразу поместить их в отделение интенсивной терапии или реанимацию“.
Другими словами, корреляция, которую выявила основанная на правилах система, была верной. Астматики действительно в среднем умирали от пневмонии реже, чем здоровое население в целом. Но именно из-за высокого уровня медицинской помощи, которую они получали. «Так что помощь, которую получают астматики и которая уменьшает для них риск, – это именно то, в чем модель отказывала этим пациентам, – поясняет Каруана. – Думаю, проблема ясна». Модель, рекомендующая астматикам амбулаторное лечение, была не просто неправа, она угрожала их жизни [221].
Глядя на странную логику, которую обнаружила основанная на правилах модель, Каруана тут же понял, что его нейронная сеть должна была использовать ту же самую логику, просто это было не так очевидно.
Поправить или отредактировать основанную на правилах систему достаточно просто, нейросеть «исправить» труднее, хотя ничего невозможного в этом нет. «Я не знал, где именно в нейросети проблема, но знал, что так или иначе мог ее решить, – вспоминает Каруана. – В процессе я мог опубликовать больше статей – это хорошо, – и избавиться от проблемы. Я бы сказал, что причина, по которой мы не стали внедрять нейросеть, была не в астме, потому что о ней я тогда уже знал.
Меня беспокоили вещи, которым нейросеть научилась, которые были столь же рискованными, как и астма, но основанная на правилах модель их не усвоила». Поскольку нейросеть более гибка, а ее мощность выше, она может научиться вещам, которых «не знает» основанная на правилах система. Это, в конце концов, и дает нейросетям преимущество, поэтому нейронная сеть Каруаны и выиграла внутреннее соревнование группы. «Есть вещи, из-за которых мы не стаем использовать эту модель. Потому что не знаем, что нуждается в исправлении. Таким образом, проблема прозрачности нейросети в конце концов заставила меня отказаться от нее. Это очень долго меня беспокоило. Потому что самые точные модели машинного обучения часто не обладают прозрачностью в необходимой степени. А я человек, занимающийся машинным обучением. Так что мне нужны точные и безопасные модели».
В отрасли часто замечают, что самые точные модели наименее понятны, а самые понятные менее точны. «Это меня злило, – рассказывает Каруана. – Я хотел заниматься машинным обучением в области здравоохранения. Нейросети действительно хороши, они точны, но не обладают прозрачностью и недоступны для восприятия, и я думаю, что это опасно. Так что, наверное, мне не стоило заниматься тем, чем я хотел» [222]. Но вместо этого Каруана решил провести следующие двадцать лет, разрабатывая модели, которые стараются взять лучшее из обеих сфер, которые в идеале будут так же точны, как нейросети, и так же прозрачны и понятны, как список правил.
Один из его фаворитов – это архитектура под названием «обобщенные аддитивные модели», впервые представленная статистиками Тревором Хасти и Робертом Тибширани в 1986 году
