глазу могут показаться беспорядочной мешаниной, но это не означает, что они столь же бессмысленны по мнению
машины. Основная идея TCAV в том, что для любого понятия, например «мужской пол» в случае с врачами, вы показываете нейросети ряд изображений мужчин и ряд изображений, выбранных случайным образом: женщин, животных, растений, автомобилей, мебели и так далее. Внутреннее состояние нейросети (скажем, на каком‐то уровне) вы показываете второй системе – простой линейной модели, которая учится находить отличия между активацией, типичной для выбранной вами категории (в данном случае «мужской пол») и активацией от показа случайно выбранных изображений [293]. Затем можно посмотреть, присутствует ли обнаруженная схема активации и насколько она выражена, когда нейронная сеть относит изображение к категории «врачи».
«Полагаю, этот метод имеет уникальное достоинство, – говорит Ким. – Объяснение дается на языке пользователей. Им не придется изучать принципы машинного обучения… Мы можем все объяснить на языке, на котором они говорят, и откликнуться на их гипотезу, используя их терминологию» [294].
Использовав TCAV для изучения двух популярных моделей распознавания изображений Inception v3 и GoogLeNet, Ким обнаружила целый ряд подобных проблем. Понятие «красный», к примеру, было критически важным для понятия «пожарная машина». «Это имеет смысл, – говорит она, – если вы живете там, где пожарные машины красные» [295]. В Соединенных Штатах это именно так, но не в Австралии, где, в зависимости от района, пожарные машины могут быть белыми, а в Канберре – кислотно-желтыми. Можно предположить, что, допустим, модель беспилотного автомобиля, разработанная на американском наборе данных, может потребовать модификации, прежде чем ее будет безопасно внедрять в других странах.
Также Ким обнаружила, что понятие «руки» было важно при распознавании «гантелей», что соответствует более ранним открытиям группы DeepDream из Google и указывает на то, что нейронная сеть должна научиться находить гантели в рюкзаке или на земле [296]. Понятие «восточно-азиатский» оказалось важным для «мячика для пинг-понга», а понятие «европейский» – для «регби». Эти находки частично могут отражать схемы, которые не являются ошибочными: согласно данным Международного фонда настольного тенниса семь из десяти лучших в мире игроков-мужчин и все десять лучших игроков-женщин происходят из восточно-азиатских стран [297]. Как бы то ни было, результаты указывают на то, что некоторые части модели заслуживают внимательного изучения как с точки зрения точности, так и с точки зрения предвзятости. В любом случае нас не устроит, если система отнесет портрет китайского президента Си Цзиньпина к категории «мячик для пинг-понга», что обнаружили исследователи ИИ из Пьер Сток и Мустафа Циссе [298]. TCAV предлагает способ в явной форме количественно оценить эти проблемы, а в идеале – пресечь их в корне.
Работу Ким по TCAV отметил генеральный директор Google Сундар Пичаи в приветственной речи на конференции I/O в 2019 году. «Недостаточно знать, что модель работает, – сказал Пичаи. – Нужно еще понимать, как она работает».
В 2012 году Ким с трудом могла поверить, что ее идеи найдут свою аудиторию. Ей казалось, что только она, Синтия Рудин и Джули Шах (ее научные руководители в Массачусетском технологическом институте) «хоть как‐то интересуются этой темой». К 2017‐му интерпретируемости и объяснимости были посвящены целые симпозиумы на крупнейших конференциях отрасли. К 2019‐му генеральный директор Google с гордостью описывал ее работу с крупнейшей трибуны компании.
Я спросил Ким, ощущает ли она это признанием ее заслуг.
«Мы прошли такой долгий путь», – говорит она, похоже, не желая наслаждаться сиюминутным удовлетворением или чувством «Я же говорила!» Вместо этого она ощущает большую ответственность: нужно убедиться, что эти вопросы решаются быстрее, чем идет развитие и внедрение самой технологии. Ким обязана как‐то опережать эту волну успехов, присматривая за тем, чтобы в них не затесались критически важные проблемы.
Когда мы закончили разговор и направились к выходу из конференц-зала, я поблагодарил Ким за потраченное время и спросил, не хочет ли она добавить что‐то, о чем мы еще не говорили. Она задумалась на несколько секунд, а потом ее лицо просияло.
«Кстати, помните, я говорила о преподавателе?» Том самом, который в 2012‐м презрительно фыркал, когда аспирантка на первом году работы упомянула, что хочет писать диссертацию об интерпретируемости, и пытался отговорить ее от темы, которую считал тупиковой. Как бы то ни было, Ким не держит зла: «Я полагаю, он искренне хотел мне помочь…»
Тут Ким ухмыляется: «Так вот, этот человек теперь работает над интерпретируемостью!»
Часть 2
Агенты
4. Подкрепление
Внимание к роли подкрепления в делах людей постоянно растет не из-за каких‐либо изменений в моде на теории обучения, но в результате открытия фактов и методов, повышающих нашу способность к прогнозам и контролю поведения. Такие действия не оставляют сомнения в реальности и важности этих фактов и методов. Возможности подкрепления все еще не охвачены полностью даже теми, кто больше всего сделал для того, чтобы их продемонстрировать. Среди психологов повсюду можно заметить культурную инерцию. Она вполне понятна, потому что изменения были почти что революционными: едва ли в традиционной теории обучения хоть что‐то сохранилось в узнаваемом виде.
Б. Ф. Скиннер [299]
Проблема современных теорий бихевиоризма не в том, что они не верны, а в том, что могут оказаться верными.
Ханна Арендт [300]
Весной 1896 года Гертруда Стайн [301]записалась на гарвардский семинар по психологии под руководством великого Уильяма Джеймса. Там она изучала двигательный автоматизм, или способность писать слова, не задумываясь над ними. В результате появилась статья в рецензируемом журнале, которая стала первым появлением Стайн в печати. Но что особенно важно, тема, ставшая началом ее студенческих изысканий по психологии, привела Гертруду к знаменитой модернистской прозе потока сознания, благодаря которой писательница и стала известной [302]. Стайн описывает своих сокурсников по семинару Джеймса как «забавную группу», среди которых особенно выделялся один человек, помешанный на разведении цыплят в инкубаторах [303].
Это был Эдвард Торндайк, и, справедливости ради следует отметить, что превращение квартиры в импровизированный курятник было не первой его идеей. Он хотел изучать механизмы обучения у детей и заодно развенчать идею экстрасенсорного восприятия. Гарвард не одобрил проект. Так что инкубатор с пищащими цыплятами был чем‐то вроде… плана Б [304].
В те времена решение честолюбивого молодого психолога посвятить себя изучению цыплят казалось по-настоящему странным. Исследования животных еще не вошли в моду, как это случилось в ХХ веке, и сокурсники Торндайка считали его несколько странным. Возможно, если бы об этом узнали его приятели, у них бы глаза округлились от удивления (а у квартирной хозяйки волосы встали бы дыбом), но несмотря на то, что содержание курятника было задачей материально-технического обеспечения
