Кристиан Брайан
Бессовестная машина
Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям?
Посвящается Питеру, который меня убедил.
И всем, кто выполняет свою работу
Помню, в 2000 году я услышал, как Джеймс Мартин, руководитель программы Viking, отправивший беспилотные космические аппараты на Марс, говорит о своей работе. Ему как инженеру-разработчику космических кораблей предстояло совершить посадку не на Марс, а на модель красной планеты, придуманную геологами.
– Питер Норвиг [1]
Мир – это лучшая модель его самого.
– Родни Брукс [2]
Все модели неверны.
– Джордж Бокс [3]
© Краснянская В.В., перевод на русский язык, 2026
Пролог
1935 год, Детройт. Уолтер Питтс во весь опор мчался вниз по улице, спасаясь от преследователей.
Он добрался до публичной библиотеки и спрятался там. Убежище оказалось настолько хорошим, что Уолтера не нашли даже работники библиотеки и закрыли помещение на ночь. Питтс оказался запертым внутри [4].
Одна из книг на полках показалась ему интересной, и он начал читать. За три дня Уолтер прочел ее от корки до корки.
В книге было две тысячи страниц, посвященных формальной логике; что примечательно, доказательство того, что 1+1=2, появилось только на 379 странице [5]. Питтс решил написать одному из авторов – британскому философу Бертрану Расселу, – поскольку ему показалось, что в книге допущено немного ошибок.
Через несколько недель Уолтер получил письмо из Англии. Ему ответил Бертран Рассел. Ученый поблагодарил своего читателя и пригласил поступить в аспирантуру в Кембридже [6].
К несчастью, Уолтеру Питтсу пришлось отклонить это предложение – молодому человеку было всего двенадцать лет и он учился в седьмом классе.
Три года спустя Питтс узнал, что Рассел приезжает читать лекции в Чикаго, и сбежал из дома, чтобы побывать на них. Обратно Уолтер уже не вернулся.
* * *
На лекции Рассела Питтс познакомился с еще одним подростком, которого звали Джерри Летвин. Питтса интересовала только логика. Летвина – поэзия и – несколько сильнее – медицина [7]. Молодые люди стали неразлучными друзьями.
Питтс слонялся по кампусу университета Чикаго, бессистемно посещая занятия; аттестата об окончании средней школы у него так и не было, и официально в списках студентов он не числился. Один из курсов вел прославленный немецкий логик Рудольф Карнап. Как‐то раз Питтс зашел в его кабинет и заявил, что нашел несколько «недочетов» в последней книге Карнапа. Тот отнесся к этим словам скептически, но все‐таки сверился с текстом. Питтс, конечно же, оказался прав. Некоторое время они беседовали, потом Питтс вышел из кабинета, так и не назвав своего имени. Несколько месяцев Карнап расспрашивал всех вокруг о «разносчике газет, который разбирается в логике» [8]. В конце концов Карнап нашел Питтса и, как потом часто случалось в академической карьере молодого человека, стал его покровителем, убедив администрацию университета дать юноше хоть какую‐то неквалифицированную работу, чтобы обеспечить его постоянным доходом.
Шел 1941 год. Летвин, который по-прежнему считал себя в первую очередь поэтом, все же поступил в медицинскую школу университета Иллинойса и обнаружил, что ему предстоит работать под руководством гениального нейрофизиолога Уоррена Маккаллока, недавно прибывшего из Йеля. Однажды Летвин предложил Питтсу встретиться с Маккаллоком. Летвину уже был двадцать один год, но он все еще жил с родителями. Питтсу было семнадцать, и дома у него не было [9]. Маккаллок и его жена приютили обоих молодых людей.
В течение следующего года Маккаллок приходил домой по вечерам, и они с Питтсом, который был немногим старше детей ученого, засиживались до полуночи за разговорами. Из них получилась отличная интеллектуальная команда: пользующийся уважением нейрофизиолог на взлете своей карьеры и юное дарование в области логики. Один жил практикой – в мире нервной системы и невротических расстройств, другому была известна только теория – мир символов и доказательств. Оба стремились исключительно к познанию сущности истины: что это такое и как мы ее узнаем. Точкой приложения сил, тем, что находится точно на перекрестке двух несопоставимых миров, оказался мозг.
В начале 1940‐х годов уже было известно, что мозг состоит из связанных между собой нейронов, а также о том, что у каждого нейрона есть «входные» каналы (дендриты) и «выходные» (аксоны). Когда входящие в нейрон импульсы достигают определенного порога, нейрон, в свою очередь, начинает передавать сигнал. Маккаллок и Питтс немедленно восприняли это как логическое положение: импульс или его отсутствие можно обозначить как «включено – выключено», «да – нет», «правда – ложь» [10].
Они установили, что нейрон с достаточно низким порогом восприимчивости, который реагирует на любые входящие сигналы, функционирует как физическое воплощение логической операции или. Нейрон с достаточно высоким порогом восприимчивости, который «загорается», только если задействованы все его входящие каналы, – это физическое воплощение логической операции и. Тогда исследователи начали понимать, что любое логическое умозаключение подобная «нейронная сеть» может реализовать, если она, конечно, правильно спроектирована.
В течение нескольких месяцев нейрофизиолог средних лет и логик-подросток написали статью. Они назвали ее «Логическое исчисление идей, относящихся к нервной активности».
«Поскольку нервная активность подчиняется закону „все или ничего“, – писали они, – то нейронные события и соотношения между ними можно изучать средствами логики высказываний. Оказывается, что поведение любой сети может быть описано в этих терминах… Для всякого логического выражения, удовлетворяющего некоторым условиям, можно найти сеть, имеющую описываемое этим выражением поведение» [11].
Статья была опубликована в 1943 году в журнале Bulletin of Mathematical Biophysics. К досаде Летвина, она слабо повлияла на биологическое научное сообщество [12]. К разочарованию Питтса, нейрофизиологические работы 1950‐х годов, а в особенности примечательное исследование зрительных нервов лягушки, проведенное никем иным как его лучшим другом Джерри Летвином, показали, что нейроны имеют гораздо более сложные связи, чем простые цепочки истинных и ложных положений, какими себе их представлял Уолтер. Возможно, алгебра высказываний и ее конъюнкции, дизъюнкции и отрицания, в конце концов, не имели отношения к языку мозга или, по крайней мере, представляли его в более опосредованной форме. Эти неясности огорчали Питтса.
Но влияние статьи, ставшей плодом долгих ночных разговоров в доме Маккаллока, оказалось огромным, хотя и не совсем таким, как представляли ее авторы. Она легла в основу совершенно новой отрасли, ставящей цель создать в реальности механизмы, являющиеся той самой упрощенной копией нейронов, и посмотреть, что такие «механические мозги» смогут делать [13].
Введение
Летом 2013 года в открытом блоге
