ошибок, превзойти учителя. Однако в сфере морали неясно, как развивать успех дальше, ведь здесь нет внешнего объективного мерила [631].
Более того, если мы создадим системы, которые однажды станут умнее нас, они могут предпринимать действия, которые нам будет трудно оценить. Представьте, что ИИ предложит реформу правил клинических исследований. Сможем ли мы – даже после долгих размышлений, не говоря уже о мгновенной обратной связи – понять, соответствует ли эта реформа нашим этическим нормам? Как мы можем продолжать учить систему быть похожей на нас, если ее поведение выходит за рамки нашего понимания?
Немногие размышляют над этими вопросами так глубоко, как Пол Кристиано из OpenA I. «Мне очень интересно, как эти решения будут выглядеть при масштабировании, – говорил он. – Какой у нас план? Каков финал игры? Этим интересуются немногие, а работают над этим еще меньше людей» [632].
Кристиано понял еще в 2012 году: даже в самой сложной ситуации можно найти путь вперед [633]. Мы видели, как AlphaZero использовала быструю интуицию для отбора ходов, а затем проверяла их медленным алгоритмом поиска, чтобы подтвердить или исправить догадки. Результаты этого медленного мышления затем использовались для тренировки и улучшения быстрой интуиции – система училась предсказывать результаты собственных размышлений [634].
Кристиано считает, что эту схему, которую он называет «итеративной дистилляцией и усилением», можно применить для разработки систем, чьи рассуждения превосходят наши, но остаются согласованными с ними.
Представьте, что мы проектируем метро в мегаполисе. В отличие от игр, здесь нельзя прогнать тысячи сценариев за секунду; оценка этого вариант может занять месяцы. И здесь нет объективного счета: хорошая система метро – это та, которую люди считают хорошей.
С помощью обычного подражания мы можем обучить ИИ до определенного уровня компетенции. Затем мы начинаем использовать его как помощника – так главный архитектор работает с младшими сотрудниками. Мы просим одну копию системы оценить время ожидания поездов. Другую – рассчитать бюджет. Третью – сделать доклад о доступности. Мы, как «начальник», принимаем окончательное решение, объединяя («усиливая») работу наших цифровых подчиненных. Эти подчиненные, в свою очередь, учатся («дистиллируют» опыт) на нашем решении и немного улучшают свои навыки планирования. Вместе работа идет быстрее, чем если бы мы делали все сами. Затем мы повторяем процесс, поручая следующий проект этой новой, улучшенной версии команды. Цикл взаимного усиления замыкается.
В конце концов, считает Кристиано, наша «команда» коллективно станет тем самым идеальным градостроителем, которым мы хотели бы быть, – тем, кем мы стали бы, если бы «знали больше, думали быстрее и соответствовали своим представлениям о себе».
Здесь еще много работы. Кристиано хочет найти способы гарантировать, что в процессе усиления и дистилляции суждения системы останутся согласованными с человеческими. Пока это открытый вопрос и надежда, подкрепленная небольшими экспериментами. «Если нам удастся реализовать эту надежду, – пишут Кристиано и его коллеги из OpenAI, – это станет очень важным шагом к безопасному внедрению машинного обучения и решению тревожных вопросов о долгосрочном влиянии ИИ» [635].
Обсуждая его работу, я спросил Кристиано, ставшего лидером в области «согласования» ИИ, считает ли он себя ролевой моделью для тех, кто хочет пойти по его стопам. Его ответ меня удивил.
«Надеюсь, людям не придется идти этим путем», – сказал он [636].
Кристиано пояснил, что, возможно, он один из последних исследователей безопасности ИИ, которому пришлось вести «двойную жизнь»: работать над традиционными проблемами ради академической репутации и параллельно в одиночку искать способы заняться тем, что он считал по-настоящему важным. «Мне пришлось долгое время думать о сложных вещах в одиночестве, – сказал он. – Заниматься наукой проще в обществе».
Это сообщество появилось лишь несколько лет спустя [637]. «Так что будем надеяться, что теперь люди смогут просто вливаться в работу, – говорил Кристиано. – Сейчас уже есть ученые, думающие об этих вещах, и новички могут сразу заняться делом… просто делая то, что [их] волнует».
Возможно, в этом и есть роль первопроходца: последователям вряд ли придется копировать твой путь шаг в шаг, но именно благодаря твоим усилиям им это и не понадобится.
8. Логический вывод
Психолог из Мичиганского университета Феликс Уарнекен шел через комнату к закрытому деревянному шкафу, неся высокую стопку журналов. Он наткнулся на дверцу, испуганно охнул и попятился. Несколько секунд задумчиво разглядывая шкаф, он произнес «Хм-м», шагнул вперед и снова врезался журналами в дверцу. Потерпев очередную неудачу, он отступил и вновь задумчиво промычал. Со стороны казалось, будто он совершенно не понимает, что идет не так.
Из угла комнаты к нему на помощь бросился маленький ребенок. Неуверенно переступая, малыш подошел к шкафу, по очереди открыл дверцы и, прежде чем отойти, внимательно посмотрел на Уарнекена. Феликс с благодарным выдохом положил журналы на полку [638].
В 2006 году Уарнекен вместе и его коллега Майкл Томаселло из Университета Дьюка стали первыми, кто систематически доказал: уже в полтора года дети уверенно понимают по лицу знакомого человека, что тот столкнулся с проблемой. Малыши распознают чужие цели и препятствия на пути к ним, после чего по собственной инициативе помогают, если в их силах это сделать. Причем они поступают так, даже если их ни о чем не просят, даже если взрослый на них не смотрит, и совершенно не ожидая за это награды [639].
Это удивительно сложная способность, присущая исключительно людям. Наши ближайшие генетические родственники, шимпанзе, тоже могут добровольно прийти на помощь, но лишь при соблюдении целого ряда условий: если их внимание специально привлекли к ситуации; если кто‐то открыто тянется к предмету, о которого они могут достать (и только в простых ситуациях, а не как в случае со шкафом); если помощь нужна именно человеку, а не другому шимпанзе (из-за сильного соперничества сородичей друг с другом); если нужный предмет – не еда; и наконец, только подержав искомый предмет у себя несколько секунд, словно раздумывая, стоит ли вообще с ним расставаться [640].
Уарнекен и Томаселло показали, что такая готовность помогать – крайне редкое явление с точки зрения эволюции. У людей она выражена гораздо сильнее, чем у ближайших родственников, и зарождается задолго до того, как ребенок начинает говорить. Как подытожил Томаселло: «Главное отличие когнитивных способностями человека от других видов заключается в умении участвовать в совместной деятельности с общими целями и намерениями» [641].
«Обычно детей считают от природы эгоистичными существами, которых волнуют только собственные потребности. Предполагается, что именно общество должно „перепрограммировать“ их, научив альтруизму, – говорил Уарнекен [642]. – Однако наше исследование показало, что уже на втором году жизни дети способны к сотрудничеству: они могут помогать другим
