Artificial Research & Exploring System. Целое семейство искусственных интеллектов. Искусственные интеллекты A.R.E.S.а поступают в публичное управление, в менеджмент энергии и быта, управляют автомобилями, самолетами, космическими аппаратами, роботами, становятся незаменимы в качестве персональных ассистентов, в высокочастотной торговле глобальных финансовых рынков, в рекламе, борьбе с террором, метеорологии, в защите от катастроф. Своим потоком данных они переворачивают мир, извлекают на свет скрытые образцы, изобретают полезные вещи.
И они – кучка идиотов. Идиотов в своей специальности. Не пробившиеся в своих профессиях, но зато общеобразованные и коммуникативные, как копченая колбаса.
Когда Эльмар основал в 2010 году рабочую группу Q-VISK и перевел алгоритмы A.R.E.S.а в квантовую систему, этот лоскутный интеллект увидел в подземельях Сьерры искусственный свет своего будущего пристанища. Он знал бесконечно много и бесконечно мало. Саможонглирующиеся мячи без жонглера. Его компетенций не хватало на то, чтобы связно мыслить, но хватало на то, чтобы расшифровать геном; он не мог отличить собаку от подъемного крана, но щелкал научные загадки как орехи, не понимая, почему люди плачут то от радости, то от печали. Состояния человеческого духа ускользали от его понимания, это был ребенок, расшифровавший космические сигналы и ген и теперь пытавшийся поймать ветер. Чтобы пробраться к общему интеллекту, он должен был учиться, как дети малые, постигать взаимосвязи, понимать человеческий образ мышления, интуицию, этические ценности и теории морали. A.R.E.S. хотел, чтобы его питали.
По мере роста знаний интеллект рос стремительно и экспоненциально. Гусеница, как Эльмар назвал сооружение в горах, начала кормить сама себя и делать все более сложные выводы. Возник вопрос, как в будущем контролировать компьютер. Была тогда расхожая шутка: дай универсальному ИИ задание создать идеальную канцелярскую скрепку – он в правильной последовательности будет производить все лучшие скрепки, которые, разумеется, можно было еще усовершенствовать, потому что ему просто забыли сказать, что значит идеальная скрепка, а вследствие этого несовершенства дело дойдет до того, что все ресурсы планеты уйдут на производство скрепок и вся Солнечная система будет превращена в скрепки. Заказчик задания давно уже перестал нуждаться в скрепках. Поскольку у ИИ отсутствовало всякое самовосприятие, по ту сторону добра и зла, он видел лишь помеху в исполнении своего задания. Люди хотели своеобразно удержать его от того, чтобы он делал скрепку всех скрепок из домов, машин, деревьев и гор, и теперь он делает ее из людей.
Они должны были задать A.R.E.S.у цель и ценности, встроить стоп-сигналы, чтобы он в один прекрасный день не сделал то, чего не сможет поправить никакая сила на Земле.
* * *
– Итак, мы построим оракул – искусственный интеллект, который исключительно отвечает на вопросы.
– Только чтобы он нам выдал, что сделал бы суверенный ИИ, находясь на переходе к суперинтеллекту.
– Но на что оракул не смог бы ответить. При этом проблемой были бы, собственно, мы. Или нет?
– Наша неспособность правильно ставить вопросы, да.
– Вот именно. Что тебе проку от машины, которая на каждый вопрос имеет ответ, если твой горизонт маловат для правильной постановки вопроса?
Эльмар-453 повел их глубже внутрь корабля. Зоя и Марианна остались в салоне при Джейдене. С каждым шагом усиливалось впечатление Эльмара, что они находятся внутри панциря доисторического существа, не поддающегося никакому описанию, которое без остатка разложилось в течение эонов, так что в асептических винтовых ходах и раскрывающихся пустых залах резонировала лишь голая информация. Призрачное тонкозвучное присутствие, но звук реальный. Он исходил отовсюду: с потолка, из стен. В то время как Элинор явно чувствовала себя неудобно, «Вечность» начинала тихо и осторожно овладевать Эльмаром. Он видел, как здесь последовательно продолжается то, что он начал когда-то с «Каплей».
Данные, вокруг их жужжание. Данные. Данные. Данные.
– Вы изолировали A.R.E.S.?
– Для этого и Сьерра.
– И когда-нибудь пускали его в интернет?
– Два-три раза во время фазы оракула.
Открылся шлюз. Они перешли по мостику, под которым светилось голубым что-то большое, многогранное.
– Всякий раз всего на несколько минут. Так, чтобы мы беспрерывно могли отслеживать его активность.
– И потом больше не пускали?
– А вы?
– Нет. – Эльмар спросил себя, чем могла быть эта светящаяся масса. – И что было потом?
– Дух из бутылки.
…Противоположность оракула. Пригодный исключительно для того, чтобы исполнять приказы.
– Та же самая проблема. Ну, ты знаешь. Зачем ИИ, который мог бы построить тебе рай, если твоего разума не хватает на то, чтобы сформулировать приказ. В конце концов, мы строили суверена.
ИИ, который по собственному усмотрению может преследовать любую цель, не ограниченный человеческой недальновидностью и невежеством. Предмет искусственной эволюции, способный находить решения в открытых, самоопределяемых процессах поиска, к которым ни один человек не пришел бы сам, и осуществлять их. Самая мощная форма искусственного интеллекта, добрая фея 4.0, которая исполнит не три желания, а множество – если только она не попадет в плохие руки. Тогда суверен быстро превратится в инструмент дьявола.
Суверен построил Ворота. Или подсказал, как их построить.
– А как вы контролируете суверена? – спросила Элинор, выходя из голубого мерцающего помещения и сбегая по следующей лестнице вниз.
– Мы держим его взаперти, Элли.
– Я знаю.
– Так глубоко в камне, что снаружи он недосягаем. – Эльмар-453 вполоборота повернул к ней голову, но не взглянул на нее. – Ни для радио-, ни для каких других волн, которые могли бы им манипулировать. Он, конечно, был связан с холдинговым компьютером…
– И получал рождественские подарки, – сказал Эльмар. – Красивые маленькие.
– Что ты имеешь в виду?
– Ну что же еще? Экскурсии в интернет.
– Да, конечно. – Эльмар-453 взмахнул руками. – Все остальное – это же слабоумие! Полностью изолированный, он был бы бесполезен!
– Остынь, старик. – Эльмар похлопал его по плечу. – Мы делали это точно так же. Контролируемые вылазки. И я тебе скажу, если бы Палантье прокрался снаружи, мы бы это заметили. Снаружи проникнуть в A.R.E.S. нельзя, только кто-то изнутри мог бы это. И что еще? Перепроверка его значений, целеполагания, лояльности?
– Регулярно. Всякий раз силами новой команды. А вы? Контроль ИИ как сторожевой собаки?
– Логично. Детектором лжи?
– Конечно! Весь его продукт проходит через детекторы лжи. Постоянно. Еще никогда A.R.E.S. не нарушил целеполагания.
– Ни разу не был замечен в этом, – констатировала Элинор.
Эльмар-453 кусал нижнюю губу.
– А что прямо сейчас происходит на острове?
– Мы с минуты на минуту ждем сообщения. От Кенни, Пилар. От них обоих.
– Михаэль Палантье. – Эльмар-453 смотрел перед собой. – Черт. Где-то я уже слышал это имя.
– Но тогда ведь и я должен был его где-то слышать, – сказал Эльмар.
Эльмар-453 остановился:
– У тебя есть дети?
– Нет.
– А у меня есть. Мы двое не во всем одинаковы.
– И где твои дети? – спросила Элинор,
