Полития, глава 5. Бункер
В бункере было сыро, темно и неуютно: в общем, было понятно, что строили его люди. Места внутри хватило бы человек на десять, не больше. Вся обстановка сводилась к стоящему посередине столу с шестью стульями вокруг и доске на стене.
Аристов сидел за столом, оперев голову о кулак, Меркулов нервно ходил по помещению, заложив руки за спину, Огава стояла у доски и на всякий случай готовилась делать на ней записи.
— Мы уже обсуждали эту проблему внутри Академии, — начал Философ. — У нас на рассмотрении четыре сценария произошедшего. Первый, оптимистический: Нус продолжает нам подчиняться, а проблема с «Амброзией» носит технический характер и будет рано или поздно разрешена. Если всё так, у нас нет дальнейших поводов для беспокойства. Это версия, которую вам нужно проработать в первую очередь совместно с господином И.
Огава сделала короткую запись про оптимистический сценарий. Меркулов посмотрел на Аристова, тот кивнул в знак того, что можно продолжать.
— Второй, реалистический: Нус продолжает следовать базовым установкам, но его понимание их каким-то образом мутировало и больше не соответствует нашему. Мы сейчас считаем это наиболее вероятным сценарием. Такая возможность исходно принималась в расчёт при создании Нуса, и теоретически проблему можно было бы решить откатом к одному из предыдущих релизов, если мы найдём, в какой момент произошёл сбой.
Огава записала второй сценарий, Аристов дал понять, что ждёт продолжения.
— Третий, пессимистический: Нус начал игнорировать как минимум одну из базовых установок. В этом случае мы не знаем, насколько серьёзной может быть ситуация и к каким последствиям это может привести. Если этот сценарий подтвердится, это может потребовать использования «Большой красной кнопки».
— Вы же понимаете, что это будет означать? — неожиданно тихим голосом уточнил инквизитор.
Меркулов пристально посмотрел на него.
— Смерть всего населения Юпитера, вы же это сейчас хотите сказать? Вы полагаете, мы об этом не подумали?
— И всё-таки вы готовы это сделать?
— Мы? А вы предпочтёте вместо этого сыграть в рулетку на будущее всего человечества?
Аристов прекрасно понимал, что у него нет лучшего решения. Ему нечего было возразить.
Меркулов выдержал паузу, затем продолжил:
— Наконец, четвёртый сценарий, катастрофический. Нус полностью вышел из-под контроля и более не следует ни одной из базовых установок.
— Вы считаете это возможным? — оторвавшись от доски, спросила Огава.
— Мы не рассматриваем этот сценарий как вероятный, но и не можем полностью его исключать. Во всяком случае, нам нужно иметь его в виду.
В зале повисла тишина: Меркулов, по-видимому, считал, что сказал достаточно, Аристов морально не готов был комментировать последнюю версию, так как слишком хорошо понимал, что она значила бы на практике.
— Вы сказали, что в третьем сценарии мы можем задействовать «Красную кнопку», — уточнила Огава. — Что мы можем сделать в четвёртом?
Меркулов бросил на неё раздражённый взгляд, открыл на секунду рот, готовясь ответить, но передумал и махнул рукой.
— Ничего, — ответил вместо него инквизитор. — Если Нус полностью вышел из-под контроля, мы ничего не можем с этим сделать. Это будет концом человечества.
С тех пор, как люди доверили свою судьбу суперинтеллекту, они могли лишь надеяться на то, что тот никогда не выйдет из-под контроля окончательно. Все экстренные механизмы, включая «Большую красную кнопку», были рассчитаны на случай только частичной потери управления и предполагали как минимум отсутствие активного противодействия со стороны Нуса.
Лучшие умы человечества были заняты планированием действий на случай прямого столкновения с Нусом, но все они в итоге сходились в одном: у людей нет ни единого шанса в таком противостоянии. У суперинтеллекта были миллионы способов сопротивления любому действию человека, начиная с максимально правдоподобного обмана и заканчивая физическим уничтожением одного человека или даже всех сразу. Причём на принятие любого решения ему требовались лишь доли секунды: надумай Нус уничтожить человечество, люди даже не успели бы понять, что вообще произошло.
— Мы не знаем точно, каким образом могла бы мутировать система ценностей Нуса, — продолжил после паузы Философ, — но предполагаем, что наиболее вероятное направление деградации — от первого сценария к четвёртому последовательно. Нам достоверно известно, что исходная версия Нуса действовала в полном соответствии с базовыми установками и не могла бы их намеренно изменить. Кроме того, каждый релиз проходит строгий контроль Техникона, что дополнительно страхует нас и от случайных мутаций. Это первая фаза, пункт отправления. Самой вероятной причиной дальнейшей деградации могла бы стать неопределённость в интерпретации одной из базовых установок. Исходные формулировки подбирались таким образом, чтобы их восприятие было максимально однозначным, однако ориентиром было их понимание человеком, насколько оно сейчас соответствует пониманию Нуса, мы сказать не можем.
— Например? — уточнила Огава.
— Допустим, Нус мог бы решить, что вторая установка невыполнима из-за того, что организм человека постоянно получает вред от естественных причин, например, из-за питания или даже из-за взаимодействия с атмосферой. Для человека такая постановка вопроса противоречила бы здравому смыслу, но мы не знаем достоверно, как эти формулировки преломляются в восприятии Нуса. Это было бы переходом ко второй фазе. Решив, что одна из установок принципиально невыполнима, Нус оказался бы дезориентирован. В этом случае он мог бы прийти к необходимости удалить лишнюю установку из следующей версии или привести её в соответствие с собственным пониманием. Так мы получаем третью фазу. Наконец, отработав таким образом механизм изменения собственных приоритетов, он мог бы в конечном итоге целиком поменять их все, придя к полной неподконтрольности. Это четвёртая, конечная фаза деградации, перехода к которой мы не имеем права допустить, если только этого ещё не произошло: как только мы попадём в эту точку, обратной дороги уже не будет. Это всего лишь теоретическая конструкция, на самом деле, мы не можем спрогнозировать точную траекторию, по которой будет меняться восприятие реальности интеллектом, более сложным, чем наш собственный. Однако такая модель кажется нам наиболее вероятной.
— Итак, первая задача — выяснить, в какой фазе мы находимся? — уточнил Аристов.
— Да, это даст нам понимание того, что мы можем сделать дальше. Если, конечно, что-то ещё можем.
— Хорошо. В таком случае я начну с выяснения текущей ситуации с «Амброзией». Фуми, поговори с руководством Техникона, подними архивы. Надо понять, были ли замечены какие-либо аномалии в поведении Нуса в момент запуска проекта.
— Почему именно тогда? — уточнил Философ.
— Всё довольно просто. На сегодняшний день единственное основание считать, что в поведении Нуса произошёл сбой, — это провал «Амброзии». Ни тестирование в Техниконе, ни наблюдение за поведением Нуса в обычных обстоятельствах не дают нам причин сомневаться в корректности его работы. Следовательно, если сбой всё-таки был, можно предположить, что он как-то связан с самим проектом.
— С вашего позволения, я здесь соглашусь с Глебом Сергеевичем, — включилась Огава.
Меркулов перевёл на неё вопросительный взгляд: он явно не ожидал, что она возьмёт слово.
— Человеческая жизнь является краеугольным камнем всей деятельности Нуса. Какой вопрос мог бы спровоцировать переход от первой фазы ко второй? Тот, что касается жизни, особенно, если речь идёт обо всех людях сразу. «Амброзия» же не просто касается всего человечества, но и меняет наши представления о жизни и смерти как таковых, а что это, как не самое правдоподобное объяснение сбоя?
— Я не думал об этом в таком ключе, но звучит разумно, — согласился Меркулов. — В таком случае я займусь тем же в Академии. Я не застал лично запуск «Амброзии» и знаю о ней только по архивам и с чужих слов. Возможно, старые Философы вспомнят что-то необычное.
— И вот ещё, — добавил инквизитор. — Выясните-ка, что там за дела у Сен-Мартена с масонами.
— Какое отношение это имеет к нашему расследованию? — удивился Меркулов.
— Вполне возможно, что совершенно никакого. Но как минимум нелишним будет понять, что за человек приставлен курировать нашу группу, и нет ли у него конфликта интересов.
Философ кивнул, согласившись с аргументом. Инквизитор ненадолго ушёл в собственные мысли, а затем продолжил:
— А может быть, очень даже имеет. Самое прямое отношение. Самое непосредственное.
— Масоны проповедуют цифровое бессмертие, не так ли? — поняв мысль Аристова, подсказала Огава.
Меркулов с размаху ударил себя ладонью по лбу.
— Чёрт, ну конечно. Какой же я дурак! А вы двое, — он осмотрел собеседников, — молодцы, отличная работа.