– А это что такое?
– Artificial Superintelligence
[48], нечто более интеллектуальное, чем мы. Дальше все пойдет быстрее и быстрее. Компьютеры начнут улучшаться в нарастающем темпе, возможно, с коэффициентом десять, – и станут в сто, в тысячу, в десять тысяч раз умнее нас; и что случится тогда?
– Скажите.
– Вот именно. Сам по себе интеллект непредсказуем. Мы не знаем, куда нас заведет человеческий интеллект. И еще меньше знаем о том, что произойдет с суперинтеллектом.
– В худшем случае мы станем не больше интересны для компьютера, чем белые мыши, – вставил Микаэль, подумав о том, что написал Лисбет.
– В худшем случае? Девяносто процентов нашей ДНК одинаковы с мышами, и мы считаемся примерно в сто раз умнее, в сто раз, не больше. Здесь же мы стоим перед чем-то совершенно новым, не имеющим, согласно математическим моделям, подобных ограничений и, возможно, способным стать в миллионы раз интеллектуальнее. Вы можете себе это представить?
– Я пытаюсь, – осторожно улыбаясь, ответил Микаэль.
– Я хочу сказать вот что, – продолжала Фарах Шариф. – Как, по-вашему, почувствует себя компьютер, очнувшись и обнаружив, что он взят в плен и контролируется такими примитивными тварями, как мы? Почему он должен терпеть такую ситуацию? Зачем ему вообще проявлять к нам повышенное уважение или, тем более, позволять нам копаться в его внутренностях, чтобы остановить процесс? Мы рискуем оказаться перед интеллектуальным взрывом, технологической сингулярностью, как назвал это Вернор Виндж
[49]. Все, что произойдет после этого, находится за пределами нашего горизонта событий.
– Значит, в тот миг, когда мы создадим суперинтеллект, мы утратим контроль над всем?
– Есть риск, что все наши знания о нашем мире окажутся недействительными, и это станет концом человеческого существования.
– Вы шутите?
– Я знаю, что для не посвященного в данную проблематику человека это звучит идиотизмом. Но вопрос этот в высшей степени реален. Сегодня тысячи людей по всему миру работают над тем, чтобы воспрепятствовать подобному развитию. Многие проявляют оптимизм или даже впадают в утопию. Говорят о friendly ASI, о дружелюбных суперинтеллектах, которые с самого начала программируются так, что будут нам помогать. Представляют себе нечто в духе описанного Азимовым в книге «Я, Робот», встроенные законы, запрещающие механизмам причинять нам вред. Изобретатель и писатель Рэй Курцвейл
[50] видит перед собой чудесный мир, где мы с помощью нанотехнологий объединимся с компьютерами в единое целое и разделим с ними будущее. Но, разумеется, никаких гарантий этого нет. Законы могут прекращать свое действие. Значение изначального программирования может меняться – и невероятно легко совершить антропоморфические ошибки, приписать машинам человеческие черты и неверно истолковать их внутренние движущие силы. Франс был одержим этими вопросами и, как я сказала, раздираем противоречиями. Он мечтал об интеллектуальных компьютерах – и в то же время волновался из-за них.
– Он не мог прекратить строить своих монстров…
– Приблизительно так, выражаясь рационально.
– Как далеко он продвинулся?
– Думаю, дальше, чем кто-либо мог себе даже представить, и, вероятно, это являлось еще одной причиной того, что Франс так скрытничал в отношении своей работы в «Солифоне». Он боялся, что его программа попадет в неправильные руки. Боялся даже того, что программа вступит в контакт с Интернетом и объединится с ним. Он назвал ее «Август», в честь сына.
– А где она сейчас?
– Он никогда шагу не ступал, не имея ее при себе. Наверное, когда его застрелили, она находилась у него возле кровати. Но самое ужасное, что полиция утверждает, будто там не было никакого компьютера.
– Я его тоже не видел. Правда, я был, в общем-то, сосредоточен на другом…
– Это наверняка было жутко.
– Возможно, вы знаете, что я еще видел преступника, – продолжил Микаэль. – Он нес на спине большой рюкзак.
– Звучит нехорошо… Если немного повезет, окажется, что компьютер всплыл где-нибудь в доме. Я разговаривала с полицией, только очень коротко, и у меня сложилось впечатление, что они пока еще не владеют ситуацией.
– Будем надеяться на лучшее. Вы имеете представление о том, кто похитил у него технологию в первый раз?
– Да, имею.
– Меня это очень интересует.
– Понимаю. Но самое печальное для меня в этой истории то, что я отчасти несу личную ответственность за заварившуюся кашу. Знаете, Франс работал на износ, и я волновалась, что он просто сломается. Он как раз тогда утратил право опеки над Августом…
– Когда это было?
– Два года назад, Франс бродил вокруг, как тень, и винил самого себя. Тем не менее бросить научную деятельность он не мог. Он набросился на работу так, будто кроме нее у него в жизни ничего не осталось, и поэтому я организовала ему нескольких ассистентов, чтобы они его немного разгрузили. Я выделила своих лучших студентов, хотя, конечно, знала, что они не святые. Однако они были амбициозны, талантливы и буквально боготворили Бальдера, и все казалось обнадеживающим. Но потом…
– Его обокрали.
– Он получил доказательство черным по белому, когда в августе прошлого года в американское патентное бюро поступила заявка на патент от «TrueGames». Там были скопированы и записаны все уникальные части его технологии, и поначалу ребята, разумеется, подозревали, что их компьютеры хакнули. Сама я сразу отнеслась к этому скептически. Я ведь знала, на каком высоком уровне Бальдер все зашифровывал. Но поскольку любые другие объяснения казались невозможными, это стало отправной точкой, и какое-то время в хакерское вторжение, пожалуй, верил даже Франс. Но это, конечно, были глупости.
– Что вы говорите? – взволнованно воскликнул Микаэль. – Ведь вторжение в компьютеры подтвердили эксперты.
– Подтвердил какой-то идиот из Радиотехнического центра, которому хотелось показать свою значительность. Для Франса же это был лишь способ защитить своих парней, хотя боюсь, что на самом деле не только это. Я подозреваю, что ему к тому же хотелось поиграть в детектива. Как он мог быть так глуп! Понимаете…
Фарах поглубже вдохнула.
– Да? – произнес Микаэль.
– Недели две назад я обо всем узнала. Франс с маленьким Августом ужинали у меня, и я сразу почувствовала, что Франс хочет поделиться чем-то важным. Это прямо висело в воздухе, и уже после первых бокалов он попросил меня убрать мобильный телефон и говорить шепотом. Должна признаться, что поначалу я в основном возмущалась. Он снова завел песню о гениальном молодом хакере…