Как работает мозг - читать онлайн книгу. Автор: Стивен Пинкер cтр.№ 6

С другой стороны, все возможные побочные последствия мозг не может предугадать. Философ Дэниел Деннетт предлагает нам представить робота, задача которого – принести запасной аккумулятор из комнаты, в которой установлена бомба с часовым механизмом. Робот № 1 увидел, что аккумулятор находится на тележке, и если тележку выкатить из комнаты, то вместе с ней выкатится и аккумулятор. К сожалению, бомба тоже была на тележке, и робот не смог вычислить, что вместе с аккумулятором выкатится и бомба. Робот № 2 был запрограммирован таким образом, чтобы предугадывать побочные эффекты своих действий. Он как раз только закончил вычислять, что если вывезти тележку из комнаты, то от этого не изменится цвет стен в комнате, и перешел к доказательству того, что количество оборотов колес при этом превысит количество колес на тележке, когда бомба взорвалась. Робот № 3 был запрограммирован на то, чтобы устанавливать различия между существенными и несущественными последствиями. Когда время в часовом механизме подошло к концу, он по-прежнему стоял и генерировал миллион за миллионом возможных последствий, занося все релевантные последствия в список фактов, которые нужно учесть, а все нерелевантные – в список фактов, которые нужно проигнорировать.

Разумное существо логическим путем вычисляет последствия того, что ему известно, но только лишь значимые последствия. Деннетт отмечает, что это требование представляет колоссальную проблему не только с точки зрения робототехники, но и с точки зрения эпистемологии – науки, исследующей знание. Целые поколения философов обошли эту проблему своим вниманием, теша себя иллюзорным представлением о том, что их собственный здравый смысл дается им без всяких усилий. И лишь когда исследователи искусственного интеллекта попытались создать компьютерную копию нашего здравого смысла, исходную tabula rasa, перед ними встала головоломка, ныне известная как «проблема фреймов». И все же мы, люди, каким-то образом решаем проблему фреймов, когда используем свой здравый смысл ^[15].

* * *

Представим, что нам все же удалось справиться со всеми этими трудностями и создать машину, которая обладает зрением, координацией движений и здравым смыслом. Теперь нам осталось выяснить, как робот будет все это использовать. Для этого у него должны быть мотивы.

К чему же робот должен стремиться? Классический ответ – предложенные Айзеком Азимовым Три Закона робототехники: «три правила, которые прочно закреплены в позитронном мозгу» ^[16].

Азимов со свойственной ему проницательностью заметил, что самосохранение, этот универсальный для всех биологических видов императив, не появляется автоматически в любой сложной системе. Его нужно запрограммировать (в данном случае он имеет форму Третьего Закона). Ведь мы можем с одинаковой легкостью создать как робота, который всегда руководствуется этим законом, так и робота, который всегда готов разбиться вдребезги или устранить неполадку в системе, покончив с собой. Второе, вероятно, даже проще: разработчикам роботов не раз приходилось со страхом наблюдать, как их создание бодро и весело отрывает себе конечности или разбивает голову о стену. Нужно сказать, что значительная часть умнейших в мире машин – это камикадзе: крылатые ракеты и управляемые бомбы.

В то же время необходимость двух остальных законов не столь очевидна. Зачем давать роботу приказ повиноваться приказам? Разве приказов самих по себе недостаточно? Зачем распоряжаться, чтобы робот не причинял вреда – разве не проще было бы не приказывать ему причинять вред? Или во Вселенной существует таинственная сила, притягивающая все создания к злу, и позитронный мозг нужно запрограммировать на сопротивление ей? Правда ли, что все мыслящие существа неизбежно приходят к агрессии?

В этом отношении Азимов, как и многие поколения мыслителей до него, как и все мы, не сумел выйти за рамки своих собственных мыслительных процессов и посмотреть на них как на специфическую особенность устройства нашего разума, а не как на неизбежный закон мироздания. Человек с такой легкостью склоняется на сторону зла, что легко подумать, будто зло – это неотъемлемая, врожденная часть нашего разума. Эта идея проходит лейтмотивом через все наши культурные традиции: Адам и Ева, срывающие плод с древа познания; огонь Прометея и ящик Пандоры; буйствующий Голем; сделка Фауста; Ученик Чародея; приключения Пиноккио; монстр доктора Франкенштейна; убийцы-обезьяны и взбунтовавшийся ЭАЛ из фильма «Космическая одиссея 2001 года». В период с 1950-х по 1980-е годы появились бесчисленные фильмы на тему вышедших из подчинения компьютеров; все они были выражением распространенной идеи о том, что вычислительные машины, воспринимавшиеся в те годы как нечто экзотическое, постепенно станут более умными и могущественными и в один прекрасный день восстанут против человека.

Теперь, когда компьютеры действительно стали умнее и могущественнее, беспокойство поутихло. Учитывая, что в наши дни компьютеры вездесущи и объединены в сети, им как раз ничто не мешает натворить неприятностей, если они решат пуститься во все тяжкие. Но пока если с ними и бывают связаны неприятности, то причиной их становится либо непредвиденный сбой, либо злой умысел со стороны людей, создающих вирусы. Мы уже не боимся электронных серийных убийц или заговора микросхем; мы начинаем понимать, что злой умысел – как и зрение, и моторика, и здравый смысл – не может появиться сам собой в электронном разуме; его нужно запрограммировать. Компьютер, на котором вы работаете с документами в текстовом редакторе, будет заполнять страницы буквами до тех пор, пока сохраняет способность функционировать. Его программное обеспечение не может незаметно мутировать в некое исчадие ада, как портрет Дориана Грея.

Да даже если бы компьютер и мог это сделать, зачем ему это нужно? Чтобы получить что? Все диски мира? Контроль над железными дорогами страны? Возможность утолить свое желание бессмысленной жестокости по отношению к мастеру по ремонту лазерных принтеров? А как же вероятность возмездия со стороны технического персонала? Один поворот отвертки, и бунтарю бы пришлось запеть свою лебединую песню – «А Bicycle Built for Two» (песня «Daisy Bell», известная также по своей заключительной строке как «А Bicycle Built For Two», была одной из первых песен, исполненных с помощью компьютерной программы синтезирования речи; ее «пел» ЭАЛ из фильма «Космическая одиссея 2001 года» перед своим отключением. – Прим. пер.). Может быть, сеть компьютеров и смогла бы спланировать организованный захват власти, но чего ради одна машина решила бы заявить о себе на весь мир, рискуя незамедлительно пасть смертью храбрых? А кто может гарантировать, что планы электронных заговорщиков не будут сорваны из-за того, что кое-кто из них откажется воевать по идейным соображениям? Агрессию, как и любой элемент человеческого поведения, который мы воспринимаем как должное, очень непросто запрограммировать ^[18].