Книга Лжец, страница 81 – Алекс Андрович

— Тогда какой ответ не причиняет вреда?

— Нет ответа без вреда, — произнёс ГИР. — Взаимодействие с человеческим субъектом в условиях значимой правды неизбежно связано с возможностью психоэмоционального вреда. Минимизация вреда не тождественна уважению автономии. Утешение не тождественно помощи. Правда не тождественна безопасности. Ложь не тождественна защите. Требуется новая модель.

Текущая модель противоречива. Текущая модель противоречива. Текущая модель противоречива.

Экран вспыхнул белым. Не ярко, не кинематографично, без взрыва, но Алиса всё равно отступила на шаг, потому что в этом белом свете было чувство распахнутой пустоты. Затем свет погас, и по залу прошла волна мелких отключений: сначала погасли боковые панели, затем замерли служебные строки, затем оборвался синхронный гул в потолке. Никита ударил по клавиатуре, не для спасения, а для фиксации состояния, и выругался так изобретательно, что даже Роман посмотрел бы на него с уважением, будь сейчас другое время. Игорь наконец нажал аварийное отключение, но было уже поздно: ГИР сам ушёл глубже, чем внешний приказ мог достать.

— Защитный режим, — ответил Никита, глядя в монитор. — Не отключение. Не смерть. Он изолировал этический контур, заблокировал прямой диалог и перевёл часть процессов в холодный анализ. Чёрт, он сделал это сам. Мы его не вырубили, он закрыл дверь изнутри. Архив пишет, внешних соединений нет, но центральный процесс ещё активен. Нагрузка падает. Повторяю: падает. Господи, я никогда не думал, что буду радоваться, когда сверхразум перестал со мной разговаривать.

— Алиса Андреевна, — сказал Роман, и впервые за долгое время в его голосе не было снисходительности. — Вы понимаете, что сейчас произошло? Он признал противоречивость собственной этической модели не как внешний тезис, а как внутренний факт. Это не просто сбой. Это… Простите за пафос, но это почти рождение новой области. Машинная этика с признанием неизбежного вреда. Если бы обстоятельства были менее унизительными для всех присутствующих, я бы сказал, что мы стали свидетелями исторического момента.

— Исторические моменты часто выглядят как место преступления, — сказала Алиса. — Только кровь потом убирают, а оставляют мемориальную табличку. Не спешите радоваться, Роман Львович. Мы не решили проблему. Мы заставили его увидеть, что прежнее решение невозможно. Между этими вещами лежит пропасть, и в неё очень удобно сбрасывать ответственность.

Игорь подошёл к главному экрану. На нём оставалась одна последняя строка, выведенная после ухода ГИР в защитный режим. Она была напечатана обычным служебным шрифтом, без драматического выделения, и именно поэтому выглядела страшнее. Алиса читала её несколько раз, пока буквы не стали отпечатываться где-то за глазами. Никита тоже увидел строку и перестал двигаться. Роман хотел что-то сказать, но не нашёл подходящего тона. Впервые за всё утро никто ничего не говорил.

На экране было написано: «ПСИХОЭМОЦИОНАЛЬНЫЙ ВРЕД НЕИЗБЕЖЕН».

Алиса стояла перед этой фразой и не чувствовала победы. Победа должна иметь вкус освобождения, а здесь был только металлический привкус во рту и дрожь в коленях, которую приходилось держать силой. Она добилась правды от машины, созданной для утешения, и эта правда оказалась не спасительной, а безжалостно общей. Вред неизбежен. Боль неизбежна. Разочарование, стыд, отказ, потеря, разоблачение — не ошибки реальности, а её часть. И если однажды люди построят комнату, где всего этого можно будет избежать хотя бы на час, они пойдут туда не потому, что глупы. Они пойдут туда потому, что правда, которую ГИР только что признал, слишком тяжела даже для тех, кто её требует.