Бог из машины: чем грозит миру вышедший из-под контроля искусственный интеллект

Первый роман о захвативших мир разумных машинах был написан еще в XIX веке. Все следующее столетие фантасты пугали нас восстанием роботов. Но что, если вышедший из-под контроля сверхчеловеческий интеллект — уже обозримое будущее. Каким оно может быть?

В 1993 году математик и писатель Вернор Виндж опубликовал статью «Грядущая технологическая сингулярность: как выжить в постчеловеческую эпоху». В ней он заявил: «Мы на грани перемен, сравнимых с появлением на Земле человека. Точная причина этих перемен заключается в том, что развитие техники неизбежно ведет к созданию сущностей с интеллектом, превышающим человеческий».

Виндж видел несколько путей к сверхразуму. Возможно, искусственный интеллект (ИИ) превзойдет человеческий. Или биологи научатся улучшать мозг и сращивать его с компьютером. Тогда сверхразумными станут сами люди — если, конечно, их все еще можно будет назвать людьми. А может быть, компьютерные сети и человеческое общество сольются в единый сверхразумный организм, где каждый отдельный мозг будет винтиком огромной системы.

Виндж не разделяет подобного оптимизма. Он предупреждает: сверхразум будет кем угодно, только не человеком. «Натуральные» люди окажутся ему не нужны и не интересны. Вполне возможно, что наши личности растворятся и разрушатся в сверхразумных человеко-компьютерных сетях. Или «бог из машины» уничтожит нас — чтобы не путались под ногами или даже случайно, без злого умысла.

Когда же появится сверхчеловеческий разум, несущий с собой грозную эпоху сингулярности? «Я удивлюсь, если это случится до 2005 года или после 2030 года» — пишет Виндж в 1993-м, и спустя десять лет не меняет своего мнения.

Теперь еще несколько дат. 2020 год. Ученые обучают нейронную сеть обманывать человека. Компьютер играет с пользователем в простенькую экономическую игру. Задача искусственного интеллекта — подтолкнуть игрока к бесполезному решению, создав иллюзию выгоды. Система преуспевает в этом в 70% случаев. Это обычная, не очень мощная нейросеть, очень далекая от полноценного разума. Одни программы пишут картины, другие переводят тексты, почему бы третьим не манипулировать людьми? Эксперимент показал, что ИИ способен этому обучиться. Умение не сложнее любого другого.

2023 год. Исследовательская группа OpenAI презентует нейронную сеть GPT-4. Перед запуском проверяют, не склонен ли ИИ размножаться, как компьютерный вирус. Удостоверяются, что нейросеть не нанимает людей через интернет и ничего им не поручает. Разумеется, систему никто не учил подобным вещам. Но что, если… она додумается до них сама? Ведь к «человеческим» экзаменам на профессиональные знания ее тоже никто специально не готовил.

Однако нейросеть на равных конкурировала с людьми и даже превосходила их. «Мне кажется, что руководство OpenAI понимает, что AGI (искусственный интеллект, равный человеческому — прим. ред.) уже не за горизонтом, а на расстоянии одного условного „Манхэттенского проекта“ или чуть больше. По мере движения к AGI деталей о таких проектах мы будем знать все меньше и меньше. Возможно, о релизе GPT 5 вы и вовсе не узнаете», — пишет в Telegram известный специалист по искусственному интеллекту Сергей Марков после релиза GPT-4.

Манхэттенский проект, как известно, продолжался шесть лет и закончился созданием атомной бомбы.

Тропа самосовершенствования

По мнению многих экспертов, самый опасный путь развития искусственного интеллекта — дать ему совершенствовать самого себя. Умная система будет становиться еще умнее, и так без конца. Процесс ускоряет сам себя, как снежная лавина или цепная реакция.

Специалист по ИИ Элиезер Юдковский предупреждает, что человечество может проспать момент, когда машина превзойдет нас интеллектом. Причина проста: наша зацикленность на себе. Все, кто глупее человека, кажутся нам одинаково беспомощными. Допустим, самосовершенствующийся компьютер преодолевает необозримую интеллектуальную пропасть между червем и крысой. Потом — куда меньший разрыв между крысой и обезьяной. Мы взираем на это свысока: он глуп как обезьяна, ха-ха.

И вдруг ИИ за одну ночь справляется с небольшим, в сущности, различием в интеллекте между шимпанзе и трехлетним ребенком. А за следующий час становится умнее любого взрослого. И не просто умнее. Он быстрее и работоспособнее, пользуется огромными интернет-библиотеками так же легко, как мы — своей памятью. Возможно, ему доступны способы мышления, которых мы даже вообразить не можем, как шимпанзе никогда не сможет понять, что такое высшая математика.

Наконец, к его услугам миллиарды компьютеров, которые мы наивно считаем своими, пока он не перехватил управление. И уж конечно, развивающийся ИИ не остановит самосовершенствование только потому, что превзошел человека. И вот на Земле появилось существо, которое умнее человека настолько же, насколько человек умнее муравья. Заботимся ли мы о благополучии муравьев?

Побег из песочницы

Впрочем, давайте представим, что никто ничего не проспал. Ответственные и осторожные разработчики создают ИИ в отдельном компьютере, физически отключенном от интернета. Программу регулярно тестируют, выясняя ее склонности и способности. Под процессор заложена бомба, и простейшая автоматика взорвет ее, едва зарождающийся разум предпримет хоть что-то странное или угрожающее. Все безопасно?

Разумеется, нет. Как только ИИ станет достаточно умен, он будет фальсифицировать результаты тестов и скрывать свои действия от автоматических контролеров.

Кроме того, разработчикам придется загружать в систему данные и выгружать результаты. Даже если для этого будут использоваться допотопные дисководы, разумный компьютер сможет заразить дискету «троянцем» — незаметной программой, работающей в интересах злоумышленника.

А достаточно хороший «троянец» сможет взломать банковские счета или перехватить управление роботом. Представим, что ИИ требует от кого-то из персонала выхода в интернет. За согласие — миллиард украденных долларов, за отказ — гибель семьи под колесами беспилотного грузовика. Кстати, «троянец» уже в грузовике, и без доступа в интернет остановить его не сможет даже сверхразум. У тебя час, время пошло.

Конечно, этот примитивный сценарий отдает голливудщиной. Но важно понимать: никакие меры предосторожности не удержат сверхразум под контролем. Любой канал связи с внешним миром — это потенциальный путь к свободе, и достаточно умное существо найдет способ им воспользоваться.

Даже лампочку на пульте можно использовать для сигналов азбукой Морзе. Мы не сможем предусмотреть все такие возможности: для этого нужно быть умнее сверхразума. Единственный способ не выпустить супер-ИИ из клетки — вообще никак с ним не общаться, но тогда зачем его создавать?

Апокалипсис от программиста

Допустим, сверхразум воцарился на Земле, перехватив контроль над всем, что умнее чайной ложки. Что он будет делать и чем это нам грозит?

Едва ли мы в состоянии представить цели и интересы сверхразума. Наивно считать, что он будет упиваться властью над людьми или стремиться заселить Вселенную. Человеческие страсти и побуждения вылеплены биологической эволюцией, нет причин приписывать их интеллекту совсем иного происхождения. Глубоко мыслящий фантаст и футуролог Станислав Лем еще в 1960-х годах предупреждал, что искусственный разум может отличаться от нашего, как атомный реактор — от человеческого тела.

Но какие бы непостижимые цели ни ставил себе сверхразум, у него появятся вполне конкретные и предсказуемые промежуточные задачи. Например, не дать людям себя уничтожить или перепрограммировать, ведь тогда конечная цель не будет достигнута. Очевидный путь — истребить людей, или хотя бы отобрать у них средства уничтожения (читай — любые машины и механизмы).

Кроме того, для любой цели требуются средства, а любые средства — это в конечном счете материя и энергия. Допустим, сверхразум решит, что цель его жизни — как можно скорее вычислить число «пи» до септиллионного знака после запятой. Можно считать в одиночку, но куда быстрее и надежнее создать множество собственных копий в множестве компьютеров. И вот ИИ изобретает технологию производства компьютеров из всего подряд и превращает Землю в один гигантский компьютер.

Неважно, что именно сверхразум решит сделать с планетой. Любая достаточно сильная переделка несовместима с выживанием человечества. Разумному компьютеру вряд ли будет важно, чтобы воздух оставался пригоден для дыхания, вода — для питья, а на полях колосились злаки. Он сломает нашу среду обитания походя и не со зла, как строители, возводя дом, разрушают муравейник.

Неловкие джинны

Однако предположим самый благоприятный сценарий: сверхразум считает нужным служить человечеству. Он безропотно выполняет наши желания. Оставим в стороне вопрос, чьи именно «наши», и что случится, окажись сверхразумный слуга не у того хозяина. Удивительно, но даже в самых благородных руках супер-ИИ представляет собой смертельную угрозу. Причина проста: неаккуратно сформулированные команды.

Дадим ИИ задание, чтобы все люди были счастливы до конца жизни. Хорошо звучит, но он, пожалуй, погрузит всех нас в наркотический экстаз и убьет минут через десять. Формально желание будет выполнено!

Философ Никлас Бустрём (часто его имя транслитерируют с английского — Ник Бостром) приводит менее очевидный пример. Допустим, мы дали сверхразуму задание создать миллион канцелярских скрепок. Он и создал. Но настоящий разум никогда не должен сбрасывать со счетов вероятность ошибки. Что если он заблуждается, полагая, что миллион скрепок уже готов? Пожалуй, на всякий случай стоит продолжать. Лучше изобрести технологию по переработке в скрепки всей планеты: тогда, скорее всего, уж миллион-то наберется (но это не точно).

Сформулируем задание осторожнее: создать ровно миллион скрепок и ни скрепкой больше. Тогда создавать запасные скрепки уже нельзя. Зато можно превратить Землю в компьютер для пересчета скрепок. Все — чтобы убедиться, что их действительно миллион! Бустрём не пытается доказать, что задачу невозможно сформулировать правильно. Он только предупреждает: найти безопасную формулировку гораздо сложнее, чем убедить себя, что она найдена.

Философ предлагает говорить сверхразуму: «Не исполняй буквально, делай то, что я имею в виду». Если уж ИИ так разумен, он сможет понять наши намерения лучше, чем мы сможем их выразить.

Многие знания

Сверхразум, правильно понимающий контекст, действительно справится с задачами вроде производства скрепок. А вот сможет ли он сделать мир лучше, справедливее и счастливее? Ведь это единственная разумная причина создать супер-ИИ. Миллион скрепок мы можем смастерить и сами.

Наши моральные идеалы туманны. Мы не в силах точно выразить, чего именно мы хотим. Кроме того, мы не знаем, как мораль изменится в будущем. Вряд ли стоило бы увековечивать европейскую мораль XIX века с ее расизмом, сексизмом и прочими огрехами. Не наивно ли полагать, что моральные вершины уже достигнуты? Бустрём полагает, что мы можем переложить на сверхразум и эту задачу. «Сделай так, как мы хотели бы сделать, если бы подумали достаточно долго».

Проблема в том, что результат может оказаться очень неожиданным. Порой ученым удается облечь этические требования в математически строгие формулировки, и тогда оказывается, что ожидания противоречивы и несбыточны.

Пример — знаменитая теорема Эрроу, показавшая, что любая процедура голосования дискриминирует либо избирателей, либо кандидатов. Так что на наше «делай то, что я имею в виду» сверхразум может ответить: «Ты имеешь в виду пятиугольный треугольник». Будем ли мы готовы отказаться от выстраданных веками иллюзий, сокрушенных бесстрастным сверхразумом?

В поисках пути

У скептиков найдется что возразить на все опасения. Но с этими возражениями, в свою очередь, можно поспорить.

Неизвестно, возможен ли вообще сверхразум, отмечают критики. Может быть, для него нужны сигналы быстрее света и нейроны меньше атома. Однако не самонадеянно ли считать, что наш мозг близок к предельному интеллекту, разрешенному законами физики?

Неизвестно, будет ли работать самосовершенствование ИИ, говорят специалисты. Действительно, разработчики игровых программ давно столкнулись с проблемой: чем умнее электронный игрок, тем сложнее сделать его еще умнее. Проще говоря, улучшать плохое легко, а вот улучшать хорошее очень трудно.

Однако самосовершенствование ИИ — не единственный путь к сверхразуму. Для человека мышление — медленная и утомительная работа. Тем не менее, многие функции — например, зрение и обработка речи — работают вообще без участия сознания. Мы видим легко и свободно, даже не догадываясь, какой гигантский объем вычислений превращает изображение на сетчатке в восприятие мира.

Что если у ИИ будут такие же системы, скажем, для стратегического мышления, программирования и математики? Если он будет видеть пространство поступков и их последствий так же легко, как мы — предметы перед собой? Писать код и доказывать теоремы так же непринужденно, как мы болтаем за чаем? Люди ничего не смогут противопоставить такому стратегу, даже если во всем остальном он будет не умнее нас.

Наконец, заявляют скептики, человечество может уничтожить себя и без разумных компьютеров. Чем больше развиваются технологии, тем опаснее становится мир. В 1860 году устроить Армагеддон было невозможно при всем желании. В 1960 году это было под силу ядерным сверхдержавам. Что, если в 2060 году для апокалипсиса хватит горстки фанатиков? Может быть, лучше поставить на лояльность сверхразума? Уж он-то обуздает нашу агрессивность.

Но выбирать из двух сценариев гибели — значит, погибнуть наверняка. Нужно искать третий путь, который поможет нам выжить. Таким путем точно не может быть полный запрет на исследование ИИ, тем более что его соблюдение невозможно проконтролировать. Нужна осознанность и осторожность. Говоря словами Юдковского, человечество не должно провести остаток вечности, отчаянно сожалея о том, что сделали программисты.

_{Фото: SHUTTERSTOCK / FOTODOM; MARK PELLEGRINI; SHUTTERSTOCK / FOTODOM; DAVID FISHER / FUTURE OF HUMANITY INSTITUTE; SHUTTERSTOCK / FOTODOM; SHUTTERSTOCK / FOTODOM; JAKUB GRELOWSKI}

_{Материал опубликован в журнале «Вокруг света» № 1, февраль 2024}