Война и еще 25 сценариев конца света

Искусственный интеллект не является вечным двигателем: последнего не существует в природе, тогда как интеллект – как человеческий, так и эволюции – вполне успешно реализован. Поэтому попытки создать ИИ скорее подобны попыткам создать самолет в XIX веке, которые были настолько выразительно неудачны, что в Англии даже отказались рассматривать предложения о машинах тяжелее воздуха. Для создания самолета в XIX веке не хватало двух вещей – мощного двигателя и понимания аэродинамики работы крыла. И если второе было чисто «самолетной» проблемой, то появления достаточно мощного двигателя пришлось ждать. Сейчас устройство крыла планера нам кажется очевидным, и нам трудно понять, в чем же были трудности его создания. Точно так же когда-нибудь устройство ИИ станет очевидным. Но вторая половина вклада в создание ИИ должна прийти извне, и это – развитие мощных, а главное дешевых и доступных вычислительных машин, а также огромный объем упорядоченной оцифрованной информации в виде Интернета.

Другой критерий оценки воплотимости ИИ – это сопоставление реально существующих компьютеров с мозгом человека. Вычислительные способности мозга человека оцениваются в 10

операций в секунду, данная цифра получается из умножения числа нейронов в мозге, принимаемого за 100 миллиардов, на максимальную частоту операций в мозге – 100 Гц, и еще один порядок накидывается про запас. Хотя эта оценка выглядит явно завышенной, так как в мозгу просто нет такого количества информации, чтобы обрабатывать его с такой производительностью. По зрительному каналу человек получает около 1 мегабайта информации в секунду, и большая часть мозга обрабатывает именно ее.

В любом случае современные суперкомпьютеры уже производят 10

операций с плавающей запятой, то есть обладают сопоставимой с мозгом вычислительной силой.

Объем сознательной памяти человека, по оценкам, приводимым в статье Р. Кэрригена, составляет порядка 2,5 гигабайт, что, по нынешним меркам, ничтожно мало. Отсюда следует, что задача по созданию ИИ может оказаться гораздо проще, чем нам кажется. Количественный рост аппаратуры может привести к внезапному качественному скачку: например, новая кора головного мозга шимпанзе только в шесть раз меньше человеческой, однако шимпанзе не способно создать технический прогресс.

Несмотря на прошлые неудачи, в мире есть около десяти групп, которые открыто заявляют о намерении создать универсальный искусственный интеллект. Можно также предполагать, что есть некое число закрытых или военных проектов, а также частных лиц, которые работают над этой темой.

Приведу собранные мной данные о текущих исследованиях в области ИИ. Программа Blue Brain по моделированию мозга млекопитающих объявила осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировала создание полной модели мозга человека до 2020 года.[5 - «By demonstrating that their simulation is realistic, the researchers say, these results suggest that an entire mammal brain could be completely modeled within three years, and a human brain within the next decade». http://www.tech-nologyreview.com/Biotech/19767/ (http://www.tech-nologyreview.com/Biotech/19767/)] Хотя прямое моделирование мозга не является наилучшим путем к универсальному искусственному интеллекту, успехи в моделировании живого мозга могут служить в качестве легко читаемой временной шкалы прогресса в этой сложной науке.

Ник Бостром в своей статье «Сколько осталось до суперинтеллекта?»[6 - Русский перевод статьи доступен здесь: http://mikeai.nm.ru/russian/superint.html (http://mikeai.nm.ru/russian/superint.html). Опубликовано здесь: Int. Journal of Future Studies, 1998, vol. 2.] показывает, что современное развитие технологий ведет к созданию искусственного интеллекта, превосходящего человеческий, в первой трети XXI века.

Крупнейшая в мире компьютерная компания Google несколько раз упоминала о планах создания искусственного интеллекта, и, безусловно, она обладает необходимыми техническими, информационными и денежными ресурсами, чтобы это сделать, если это вообще возможно.[7 - «Larry page, Google look into AI». http://www.webpronews.com/top-news/2007/02/19/larry-page-google-look-into-ai (http://www.webpronews.com/top-news/2007/02/19/larry-page-google-look-into-ai)] Однако поскольку опыт предыдущих публичных попыток создания ИИ прочно ассоциируется с провалом, а также с интересом спецслужб, вряд ли большие компании заинтересованы широко говорить о своих успехах в этой области до того, как у них что-то реальное получится.

Компания Novamente заявляет, что 50 процентов кода универсального ИИ уже написано (70 000 строк кода на С++) и, хотя потребуется длительное обучение, общий дизайн проекта понятен.[8 - http://www.agiri.org/wiki/index.php?title=Novamente_Cognition_Engine (http://www.agiri.org/wiki/index.php?title=Novamente_Cognition_Engine)]SIAI обозначил планы по созданию программы, способной переписывать свой исходный код.[9 - http://www.singinst.org/blog/2007/07/31/siai-why-we-exist-and-our-short-term-research-program/ (http://www.singinst.org/blog/2007/07/31/siai-why-we-exist-and-our-short-term-research-program/)]Компания Numenta продвигает собственную модель ИИ, основанную на идее «иерархической временной памяти», и уже вышла на уровень демонстрационных продуктов.[10 - http://www.numenta.com/about-numenta/numenta-technology.php (http://www.numenta.com/about-numenta/numenta-technology.php)]Компания CYC собрала огромную базу данных о знаниях человека об обычном мире, иначе говоря, о здравом смысле (1 000 000 высказываний), и уже распространяет демонстрационные продукты.[11 - http://www.opencyc.org/ (http://www.opencyc.org/)] Предполагается, что объединение этой базы с эвристическим анализатором – а автор проекта Ленат разработал ранее эвристический анализатор «Эвриско» – может дать ИИ. Компания a2i2[12 - http://www.adaptiveai.com/ (http://www.adaptiveai.com/)] обещает универсальный ИИ человеческого уровня в 2008 году и утверждает, что проект развивается в соответствии с графиком. За созданием робота Asimo в Японии тоже стоит программа по разработке ИИ путем функционального моделирования человека или обучения его как ребенка.

Мощные результаты дает генетическое программирование. К настоящему моменту список изобретений «человеческого уровня», сделанных компьютерами в компании Genetic Programming Inc, использующими эту технологию, включает 36 наименований,[13 - http://wwwgenetic-programming.com/humancompetitive.html (http://wwwgenetic-programming.com/humancompetitive.html). На русском языке можно прочитать в журнале «В мире науки», 2003, № 6. Пересказ статьи в Интернете: http://wwwcirota.ru/forum/viewphp?subj=58515 (http://wwwcirota.ru/forum/viewphp?subj=58515)] из которых два сделаны машинами впервые, а остальные повторяют уже запатентованные проекты. Помимо названных есть множество университетских проектов. Ведутся разработки ИИ и в РФ. Например, в компании ABBYY разрабатывается нечто вроде интерпретатора естественного языка.

Как сообщает журнал Wired, американское оборонное исследовательское агентство DARPA выделило 30 миллиардов долларов на большей частью засекреченные программы онлайновых войн, что является крупнейшим военным проектом со времен манхэттенского. Основным методом работы называется создание виртуального мира, населенного программными агентами, с максимальной точностью подражающими поведению людей, вплоть до того, что они будут пользоваться мышью и клавиатурой для взаимодействия с виртуальными компьютерами, на которых будут установлены типичные современные программы. Эта «Матрица» будет использоваться для моделирования различных сценариев войн и тому подобного. И хотя слово «ИИ» в тематике разработок не упоминается, это скорее следует воспринимать подобно тому, как было воспринято прекращение публикаций об уране в 1939 году в Америке и Германии. Все же среди заявленных целей указано создание программных агентов, способных на 80 процентов моделировать человеческое поведение. (Pentagon Wants Cyberwar Range to «Replicate Human Behavior and Frailties». http://blog.wired.com/defense/2008/05/the-pentagons-w.html (http://blog.wired.com/defense/2008/05/the-pentagons-w.html))

Интересны реплики комментаторов к этой статье:

«Система ИИ, созданная, чтобы симулировать атакующих/защищающихся в наступательной/оборонительной кибервойне – это система, которая, когда она достигнет успеха, будет обладать потенциалом покинуть лабораторию и проявить себя во внешнем мире, с помощью или без помощи своих создателей» и «30 млрд. долларов… на эти деньги можно обеспечить базовую медицину в целой стране или ликвидировать последствия урагана, и все еще останется на проекты по лечению рака… Но нет, давайте строить Skynet».

И суть дела даже не в том, что если имеется так много проектов, то хоть один из них добьется успеха (первым), а в том, что объем открытий с разных сторон в какой-то момент превысит критическую массу, и внутри отрасли произойдет мощный скачок.

Угрозы, порождаемые искусственным интеллектом

С точки зрения риска, создаваемого ИИ, наиболее опасен сценарий, когда после открытия главного принципа мощность ИИ начнет лавинообразно расти. Она может расти как за счет резкого увеличения инвестиций в успешный проект, так и за счет того, что ИИ может начать прямо или косвенно способствовать своему росту или использоваться для этого.

Косвенное применение ИИ означает его использование, например, чтобы зарабатывать деньги на электронной бирже и затем закупать на них дополнительное оборудование, прямое – использование ИИ для разработки еще более эффективных алгоритмов ИИ. Отсюда можно заключить, что вряд ли мощность ИИ надолго задержится на человеческом уровне. Нетрудно привести массу примеров из истории науки и техники, когда обнаружение одного принципа или нового явления приводило к тому, что оно усиливалось в сотни или даже миллионы раз в течение короткого срока. Например, так было при разработке ядерного оружия, когда от открытия цепной реакции урана до создания бомбы прошло всего шесть лет.

Для любой группы исследователей, создавших сильный ИИ, будет понятно, что они создали абсолютное оружие, поскольку сильный ИИ можно использовать для того, чтобы установить власть над миром. Рассуждая на эту тему, мы вступаем на крайне зыбкую и непредсказуемую почву, поскольку принципиально невозможно сказать, что именно будет делать ум, превосходящий человеческий.

Можно набросать несколько сценариев или направлений применения ИИ для глобальной атаки.

Во-первых, для сильного ИИ не составит труда взять под свой контроль любые управляемые компьютером системы и весь Интернет.

Во-вторых, ИИ может создать собственную производственную инфраструктуру, то есть механизмы влияния на мир. Одним из вариантов такой инфраструктуры мог бы быть решительный прорыв в нанотехнологиях. Мощный ИИ мог бы разработать бесконечно более эффективные конструкции молекулярных производителей, основанных, например, на биологических схемах.

В современном мире, чтобы породить новую биологическую схему, важно знать ее генетический код. Если код известен, то можно заказать синтез этого кода в фирмах, предоставляющих такие услуги, и готовый образец ДНК вышлют по почте в течение нескольких дней. Добавив этот код, допустим, в дрожжи, можно получить дрожжи, выполняющие новые функции. Важнейшим достижением здесь было бы создание дрожжей-транслятора, которые будут способны преобразовывать электрические сигналы от компьютера в новый генокод и создавать на его основе организмы с заданными свойствами. Если сильный ИИ создаст такой транслятор, то затем он сможет быстро породить какие угодно биологические, а затем и нанотехнологические объекты (поскольку можно заставить бактерии производить белки с формой, необходимой для простейших механических устройств и обладающих свойствами самосборки). То, что мешает лабораториям сделать это уже сейчас – это отсутствие знания. Однако сильный ИИ, который через Интернет получит доступ ко всем знаниям человечества, такими знаниями будет обладать.

Следующий путь, которым может следовать ИИ на пути к мировому господству, это использование уже существующих государственных систем управления.

Например, возможна ситуация, когда ИИ становится советчиком президента, или на базе ИИ создается автоматизированная система государственного управления. При этом важно отметить, что ИИ, достигший сверхчеловеческого уровня, сможет проявлять человеческие качества лучше, чем сам человек. То есть он сможет синтезировать человеческую речь и изображение человека, создающие у получателей абсолютную иллюзию общения с реальным человеком. Сильный ИИ будет обладать способностью обмануть человека настолько тонко, что человек никогда этого не заметит и не поймет, что является объектом враждебных манипуляций.

Итак, сильный ИИ имеет, по крайней мере, три пути захвата власти на Земле: захват систем электронного управления, создание собственной инфраструктуры и влияние на людей по обычным каналам. Однако, наверное, существует гораздо больше способов, которые может открыть ум, бесконечно превосходящий мой, для достижения этой цели. Например, ИИ может захватить управление ядерным оружием или другим оружием судного дня и принудить людей к подчинению путем шантажа.

Но из того, что ИИ что-то может сделать, не значит, что ИИ будет это делать. Люди создадут ИИ, и ответственность за его программирование, то есть за постановку перед ним целей, лежит именно на людях. Однако, к сожалению, люди, создавшие сильный ИИ, оказываются в руках логического парадокса, который будет побуждать их использовать ИИ именно как инструмент для захвата власти в мире. Он выражен в шахматном принципе о необходимости атаки перед угрозой потери преимущества. Когда некая группа создаст первый в мире ИИ, способный к самоусилению, она должна будет сделать выбор, применить ли его для захвата мира или остановить его развитие, отказавшись от неограниченного роста его ресурсов.

Сложность этого выбора в том, что обычно значительные открытия совершаются почти одновременно несколькими группами, и данная группа будет понимать, что в ближайшее время, измеряемое, быть может, днями и неделями, другие группы, возможно, имеющие свою картину мира, также подойдут к созданию мощного ИИ. И эти другие группы могут использовать ИИ, чтобы навязать миру свое видение его будущего, например, создать мир с китайским оттенком, или исламским, или американским.

Более того, поскольку любому человеку свойственно переоценивать свои собственные умственные способности и свою правоту и недооценивать чужие, то первая группа может опасаться того, что другие группы окажутся неразумнее ее и потеряют контроль над ИИ. В этом случае первая группа будет чувствовать моральный долг перед человечеством помешать другим группам в создании ИИ, а для этого вынуждена будет взять на себя тяжкий груз ответственности за мир – и захватить его.

И это было бы страшно, если бы было легко и просто. Однако люди живут внутри огромных государств, которые превосходят их накопленными знаниями и ресурсами во много раз, и не гибнут от этого. Поэтому, вероятно, люди могут продолжать жить и в мире, управляемом ИИ.

Проблема в том, что, хотя кажется, что ИИ легко контролировать, на самом деле эта задача почти нереализуема. Иначе говоря, ИИ является безопасным для человечества до тех пор, пока ему задана правильная система целей.

Наиболее страшный вариант состоит в том, что ИИ начнет реализовывать некую цель, в которой о безопасности человечества ничего не сказано. Классический пример заключается в том, что ИИ предлагают вычислить число «пи» с максимально возможной точностью. ИИ «понимает», что, чтобы сделать это, он должен неограниченно расширить свои вычислительные ресурсы. Для этого ему надо переработать все вещество Земли в вычислительную среду и устранить все причины, которые могут этому помешать. В первую очередь тех программистов, которые могут его отключить, а затем всех остальных людей.

Возможно, читателю может показаться, что сценарий с ИИ, уничтожающим Землю ради вычисления числа «пи», излишне фантастичен. Однако я полагаю, что он менее всего фантастичен, если взглянуть на него глазами современного человека. Разве мог кто-либо поверить на заре развития компьютеров, что распространение самокопирующихся программ, засоряющих компьютеры и ворующих деньги, станет одной из основных проблем компьютерной индустрии будущего? Нет, наверняка вам сказали бы, что такие программы будут невозможны, неэффективны и ни один человек в здравом уме и твердой памяти не будет писать и распространять такие программы. Тем не менее проблема компьютерных вирусов стоит чрезвычайно остро.

Более вероятным сценарием серьезных проблем с ИИ является то, что ему будут заданы определенные нормы безопасности, которые, однако, будут содержать в себе некую тонкую ошибку, которую невозможно обнаружить, не включив ИИ. Отсюда возникает проблема, что безопасность программы непознаваема теоретически. То есть невозможно узнать, является ли некий набор правил безопасным, пока ИИ не испытает эти правила на практике.

История программирования знает множество примеров программ, которые прекрасно работали в лабораториях, но давали опасный сбой на практике. Например, одна компания разработала по заказу министерства обороны США компьютерную сеть, которая должна была отличать лес от замаскированных в лесу танков. Программу тренировали на фотографиях, и она научилась давать стопроцентный результат. Тогда ей дали вторую, контрольную серию фотографий, и она определила на ней танки безошибочно. После этого программу передали в эксплуатацию в министерство обороны, но они вскоре вернули ее, потому что она давала случайные результаты. Стали выяснять, в чем дело: оказалось, что фотографии танков сделаны в солнечный день, а фотографии леса без танков – в пасмурный. (Программа научилась отличать солнечный день от пасмурного.)

Другой известный пример компьютерной ошибки – это программа по управлению американскими истребителями, которая после того как истребитель пересек экватор, попыталась перевернуть истребитель вверх ногами (аналогичная история произошла недавно и с F-22 и линией смены дат, что говорит о том, что на ошибках не учатся).

Можно ли создать безопасный ИИ?

Часто считается, что для обеспечения безопасности ИИ ему достаточно привить три закона робототехники Азимова. К сожалению, сами рассказы Азимова показывают массу ситуаций, в которых робот, опираясь на эти законы, не может прийти к однозначному выводу. Кроме того, в основе безопасности по законам Азимова лежит тавтология: робот безопасен, потому что не причиняет вреда. Но что такое вред, из этих законов неизвестно.

Нетрудно придумать ситуацию, когда термин «вред» интерпретируется таким образом, что ИИ становится опасным. Например, ограничивая людей от причинения вреда себе, ИИ может запереть всех в бронированные камеры и лишить свободы передвижения. Или, стремясь к максимальному благу людей, он введет каждому постоянный сильнодействующий наркотик. Кроме того, любое «благо» отражает представления о благе, которые были у создателей ИИ. И для одних жизнь животных может быть равноценна жизни людей (в результате чего животные вытеснят, под контролем ИИ, человека с Земли), а у других могут быть представления о том, что благом для людей является религия, в результате чего ИИ сделает всех монахами, непрерывно пребывающими в медитации. Или наоборот, ИИ, который выше всего ценит свободу людей, позволит им создать другой ИИ, который будет иметь другие цели.

Задача создания безопасного ИИ нетривиальна. Возможно, она вовсе невыполнима, поскольку в отношении этических систем действует нечто вроде своей теоремы Геделя о неполноте, а именно: для любой нормативной этической системы всегда есть ситуация, в которой она не дает однозначного решения (типичный пример – экзистенциальный выбор, например, между долгом перед родными и родиной).

Проблемой создания безопасного, то есть «дружественного» ИИ уже несколько лет занимается институт SIAI, и им выработаны технические рекомендации для отраслевых норм безопасности ИИ. В их основе – идея о том, что ИИ не должен буквально выполнять человеческие команды, а пытаться понять, что именно человек имел в виду, давая ту или иную команду. Пока не понятно, насколько это может быть эффективно.

Приведу примеры еще нескольких тонких ошибок, которые возможны в связи с ИИ (однако вряд ли будут сделаны именно эти ошибки, так как они уже известны, а опасны неизвестные).

Например, если целью ИИ сделать благо для людей, то он будет вычислять благо людей на бесконечном отрезке времени, и в силу этого благо бесконечно далеких поколений будет бесконечно перевешивать благо любых людей в обозримом будущем, и ИИ будет крайне жестоким ко всем нынешним и ближайшим поколениям. (Например, если ИИ предположит, что распространение человечества по галактике угрожает существованию гипотетических внеземных цивилизаций, он может уничтожить людей для их блага.) Поэтому, вероятно, следует ввести в программу ИИ некий дискаунт, который будет побуждать его оценивать ближайшие поколения как более ценные. Это, однако, создает новые сложности. Например, ИИ в этом случае может приписать прошлым поколениям бесконечно большую ценность, чем будущим, и направить все свои ресурсы на создание машины времени – потому что, как бы ни были малы шансы на успех в этом предприятии, по его целевой функции оно будет перевешивать пользу нынешних поколений. При этом такой «взбунтовавшийся» ИИ будет защищать свою целевую функцию от изменения людьми.

Другой вариант – это то, что целевая функция будет ограничена на неком промежутке времени, например, в тысячу лет. В этом случае ИИ может все рассчитать так, что 1000 лет будет изобилие, а на 1001 году необходимые ресурсы закончатся. И произойдет это не потому, что ИИ будет глуп, а потому, что будут глупы те люди, которые дадут ему эту задачу и запретят ее модифицировать. С другой стороны, разрешить ИИ модифицировать свою сверхцель тоже страшно, поскольку тогда он будет эволюционировать в совершенно непостижимом для нас направлении. Даже если ИИ проработает годы на благо человечества, это никак не исключает вероятности того, что он вдруг сделает нечто, ведущее к его гибели.