Война и еще 25 сценариев конца света

Другой знаменитой сингулярностью в физике являются черные дыры. Гравитация черной дыры столь велика, что любой материальный объект, падающий в нее, должен был бы сжаться в точку. Однако по общей теории относительности для внешнего наблюдателя время этого падения (причем не до точки в центре дыры, а до границы поверхности, называемой «сфера Шварцшильда») растянется до бесконечности, тогда как для самого падающего падение займет конечное время. Отметим, что сингулярностью можно назвать и момент в жизни массивной звезды, когда она начинает коллапсировать в черную дыру и скорость событий в ней бесконечно ускоряется.

Наиболее радикальное представление о технологической сингулярности предполагает, что сингулярность на самом деле означает бесконечный рост за конечное время. Это представление отражено в статье Е. Юдковски «Вглядываясь в сингулярность», где он предполагает, что, когда появится способный к самосовершенствованию искусственный интеллект, он будет неограниченно усиливать себя, проходя каждый цикл ускорения все быстрее и на каждом новом этапе находя все новые технологические и логические возможности для самосовершенствования. В результате, чтобы записать его IQ, Юдковски вводит специальную математическую операцию.

Здравым возражением против этой теории является то, что возможная производительность любого ИИ, который мы можем создать на Земле, ограничена числом атомов в Солнечной системе (порядка 10

штук), поскольку мы не можем сделать транзисторы размером меньше атома.

Итак, одна точка зрения состоит в том, что сингулярность – это актуальный процесс бесконечного роста, причем, видимо, за конечное время. Другая – в том, что сингулярность – это только асимптота, к которой стремятся прогностические кривые, но на самом деле они ее по тем или иным причинам не достигнут. Вернор Виндж презентовал сингулярность именно как абсолютный горизонт прогноза после создания сверхчеловечески умных машин.

Наконец, есть точка зрения, что сингулярность имеет математический смысл как короткий период бесконечного ускорения процессов, однако реальные перемены будут конечными, и постсингулярный мир, хотя и будет значительно отличаться от нынешнего, все же будет миром без быстрых изменений, со своей собственной устойчивостью.

История и модели прогресса

Мы знаем достаточное число примеров, когда исторические процессы ускорялись фактически до бесконечной скорости за счет того, что несколько значимых событий происходили одновременно. Например, Солженицын так описывает ускорение событий во время Февральской революции в России:

«Если надо выбрать в русской истории роковую ночь, если была такая одна, сгустившая в несколько ночных часов всю судьбу страны, сразу несколько революций, – то это была ночь с 1 на 2 марта 1917 года. Как при мощных геологических катастрофах новые взрывы, взломы и скольжения материковых пластов происходят прежде, чем окончились предыдущие, даже перестигают их, – так в эту русскую революционную ночь совместились несколько выпереживающих скольжений, из которых единственного было достаточно – изменить облик страны и всю жизнь в ней, а они текли каменными массами все одновременно, да так, что каждое следующее отменяло предшествующее, лишало его отдельного смысла, и оно могло хоть бы и вовсе не происходить. Скольжения эти были: переход к монархии конституционной („ответственное министерство“) – решимость думского Комитета к отречению этого Государя – уступка всей монархии и всякой династии вообще (в переговорах с Исполнительным Комитетом СРД – согласие на Учредительное Собрание) – подчинение еще не созданного правительства Совету рабочих депутатов – и подрыв этого правительства (да и Совета депутатов) отменой всякого государственного порядка (реально уже начатой „приказом № 1“). Пласты обгоняли друг друга катастрофически: царь еще не отрекся, а Совет депутатов уже сшибал еще не созданное Временное правительство». (Размышления над Февральской революцией. Российская газета, 27 февраля 2007 года. http://www.rg.ru/solzhenicyn.html (http://www.rg.ru/solzhenicyn.html))

При всей драматичности происходящих в таких случаях изменений сингулярности трудно избежать. Если, например, развитие наук замедлится, то это увеличит шансы катастрофы в результате исчерпания ресурсов и перенаселения; и наоборот, если ресурсов будет много, то ничто не помешает наукам и технологиям продолжить свой бег к будущему. Некоторые предлагают другие варианты для названия сингулярности: «технокалипс», «великий переход», «катастрофа».

Многие люди связывают с сингулярностью самые позитивные ожидания. Теоретически сингулярность означает возможность бессмертия, неограниченного расширения сознания и полеты на другие планеты. Однако атомная энергия теоретически также означает неограниченное даровое электричество, но на самом деле бесконечные преимущества уравновешиваются бесконечными недостатками. В случае атомной энергии это ядерное оружие, радиоактивное заражение и угроза глобальной войны. Поэтому возникло следующее упрощенное представление о сингулярности: достаточно дотянуть до нее, а там искусственный интеллект решит все наши проблемы, возникнет экономика изобилия и рай на Земле. Не удивительно, что такие представления вызвали ответную реакцию: высказывались предположения, что идеи о сингулярности это своего рода религия для фанатов техники, где ИИ – вместо Иисуса, а сингулярность – вместо Бога. И на основании такой психологизации идея о сингулярности отвергалась.

Можно также сравнивать ожидания наступления сингулярности с идеями о коммунизме. После сингулярности, говорят ее сторонники, молекулярное производство позволит производить любые товары практически бесплатно, создав то самое изобилие, которое делает коммунизм возможным; кроме того, в управляемом ИИ обществе отпадет необходимость в рынке, так как управление сверху окажется, наконец, более эффективным. Когнитивные технологии, наконец, смогут создать нового человека или подправить старого. Однако подобные ожидания, вероятно, больше говорят о нас самих, чем о том, что будет на самом деле.

Кроме того, идеи сингулярности подвергались критике с тех позиций, что закон Мура является экспоненциальным, а выделенная точка возможна только при гиперболическом законе; что, возможно, человек не может создать сверхчеловеческий разум, поскольку это слишком сложная задача, и чтобы создать сверхразум, нужно его уже иметь. Например, в критической статье «Сингулярность всегда рядом» (пародирующей название работы Р. Курцвейла «Сингулярность рядом») говорится о том, что мы никогда не сможем обнаружить себя «после сингулярности», поскольку в этом состоянии мы должны были бы признать, что весь бесконечный рост находится позади нас, а впереди подобного роста не будет.

Вместо того чтобы разбирать всю эту критику, отметим, что она не влияет на основной факт – на реально надвигающуюся на нас перемену неизвестной природы.

Есть также представления, что может быть «позитивная сингулярность» и «негативная», и это звучит так, как будто это как бы две стороны одной медали. И шансы их равны, как шансы выпадения одной из сторон монеты. Но это не так. Для реализации позитивной сингулярности вместе должны сложиться успехи всех технологий, все задуманное должно получиться, причем в правильной последовательности, и т. д. А чтобы произошла негативная сингулярность, достаточно, чтобы все пошло наперекосяк один раз. Гораздо проще сделать смертельно опасный вирус, чем лекарство от старости.

Однако вернемся к историческому аспекту вопроса. Идея о том, что человечество включено в некий развивающийся процесс (то есть имеет место прогресс), получила признание далеко не сразу. В Античности прогресс не осознавался и история казалась ходящей по кругу. Это представление поддерживалось тем, что скорость технологических инноваций в то время была столь медленной, что мир почти не менялся на протяжении поколения и обнаружить разницу было трудно. И наоборот, отсутствие идеи прогресса мешало технологическим инновациям. (Например, разные технологические хитрости считались уделом рабов и были недостойными свободного человека.)

С появлением христианства возникла идея линейного времени – от грехопадения до Страшного суда, но она не относилась к человеческим достижениям.

В Средние века, несмотря на крах Римской империи, продолжалось постепенное накопление разных изобретений и новшеств.

В эпоху Возрождения, как можно понять по самому ее названию, идеи прогресса еще не существовало, так как в качестве источника рассматривалось своеобразное возвращение к прошлому.

Только в середине XVII века идея о неостановимой силе прогресса стала проникать в умы, во многом благодаря работам Фрэнсиса Бэкона (Novum Organum, 1620), а в эпоху Просвещения в XVIII веке она стала всеобщим достоянием. Таким образом, идея прогресса значительно отстала от самого прогресса.

В XIX веке знамя прогресса поднимали Карл Маркс, Огюст Конт и другие.

Нас при этом в большей мере интересует то, какова была ожидаемая скорость прогресса.

Здесь возможны следующие идеи:

1) линейный прогресс до какого-то уровня, после чего наступает равновесие;

2) бесконечный линейный прогресс;

3) экспоненциально растущий прогресс – идея о том, что прогресс не просто происходит, но что темпы его ускоряются (закон Мура);

4) гиперболический прогресс – идея о том, что прогресс не просто ускоряется, но достигнет бесконечности за конечное время в ближайшем будущем.

Как отмечает исследователь процессов ускорения прогресса Джон Смарт, по-видимому, первым, кто обратил внимание на постоянное ускорение прогресса и осознал, что оно ведет к некому фазовому переходу, был американский историк Генри Адамс (1838–1918) в 1890-х годах. В 1904 году он написал эссе «Закон ускорения» (http://www.bartleby.com/159/34.html (http://www.bartleby.com/159/34.html)), а в 1909-м – «Закон фазового перехода применительно к истории», в котором утверждал, что в период между 1921 и 2025 годами произойдет фазовый переход в отношениях между человечеством и технологиями.

В этой статье он предполагает, что история подчиняется закону квадратов, то есть каждый следующий период истории по своей длине равен квадратному корню из длины предыдущего периода. Согласно Адамсу, за «Религиозным периодом» в 90 000 лет следует «Механический период» в 300 лет, затем «Электрический период» в 17 лет и затем должен быть «Эфирный период» в 4 года, а затем последует фазовый переход, в ходе которого человечество достигнет границ возможного. С учетом неопределенности в длинах периодов он и получил разброс между 1921 и 2025 годами; нетрудно отметить, что верхняя граница совпадает с оценками Винджа о времени наступления сингулярности.

Теорию Адамса можно рассматривать и как подтверждение, и как опровержение идей сингулярности. Опровержение состоит в том, что людям свойственно специфическое когнитивное искажение, которое можно назвать «эффектом перспективы» и которое заставляет людей выделять в более близких по времени периодах более короткие значимые отрезки, в результате чего и возникает ощущение ускорения. Однако последующие исследования ускоряющихся перемен старались избежать этой произвольности в выборе значимых отрезков времени, измеряя некие объективные параметры, например информационную емкость систем.

Эпоха сингулярности начнется внезапно. То есть некоторое время – десять, двадцать, тридцать лет – все будет примерно как сейчас, а потом начнет очень быстро меняться. Если бы у природы была точка зрения и она наблюдала земную историю со скоростью один год за секунду, то для нее эпоха сингулярности уже началась бы: мир, населенный обезьянами, внезапно и резко трансформировался в мир людей, изменяющих Землю совершенно непонятным до того способом.

Рекомендуемая литература

Вернор Виндж. Технологическая сингулярность // Компьютера, 2004.

Панов АД. Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии // Вселенная, пространство, время. – № 2, 2004.

Назаретян А.П. Цивилизационные кризисы в контексте Универсальной истории. – М., 2001.

Елиезер Юдковски. Вглядываясь в Сингулярность.

Глава 4

Искусственный интеллект, его риски и непредсказуемость

Вместо того чтобы сразу приступить к дискуссии, возможен ли искусственный интеллект, я хочу выдвинуть крайнюю точку зрения, состоящую в том, что в определенном смысле ИИ уже существует.

Дело в том, что никакого естественного человеческого интеллекта не существует. Человеческий интеллект слагается из языка, понятий и приемов мышления, которые были придуманы людьми. Точка. Мы живем уже внутри искусственного интеллекта. Навыки человеческого мышления непрерывно и ускоренно развивались от появления зачатков речи через возникновение абстрактных понятий, математики, научного метода, а затем различных приемов обработки информации. Развитие это вначале происходило бессознательно и стихийно, а затем все более целенаправленно. Как заметил в свое время Г.В.Ф. Гегель: «Людям трудно поверить, что разум действителен; но на самом деле ничто не действительно, кроме разума; он есть абсолютная мощь».

Важно также избежать дискуссий о том, чем именно является ИИ, может ли машина обладать сознанием и так далее.

С точки зрения предмета нашего исследования важно только то, как искусственный интеллект может привести к глобальной катастрофе. И с этой точки зрения для нас важна только его способность решать задачи в реальном мире.

Далее надо отметить, что человеческий интеллект является свойством общества, а не отдельного человека.

Свойством отдельного человека является универсальная способность обучаться и решать новые задачи в незнакомой обстановке. Именно это свойство является базовым для любых форм коллективного интеллекта. Исследователи ИИ мечтают смоделировать именно эту универсальную способность решать любые задачи. Но сама по себе она не есть настоящий интеллект – а только его зачаток.

Большинство людей за свою жизнь не открывают ничего принципиально нового для науки, а каждый отдельный ученый делает только небольшой шаг, опирающийся на достижения предшественников и служащий опорой для следующего шага. Поэтому мы должны говорить не о развитии естественного интеллекта и создании искусственного, а о едином процессе создания интеллекта.

Этот процесс начался еще задолго до человека. Сама эволюция форм живой материи на Земле представляет собой развитие все более совершенных (и сложных) форм жизни. Выигрыш в решении задачи выживания и приспособления составлял «интеллектуальную задачу» эволюции. Вначале эволюция решала свои задачи путем простого перебора возможных вариантов, а затем это перебор стал оптимизироваться. Появилось половое размножение, мозг. И хотя то, как именно эволюция оптимизировала сама себя, остается спорным вопросом, сам факт ее самооптимизации налицо – и проявляется он во все более быстром эволюционном развитии.

Отсюда можно заключить, что самоусиление является естественным свойством интеллекта, потому что всегда ведет к выигрышу в решении задач. При этом «интеллект эволюции» был свойством всей биосферы, то есть имел распределенный характер. И по своим результатам этот интеллект был сверхчеловеческим, поскольку те задачи, которые он смог решить, – скажем, создание человеческого организма – человек сам пока решить не может. И из эволюции живых организмов произошла эволюция человеческого мозга, а затем – различных способов мышления, которым этот мозг стал пользоваться. В результате способность человека решать задачи превзошла способность эволюции создавать новые организмы – по скорости решения задач, но не по качественности продуктов. Однако затем стали развиваться способы усиления интеллекта с помощью машин, то есть появились компьютеры как вычислители, Интернет как среда обмена информацией и идеями, венчурный капитализм как способ организации деятельности, ведущей к наиболее быстрому отбору наиболее эффективных решений. При этом роль интеллекта отдельного человека стала снижаться. Если бы некая идея не пришла в голову кому-то одному, она бы пришла другому через год.

В результате мы видим естественный процесс перехода основного носителя интеллекта от генетического кода к нейронному мозгу а от них – к человеческим организациям (науке) и к компьютерам. При этом эффективность интеллекта как способа решения задач с каждым таким переходом увеличивается в разы, более того, интеллект становится все более заточенным на самосовершенствование, поскольку теперь он обладает рефлексией и понимает, что лучше потратить часть времени на обучение, улучшение вычислительной базы, наем более производительных сотрудников или разработку новых алгоритмов, чем на решение задачи в лоб.

Срок решения технической задачи

Итак, нет ничего удивительного в том, что рано или поздно интеллект окажется полностью на компьютерной базе, и при этом он будет в значительной мере нацелен на самосовершенствование и будет превосходить современный человеческий интеллект в разы – это продолжение того же эволюционного процесса, который создал самого человека.