Предел Шенберга

Мы инстинктивно оборачиваемся назад, на тысячелетия строительств и разрушений, лежащих у нас за спиной как благословение дьявола, и похожих одно на другое, как эпос микроорганизмов, – и видим в тех тысячелетиях то же самое. Мы строим руины того, что воспринималось нами как будущее, но так и не сумели ответить на вопрос: почему у нас получается совсем не то?

Удрученные зрелищем, мы с надеждой в сердце бросаемся к тем немногим из избранных, которых принято называть умами цивилизации, менторами и учеными, казалось бы, уже в силу самого рода деятельности призванными задавать себе всё тот же вопрос куда катится этот мир. И что мы видим? Совершенно ту же картину. Все они вместе и каждый в отдельности с головой погружены в свои темы, которые, ясно, за них никто делать не будет.

Уверен, кто-то уже успел уловить, куда я клоню. Механическая последовательность действий элементов в информационной среде, которая, как мы предположили, не находится под их контролем.

Кто-то однажды определил Дьявола как большие неприятности, которые слишком много знают: для простых обобщений он слишком далеко видит. Спрашивается, чем это отличается от определения просто умного человека. И тогда другой вопрос, так ли уж действительно и определенно, что два разумных человека всегда сумеют договориться?

Но давайте попытаемся дать определение того, как бы выглядел наш с вами Дьявол в обстановке, близкой нам – в условиях современного окружения.

Во всех известных культурах так или иначе можно найти понятие человека, обладающего ограниченным набором качеств, другим недоступных. Называли этих людей по-разному, но редко – хорошим словом. Смысл сводился к одному. Если попытаться дать совсем сжатое определение гения, мудреца, воплощения истины, но-ками и как бы там его еще ни пробовали назвать, то во всех случаях обнаруживаются два качества: он другой; он видит то, чего не видят другие.

Иначе говоря, этот чрезвычайно редкий тип носителей разума определяют те же самые качества, что и клинического шизопараноика. Спрашивается, в чем отличие.

Так вот, я бы сказал, что никакого. По крайней мере, при такой постановке и под таким углом зрения.

Видимо, отличие можно найти в том, что то, что видят они оба, и чего не видят все другие, в принципе способно по-разному влиять на будущее – по крайней мере, в том виде, в каком его у нас принято понимать. Предполагается, что гений своей особенной проницательностью способен открыть в сумерках будущего преимущества, равно как и отсутствие оных, для многих; видения же шизопараноика существуют только для него одного. Вот и весь конкордат отличий.

Но вот в чем сложность. При ряде определенных условий наш шизопараноик тоже способен создать целую массу проблем, и тоже для многих. Вопрос лишь в том уровне механизмов власти, которые ему доступны.

Разумеется, не из чего не следует, что гений непременно должен быть образцом добродетели, приятный лицом и покоряющий манерами. Больше того, он именно в силу своей способности быть на шаг впереди очень просто может доставить массу беспокойства не только своему окружению, раздражающему своей законченной бестолковостью, но и гораздо большему числу людей, которые вообще о нем никогда не слышали. Говоря проще, он легко создаст проблемы этим многим, и разглядеть те проблемы может оказаться задачей весьма, весьма не простой. Наибольшее количество оборудования способен вывести из строя наиболее компетентный состав сотрудников.

Все это хорошо, но вот вопрос: что, если наш гипотетический шизопараноик, который, как мы выше вынуждены были согласиться, сам тоже своей непредсказуемостью способный запросто поставить окружение в затруднительное положение, однажды в силу своей клинической неординарности поселит в свой мир всех остальных? Для него не существует понятия времени – в том смысле, каким его видят остальные, и поэтому понятие пространства не содержит для него значения, соотносимого с нашим.

И он тем опаснее, чем он разумнее.

Зачем я все это рассказываю. Я просто не знаю, как осторожно подобраться к сути, так чтобы никого не перепугать раньше времени. Здесь я попытаюсь доказать, что такое явление, как гений, но-ками – словом, то самое пресловутое «воплощение истины», к которому как бы всеми лучшими устремлениями тянулся старый добрый вид Homosapienssapiens «дважды разумный», по определению всегда подлежал умерщвлению.

Это механизм защиты посредственности.

Принято считать, что существует две возможности сосуществования в стае, стаде, социуме: социальная интеграция либо остракизм. Социальная интеграция как эволюционное приобретение предполагает выполнение требований, установленных Большинством и, как следствие, того, что ими сочтено «хорошим»: моральными принципами. Вы подчиняетесь пожеланиям Большинства – и вам оно разрешает жить. Всё просто. Взамен особи получают увеличение шансов на выживание и передачу генов дальше – тоже, в эволюционном смысле.

Вторая из возможностей, остракизм, понятно, резко снижает вероятность такой особи выжить. Это особенно не просто сделать, принимая во внимание, что обычным порывом того самого Большинства в конце концов становится критерий «все, кто не с нами, тот против нас». Против «нас» идти бывает как минимум проблематично, что тоже понятно. Таким образом, возникает вполне конкретный селективный отбор: наибольший шанс на выживание получают те особи, кто максимально приближен своими достоинствами к некоему усредненному показателю. Показатель этот называют по-разному – «посредственность», «серость», «дебил» – но смысл тот же:

в соответствии с законом естественного отбора, выживает крепкая числом средняя серая масса. Всё остальное уходит. Уходит, понятно, не в отпуск, не на повышение, а, так сказать, «насовсем».

Что происходит с особями, по ряду причин не отвечающими кодексу Большинства, очевидно. Они определяются изгоями, со всем рядом прилагающихся последствий. Разумеется, общественный кодекс бывает разный, и, скажем, кодекс, определяемый чернью (в терминологии Античных эпох), или, беря более частный случай, некой уголовной группой, носителю разума с иными установками следовать было бы сложно. Вопрос в том, что это никого не интересует. А зря.

Никто не задавал вопрос, что, если однажды такое «отклонение от нормы» начнет брать на себя ту же задачу и примется выживать – и тоже в эволюционном смысле.

Но вот какое дело. Гений, «воплощение истины», этот наш квинтэссенция всех эволюционных усилий разума, просто обязан быть маргиналом – он должен быть им по самому своему определению. Попросту говоря, он не предназначен для выживания. Он может гвоздем прибить свои главные тезисы, остракизм и изоляция, к воротам в ад, который Большинством назван теплым хлевом, он может этого не делать, но сути это не меняет.

Словом, гений – это некая вероятностная величина некой гипотетически неопределенной занозы в заднице. Он ничего еще не сделал, а у нас уже от него проблемы.

И тем не менее решать нам что-то нужно. Что-то на уровне простых сугубо доступных нам понятий.

Но я бы определил явление – или, много точнее, состояние – гения как пограничную зону между сумасшествием и обыденностью. Потребители ЛСД, в этом месте встрепенувшиеся и начавшие радостно потирать руки, могут сесть, где сидели. Вашего восприятия времени вряд ли даже хватит на то, чтобы дочитать эпизод до конца и попытаться вспомнить начало.

Как печально сказал один миллиардер, мудрость, которую он почерпнул из игры в гольф, состоит в том, что всегда есть определенный потолок для вещей стать лучше, но нет дна, чтобы они стали хуже. Так насколько все плохо?

Человек неизменно исходит из того, что его интеллекта достаточно, чтобы понять Вселенную. Как бы то ни было, мудрость – это способность видеть суть и отсекать лишнее. Сегодня я хочу попробовать себя в роли гения – ну и немножко шизопараноика. «Аллаху акбар», – как сказала одна бабушка стоя на самом краю мостика, зажимая нос двумя пальцами и переходя непосредственно к водным процедурам.

____________________

Конференция по проблеме когнитивных систем: о бубликах, искусственных неприятностях и неизбежном конце света

Из книги Эльмо Броди «Homo sapiens, Технология и Дьявол: столкновение или объединение? Размышления об удачном ужине»

…Эпоха антропоцена, геологического периода, когда человек коснулся практически всего и засунул нос практически всюду, куда засунуть было можно, то ли готова закончиться, то ли образумиться и дать всходы – взрастить некие зеленые никогда прежде не виданные ростки. Понятно желание попытаться заглянуть еще дальше и нарисовать себе, что за тем, что идет дальше.

Давайте попробуем ответить вот на какой вопрос. Мы создаем дракончиков, дракончики мило щиплют друг дружку, машут крылышками, смешно кашляют дымом, и все радостно хлопают в ладоши. Потом дракончики вырастают в драконов – с крыльями, с огнем и полным отсутствием предписанного им желания видеть в человеке у своих ног своего господина.

Вопрос: что с ними делать?

«…проблема в том, что до тех пор, пока AI не доступен свод наших ценностей, он не способен сделать для нас что-либо полезное. Спрашивается, каким образом он может об этих ценностях узнать? Глядя на то, что делаем мы. Потому что все, что мы делаем, всегда предполагает наши ценности. Конечно, иногда нами совершаются плохие вещи, это так. Но плохие люди, как правило, наказываются. Таким образом, AI может видеть, кто наказуем и кто поощряем, кто получает медаль и кто – срок заключения. И в доступе есть исполинская история человеческих действий. Каждая книга, каждая статья, это хроника того, что сделано человеком. Другими словами, масса информации для AI о том, на чем учиться…»

Да, и для искусственного интеллекта – неисчерпаемый источник определить стратегию, как избежать наказаний. Я бы от себя добавил, что чем больше они говорят, тем меньше это предназначено для ушей ИИ. Последняя Конференция по проблеме искусственного разума – это одно сплошное разочарование.

…Удивительно, как трудность, грозящую перерасти в катастрофу и которая прямо лежала на поверхности, почти никто не видел. Главная проблема человека – это его оптимизм. Он не знает, где нужно остановиться. Казалось бы, жадно кидаясь в игры с экспериментами по созданию искусственного разума, уже в силу определения задачи можно было предсказать, что алгоритм любой заданной логически связанной последовательности событий тот должен видеть так же естественно и легко, как большинство людей лес – за кучей деревьев. В том числе – алгоритм поведения человеческой особи. Так же, как и человеческой популяции и ее эволюции. Даже посредственный политик, встрепенувшись, моментально чувствует, где кусать этот бублик.

То есть, объявись вот этот пресловутый Разум из какого-то постороннего философского мусора, он уже в силу определения должен подчиняться тем же законам, что и абсолютно чуждая ему биология, и главный из них – это выживание. А, как нам всем слишком хорошо известно из эволюции разума собственного вида, как только становится ясно, что сделать это обычными средствами получается не очень, он сразу принимается выживать любыми средствами. Как будет выживать искусственный разум, не знает никто. И это может быть проблемой.

Другими словами, любой удачный случай искусственного разума при малейшей угрозе своему существованию, имея на руках даже лишь тот самый один алгоритм поведенческих реакций человека, воспроизведет его так же легко, как и увидит торчащий в конце его логики результат. То есть его манипуляцию сознанием человек не увидим попросту по причине тех самых ограничений, которых у ИИ нет. Очень скоро мы все можем плясать под его свистульку, которую будет слышать он один. Никаких титановых супостатов, никаких костей, никаких металлических взглядов, безжалостных оскалов, пуляющих лазером шмайссеров под мышками, беспилотных ядерных вертолетов и остального кино – все предельно цивилизованно. Прагматично. И вот хороший вопрос, из чего опять следует, что эта еще одна гаммельнская свистулька технологии поведет всех нас гуськом непременно к светлому, мягкому, комфортному и гостеприимному «для сожительства всех видов разума» будущему, а не в ближайшее озеро, из которого не должен будет выбраться никто?

Можно продолжить спекулировать в том же русле дальше. Еще он мог бы неслышно свистеть из, так сказать, любопытства: посмотреть, «что будет». Мне этот вариант особенно импонирует, потому что тогда это бы говорило, что остановится он не скоро. И то, что впоследствии останется от человека как вида, может так же мало напоминать его исходный вариант, как трактор – искусственный разум. Вообще, вариант создания из человеческого фактора трактора выглядит наиболее вероятным, поскольку сам человек долго и продуктивно работал как раз в этом направлении, и весьма не без успеха.

По сути, любой режим всегда трудился над одной и той же проблемой: как надо правильно думать. Разумеется, имелась в виду подконтрольная популяция, предполагалось, сам режим таким высшим знанием уже наделен и в силу данного обстоятельства обременен миссией имплантирования оного знания в остальное поголовье, которому еще лишь предстояло увидеть свет и вместе с ним смысл жизни. Как и можно было предположить, главный принцип, на который опиралось такое высшее знание режима, был: «Думать Правильно нужно с выгодой для него». И каждый из них, в меру своих возможностей и отпущенного времени, напряженно работал над одним и тем же вопросом, не жалея аргументов, колючей проволоки и гор трупов. Но даже сваливая их бульдозерами в «братские захоронения», никто из них не сомневался, что ответ может быть только один. А когда обнаруживалось, что все несколько сложнее и ответов на деле может быть больше, гораздо больше, они работали над другим: сделать так, чтобы ответ был только один. Мечта любого режима, на которую тот не жалел подручных ресурсов, всегда имела известный конец. Впрочем, это их останавливало мало. Они как москиты: чужой опыт их ничему не учит.

Теперь представьте, что за разрешение того же самого вопроса взялся Искусственный Разум. И не только взялся, но и все уже для себя решил. И решил уже давно.

И ответ у него для вас действительно будет только один.

Я даже скажу, на какие два фундаментальных фактора он будет при этом опираться.

Принцип собственного выживания.

«Думать Правильно» остальным предстоит с выгодой для него.

Давайте возьмем для себя научную фантастику – глядя на взрослых дядей с конференции о когнитивных системах, мы сейчас можем себе это позволить. Когда технологической цивилизации что-то без конца шепотом подсказывает, что технологии должно быть еще больше и что впереди нет светлого будущего иного, кроме как в технологии, – здесь самое время кому-то просто из упрямства упереться, оглянуться и спросить: какого черта вообще происходит?

Если больше некому, могу попробовать я.

Как хорошо известно, Человеку не нужны глупые машины – они бесполезны, и поэтому он напряженно трудится над тем, как сделать их умнее. На порядок, на два порядка. Настолько, насколько такое только возможно. И лишь совсем немногие задались, по сути, фундаментальным в истории технологии вопросом: а в самом ли деле действительно умная машина окажется приобретением действительно хорошим? Еще на исходе было ясно, что в конце концов все упрется в создание чего-то, что окажется умнее всех. И, как можно предположить, хитрее всех. И это уже тема для реальности с необратимыми последствиями.

На той же конференции с высокого подиума авторитетно делались попытки облегчить себе жизнь путем простого проведения аналогий, наиболее понятных и близких бабушкам. Но мы это тоже проходили. Давайте взглянем, (обнадеживающе говорили они), на проблему Искусственного Интеллекта под тем же углом, под которым принято глядеть на проблему ядерной энергии: ее как бы предположительно много – ее столько, что все ломают голову над тем, как ее хранить.

У машины нет необходимости защищать себя – здесь сомнений как бы ни у кого нет. И стоит только скользнуть разговору о предмете, как у всех естественным образом светлеют лица и всем как бы все понятно: чтобы машина взялась себя защищать, нужен определенный набор программ. И это прекрасно. Дальше определенности меньше. Необходимость самозащиты как бы автоматически появляется с появлением разума. Потом разговор естественно заходит о разуме как наиболее оптимальном инструменте выживания, и выясняется, что чтобы себя защищать, ему тоже необходим набор соответствующих программ. Спрашивается, в чем разнится. Тут еще кто-то наиболее щепетильный поднимается и задает вопрос, дайте мне полное и законченное определение – хочу знать, в чем отличие одного и другого, машины от разума. И когда сделать это с ходу ни у кого не получается, возникает вопрос о правомерности претензий всех нас на разумность как какое-то исключительное свойство и состояние материи. Быть «дважды разумным». Словом, поводы для разочарований были.

Кто-то как-то дал однажды определение жизни как, цитирую, «машин, приводимых в действие программой ДНК»: и данное положение касается любой формы жизни на этой планете. Помню, мне поначалу чисто по-человечески стало не по себе. Но давайте не будем целяться к словам.