Вычислительная машина и мозг

Концепция Бэббиджа поистине удивительна, учитывая эпоху, в которой он жил и трудился. Однако к середине XX века его работа затерялась в тумане десятилетий. Именно фон Нейман сформулировал ключевые принципы компьютера, каким мы знаем его сегодня, а его машина была и остается основной моделью машинных вычислений.

Впрочем, мы не должны забывать, что элементы машины фон Неймана постоянно обмениваются данными; если бы не теоремы Шеннона и методы, которые он разработал для передачи и хранения цифровой информации, ее бы не существовало.

Это подводит нас к четвертой важной идее – поискам способов наделить компьютеры интеллектом и опровергнуть заключение Ады Байрон о неспособности машины мыслить творчески. Алан Тьюринг первым сформулировал такую цель в своей статье 1950 года «Вычислительные машины и разум», которая включает ныне знаменитый тест Тьюринга. Последний сводится к следующему вопросу: достиг ли искусственный интеллект уровня человеческого интеллекта? В настоящей книге, после обсуждения предлагаемой им архитектуры, фон Нейман рассматривает человеческий мозг. В конце концов, этот орган – наилучший пример интеллектуальной системы, которым располагает человечество. Если мы сможем изучить его методы, мы сможем использовать биологические парадигмы для создания более умных машин. Эта книга представляет собой самое первое серьезное исследование человеческого мозга с точки зрения математика и пионера информационной эры. До фон Неймана информатика и нейронаука были подобны двум островам без моста между ними.

По иронии судьбы, последней работой одного из самых блестящих математиков XX века и одного из пионеров компьютерной эры стало исследование человеческого интеллекта в рамках серии лекций для Йельского университета. К сожалению, из-за болезни фон Нейман так и не прочел эти лекции и даже не закончил рукопись. Тем не менее они остаются блестящим и пророческим предвестием самого, на мой взгляд, дерзкого и важного проекта человечества.

Фон Нейман начинает с описания сходств и различий между вычислительной машиной и человеческим мозгом. Учитывая, что писал он в 1955 и 1956 годах, рукопись удивительно точна, особенно в тех аспектах, которые предлагаются для сравнения. Фон Нейман отмечает, что выход нейронов носит цифровой характер: аксон либо порождает нервный импульс, либо нет. В то время это было далеко не очевидно: выходной сигнал вполне мог оказаться аналоговым. Так, дендриты, например, работают по аналоговому принципу. Фон Нейман описывает вычисления, которые производит нейрон, как взвешенную сумму входных сигналов с неким порогом. Данная модель работы нервной клетки легла в основу такого направления, как коннекционизм – построение искусственных систем (как с точки зрения технического, так и программного обеспечения) по принципу организации и функционирования живого нейрона. Первая такая коннекционистская система была создана в 1957 году Фрэнком Розенблаттом и представляла собой программное обеспечение для IBM-704 Авиационной лаборатории Корнелла.

Сегодня мы гораздо больше знаем о том, как именно нейроны сочетают входные сигналы, хотя основополагающая идея об аналоговом принципе работы дендритов сохраняется. С нашей стороны было бы неразумно ожидать, что фон Нейману, писавшему в 1957 году, будут известны точные механизмы обработки информации в нервной системе, однако ключевые моменты, на которых он строит свои выводы, остаются в силе.

На основании представления об универсальности вычислений фон Нейман приходит к заключению, что, несмотря на разницу в архитектуре и строительных блоках мозга и вычислительной машины, его машина тем не менее может имитировать работу мозга. Обратное, впрочем, неверно, поскольку мозг не является машиной фон Неймана и не имеет хранимой программы как таковой. Его алгоритм заложен в самой его структуре.

Фон Нейман справедливо утверждает, что нейроны способны выявлять закономерности во входных данных, которые, как мы теперь знаем, закодированы в соответствующих концентрациях нейротрансмиттеров. Во времена фон Неймана другие способы – создание и разрушение связей между нервными клетками – еще не были известны.

Фон Нейман отмечает, что скорость обработки информации нейроном чрезвычайно низкая, порядка 100 вычислений в секунду, однако мозг компенсирует это массовым параллелизмом. Все его 10

нейронов обрабатывают информацию одновременно (это число является достаточно точным; современные оценки колеблются между 10

и 10

). На самом деле правильнее говорить даже не об отдельных нервных клетках, а об их связях, количество которых в среднем составляет около 10

на 1 нейрон.

Описания механизмов функционирования нейронов, предложенные фон Нейманом, на удивление точны, учитывая «первобытное» состояние нейронауки в то время. Единственное, с чем я не могу согласиться, – это оценка емкости памяти мозга. Фон Нейман полагает, что мозг хранит поступающую в него информацию на протяжении всей жизни человека. Шестьдесят лет – это примерно 2 ? 10

секунд. Если допустить, что каждый нейрон из 10

принимает 14 единиц информации в секунду (на самом деле эта цифра в три раза меньше), то емкость памяти мозга будет составлять около 10

бит. Однако реальность такова, что мы помним лишь очень небольшую часть наших мыслей и опыта. Кроме того, эти воспоминания сохраняются не в виде конфигураций битов низшего уровня (такого, как видеоизображение), а скорее как последовательности более высокоуровневых шаблонов. Кора головного мозга представляет собой иерархию распознавателей шаблонов. Некоторые из них распознают определенные топологические формы, например перекладину в заглавной букве «А». На следующем уровне распознаются конкретные буквы, например буква «A». На еще более высоком уровне распознаются слова, например «арбуз». В другой части коры может происходить распознавание предметов (арбуз); в третьей части – услышанного слова («арбуз»). На гораздо более высоком концептуальном уровне распознаватель может заключить: «Это было забавно». Наши воспоминания о событиях и мыслях кодируются в рамках этих высокоуровневых распознаваний. Допустим, мы хотим вспомнить некий опыт. Происходящее в нашей голове не будет иметь ни малейшего сходства с воспроизведением видеосигналов. Скорее, мы вспоминаем последовательность высокоуровневых шаблонов. Фактически мы вынуждены заново, шаг за шагом, воссоздавать прошлый опыт, ибо наша память не сохраняет подробности в явной форме.

Вы можете с легкостью убедиться в этом сами. Например, попытайтесь припомнить свою последнюю прогулку. Что вы помните? Как выглядел пятый человек, которого вы встретили? Вы видели детскую коляску? А почтовый ящик? Что вы увидели, когда свернули за угол первого дома? Если вы проходили мимо нескольких магазинов, что было во второй витрине? Возможно, вам удастся восстановить ответы на эти вопросы, руководствуясь теми единичными подсказками, которые сохранила ваша память, однако большинство из нас не могут в подробностях вспомнить прошлые события. Машины, напротив, вспоминают легко. В этом и заключается одно из преимуществ искусственного интеллекта.

В настоящей книге очень мало сведений, которые в значительной степени расходятся с тем, что известно сейчас. На сегодняшний день мы не в состоянии дать исчерпывающе полное описание мозга, а потому не можем ждать этого и от работы 1956 года по обратной инженерии мозга. С учетом данной оговорки формулировки фон Неймана поразительно точны, а сведения, на которых он основывает свои умозаключения, до сих пор сохраняют актуальность. Описывая механизмы работы мозга, фон Нейман показывает, каким образом современный компьютер, несмотря на очевидные различия, может выполнять те же самые операции. Так, аналоговые механизмы мозга можно реализовать через цифровые механизмы, поскольку цифровые вычисления способны эмулировать аналоговые величины с любой желаемой степенью точности (а точность аналоговой информации в мозге довольно-таки низкая).

Массовый параллелизм мозга также поддается имитации, учитывая высокую скорость последовательных вычислений, на которую способны вычислительные машины (причем с момента написания книги эта скорость увеличилась в разы). Кроме того, мы можем добиться параллелизма посредством подключения сразу нескольких машин фон Неймана, работающих независимо друг от друга. Именно так устроены современные суперкомпьютеры.

Отметив, как быстро мы принимаем решения и как медленно обрабатывают информацию нейроны, фон Нейман приходит к выводу, что работа мозга не может быть построена на длинных последовательных алгоритмах. Когда бейсболист на третьей базе решает бросить мяч на первую, а не на вторую базу, он принимает данное решение за долю секунды. За это время каждый нейрон успевает пройти всего несколько циклов возбуждения (период, по окончании которого нейронные цепи могут воспринимать новые данные). Фон Нейман справедливо заключает, что своими потрясающими возможностями мозг обязан десяти миллиардам нейронов, способным обрабатывать информацию одновременно. Он абсолютно прав. Недавние достижения в области обратного проектирования зрительной коры подтверждают: чтобы обработать зрительные образы и на их основе вынести сложные суждения, человеку требуется всего три или четыре таких цикла возбуждения.

Мозгу присуща изрядная пластичность, что позволяет нам учиться. Но пластичность машины гораздо выше. Она способна полностью перестроить свои методы работы – для этого достаточно изменить одну или несколько программ. Таким образом, компьютер может эмулировать мозг, но не наоборот.

Когда фон Нейман сравнил производительность параллельной организации мозга с (немногими) вычислительными машинами своего времени, стало ясно, что в этом отношении мозг во много раз превосходит машины 1950-х годов. Лишь недавно появились первые суперкомпьютеры, быстродействие которых более или менее сопоставимо с некоторыми консервативными оценками скорости, необходимой для функциональной имитации работы человеческого мозга (около 10

операций в секунду). Полагаю, в начале 2020-х годов оборудование для такого уровня вычислений будет стоить 1000 долларов США. Хотя лекции написаны фон Нейманом на заре компьютерной эры, он не сомневался: рано или поздно мы создадим как техническое, так и программное обеспечение, которое позволит имитировать человеческий интеллект. Именно поэтому он и подготовил эту рукопись.

Фон Нейман в полной мере осознавал темпы прогресса и его значение для будущего человечества, что подводит нас к пятой ключевой идее информационной эры. Спустя год после смерти фон Неймана в 1957 году его коллега, математик Стэн Улам, напомнил нам следующие его слова: «Непрерывно ускоряющийся технический прогресс и перемены в образе жизни людей создают впечатление приближения к некой важной сингулярности в истории человечества, за которой все человеческие дела в том виде, в каком мы их знаем, не смогут продолжаться». Это первый известный случай употребления слова «сингулярность» в контексте человеческой истории.

    Рэй Курцвейл

Предисловие ко второму изданию

Эта тоненькая книжка на первый взгляд выглядит весьма невинно, но на самом деле она находится в самом центре громадного урагана – на небольшом островке ясности и спокойствия, вокруг которого бушуют вихри конкурирующих теорий и исследовательских программ. Она тем более примечательна, что была написана в 1956 году, в самом начале бурного развития компьютерных технологий, определившего вторую половину XX века. В своей последней серии лекций, опубликованных в данной книге, Джон фон Нейман пытался дать объективную оценку механизмам работы мозга, рассматриваемым, с одной стороны, сквозь призму современной теории машинных вычислений, а с другой – в свете компьютерных технологий и эмпирической нейронауки в том виде, в каком они существовали в тот период.

Можно было бы ожидать, что любая оценка, сделанная в то время, теперь должна безнадежно устареть. Однако в действительности все наоборот. Что касается чистой вычислительной теории (теории генерации элементов любой вычислимой функции), основы, заложенные Уильямом Черчем, Аланом Тьюрингом и, в известной степени, самим фон Нейманом, оказались не только в высшей степени прочными, но и весьма полезными в решении широкого круга проблем.

Что касается компьютерных технологий, то все современные машины, которые теперь стоят в каждом офисе и в каждом втором доме в Америке, построены на так называемой архитектуре фон Неймана. Все они – примеры функциональной организации, предложенной и исследованной фон Нейманом. В основе этой организации лежит последовательная «программа», которая хранится в модифицируемой «памяти» машины и определяет природу и порядок основных шагов, выполняемых «центральным процессором» в ходе вычислений. В настоящей работе фон Нейман предлагает краткое, но четкое обоснование такой организации, хотя он говорит о «коде», тогда как сейчас мы говорим о «программах»; он говорит о «полных кодах» и «сокращенных кодах», а мы – о «программах на машинном языке» и «языках программирования высокого уровня». Но изменились только слова и частота тактовых импульсов. Джон фон Нейман узнал бы свою архитектуру в любой машине, существующей сегодня, – от органайзеров Palm Pilot,[5 - Palm – семейство карманных компьютеров и коммуникаторов (смартфонов), работающих под управлением операционной системы Palm OS, а также webOS. Производились компанией Palm Computing (подразделение U. S. Robotics, затем 3Com и после этого – Palm, Inc.), а также другими фирмами. В 2010 году, после покупки Palm компанией Hewlett Packard, смартфоны выпускались уже под маркой этого производителя.] играющих в покер, до суперкомпьютеров, моделирующих процессы образования галактик.

Ситуация, сложившаяся вокруг эмпирической нейронауки, сложнее, но вместе с тем гораздо интереснее. Прежде всего необходимо сказать, что в некоторых нейронауках (нейроанатомии, нейрофизиологии, возрастной нейробиологии и когнитивной нейробиологии) достигнут значительный прогресс. И здесь кропотливые исследования длиной в полвека породили совершенно новую науку. Благодаря новейшим экспериментальным методам (таким, как электронная и конфокальная микроскопия, фиксация потенциала, электро- и магнитоэнцефалография, компьютерная томография, позитронно-эмиссионная томография и магнитно-резонансная томография) сегодня мы имеем гораздо лучшее представление о волокнистой микроструктуре мозга, электрохимическом поведении его микроскопических частей и общих механизмах его функционирования при различных видах познавательной деятельности. Несмотря на то что мозг по-прежнему хранит много тайн, он уже не является «черным ящиком», каковым представлялся когда-то.

Как ни странно, начиная с 1950-х годов и вплоть до настоящего времени эти две родственные науки, одна из которых посвящена изучению искусственных, а другая – естественных когнитивных процессов, развивались в отрыве друг от друга. Люди, получавшие ученые степени в области информатики, как правило, мало знали о биологическом мозге (а многие – вообще ничего). Поскольку подавляющее большинство исследований в области информатики были ориентированы на написание программ, разработку новых языков или усовершенствование микросхем, глубоких познаний в сфере эмпирических нейронаук не требовалось. Аналогичным образом специалисты по нейронаукам практически ничего не знали о теории машинных вычислений, теории автоматов, формальной логике, двоичной арифметике или электронике транзисторов. Бо?льшую часть своего рабочего времени эти ученые тратили на окрашивание образцов мозговой ткани для последующего микроскопического исследования или на вживление в мозг микроэлектродов для анализа электрического поведения нейронов во время выполнения различного рода познавательных задач. Если они и прибегали к помощи машин, то использовали их в качестве инструмента для упорядочивания результатов экспериментов – то есть так, как используют вольтметр, калькулятор или картотечный шкаф.

Хотя в каждой из этих наук еще предстоит открыть много нового, ни одна не внесла сколь-нибудь существенного вклада в изучение предмета другой. Несмотря на кажущееся совпадение – исследование когнитивных и вычислительных процессов, – они развивались параллельно; каждая добилась потрясающих успехов самостоятельно, без всякой помощи со стороны «сестры». Но почему?

Пожалуй, самый частый ответ, который можно услышать, заключается в том, что по своей физической организации и вычислительной стратегии биологический мозг очень отличается от архитектуры фон Неймана, используемой в стандартных вычислительных машинах. В течение почти пятидесяти лет две сестринские науки фактически занимались изучением принципиально разных предметов. А потому и неудивительно, что они развивались в значительной независимости друг от друга.

Вышеупомянутый ответ по-прежнему остается спорным и в дальнейшем вполне может оказаться ошибочным. Однако он лежит в основе текущих дискуссий о том, каким именно образом биологический мозг творит свои многочисленные познавательные чудеса и как лучше всего подходить к конструированию различных форм искусственного интеллекта. Должны ли мы проигнорировать очевидные ограничения биологических систем (ограничения, в основном касающиеся скорости и надежности) и сосредоточиться на ослепительном потенциале электронных систем – систем, которые даже с архитектурой фон Неймана могут выполнять или симулировать любые вычислительные операции? Или вместо этого лучше имитировать организацию, свойственную мозгу насекомых, рыб, птиц и млекопитающих? Если да, то что это за организация? Чем она отличается от того, что происходит в наших искусственных машинах?

На эти вопросы Джон фон Нейман предлагает прозорливый, аргументированный и явно нетрадиционный ответ. Первую половину своей книги он посвящает классическим концепциям (которые сам же и сформулировал), а обращаясь к мозгу, заключает, что «его функционирование является на первый взгляд цифровым». Этот вывод в свою очередь представляет собой на первый взгляд прокрустово ложе – и фон Нейман признает сей факт немедленно.

Первая проблема, которую он отмечает, состоит в том, что характер связей между нейронами отличается от привычной конфигурации «две линии внутрь, одна наружу», присущей как классическим вентилям И, так и вентилям ИЛИ. Хотя каждая клетка, как правило, имеет только один выходной аксон, как того требует классическая схема, она получает более ста (точнее, более нескольких тысяч) входных сигналов от множества других нейронов. Несмотря на то что данный факт не является решающим – существуют, например, системы многозначной логики, – он заставляет задуматься.

Интрига закручивается, когда фон Нейман проводит поэтапное сравнение фундаментальных размеров «основных активных органов» мозга (предположительно нейронов) и «основных активных органов» вычислительной машины (различных логических вентилей). В пространственном отношении, утверждает он, нейроны имеют преимущество, так как в 10

раз меньше своих электронных аналогов. (Оценка в то время была совершенно точной, однако с появлением такой технологии изготовления микросхем, как фотолитография, это преимущество исчезло – по крайней мере в случаях, когда речь идет о двумерных слоях.)

С другой стороны, у нервных клеток есть один существенный недостаток – скорость выполнения операций. Нейроны, пишет фон Нейман, в 10

раз медленнее электронных трубок или транзисторов, т. е. для совершения основной логической операции им требуется в сто тысяч раз больше времени. И здесь фон Нейман пугающе точен. Более того, он переоценивает возможности нейрона. Если предположить, что «тактовая частота» у нейрона не превышает 10

Гц, и сравнить его с обычной настольной машиной последнего поколения с тактовой частотой 1000 МГц (т. е. 10

основных операций в секунду), получаем, что разница в быстродействии составляет не 10

, а 10

раз. Вывод неизбежен. Если мозг – это цифровая вычислительная машина с архитектурой фон Неймана, то он – настоящая черепаха по сравнению с современными компьютерами.

Кроме того, точность, с которой биологический мозг может представлять любую переменную, также на много порядков ниже точности, доступной цифровой машине. Вычислительные машины, отмечает фон Нейман, легко манипулируют восемью, десятью или двенадцатью десятичными знаками, в то время как точность представления числа в нервной клетке – т. е. частота импульсов, которые она отправляет вниз по аксону, – ограничена двумя десятичными знаками (а именно, плюс или минус 1 процент от максимальной частоты около 100 Гц). Это настораживает, поскольку в ходе любых вычислений, включающих большое количество шагов, маленькие ошибки на ранних этапах накапливаются и превращаются в большие ошибки на завершающих этапах. Хуже того, добавляет фон Нейман, во многих типах вычислений даже незначительные ошибки на ранних этапах экспоненциально усиливаются на последующих этапах, что неизбежно ведет к высшей степени неточным конечным результатам. Таким образом, если мозг – цифровая вычислительная машина, представляющая любое число с точностью до двух десятичных знаков, то он – вычислительный болван.

В совокупности два этих важных ограничения – скорость и точность – приводят фон Неймана к выводу: каким бы методом ни пользовался мозг, он должен включать минимальную «логическую глубину». Иными словами, что бы мозг ни делал, он не может выполнять тысячи последовательно организованных вычислений, как это делает высокочастотный центральный процессор цифровой машины. Учитывая низкую скорость, с которой работают нейроны, у мозга просто нет времени на то, чтобы выполнить любые вычисления, кроме самых простых. Впрочем, даже будь у него достаточно времени, в силу низкой точности представления переменных результаты таких вычислений все равно бы никуда не годились.