Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей

Никто не говорит об отсутствии врожденных знаний у людей, детей и животных. Более того, у большинства животных знания исключительно врожденные. Муравью не приходится долго учиться, он действует в соответствии с заложенной в него программой. Но чем выше существо в иерархии интеллекта, тем большую роль в его жизнедеятельности начинает играть обучение. Человека отличает именно соотношение врожденных и приобретенных навыков.

М. Ф.: Я бы хотел уточнить некоторые из этих концепций. В 1980-е гг., после периода забвения, снова появился интерес к нейронным сетям, но речи о множестве слоев и глубине еще не шло. Вы участвовали в развитии глубокого обучения. Не могли бы вы простыми словами объяснить, что это такое?

И. Б.: Глубокое обучение – это совокупность методов машинного обучения. Но если в случае классического машинного обучения компьютеры учатся по прецедентам, глубокое обучение больше напоминает процесс, происходящий в мозге человека.

Эти методы работы над ИИ появились как продолжение более раннего изучения нейронных сетей. Слово «глубокие» указывает на появление у сетей дополнительных уровней, со своими вариантами представления информации. Мы надеемся, что углубление сетей позволит машине представлять более абстрактные вещи.

М. Ф.: То есть под слоями вы подразумеваете уровни абстракции? И если в качестве примера взять изображение, то первым уровнем будут пикселы, затем контуры и т. д.?

И. Б.: Да, все правильно.

М. Ф.: Правда ли то, что компьютеры до сих пор не понимают, что такое объект?

И. Б.: До некоторой степени компьютер понимает. Скажем, кошка понимает, что такое дверь, но не так, как человек. Даже люди обладают разными уровнями понимания многих вещей, а наука призвана углубить это понимание. Люди интерпретируют образы в контексте трехмерного мира благодаря стереоскопическому зрению и опыту познания. Человек получает не визуальную, а физическую модель объекта. Компьютер интерпретирует изображения на примитивном уровне, но для множества приложений этого достаточно.

М. Ф.: Правда ли, что глубокое обучение стало возможным благодаря методу обратного распространения ошибки, основная идея которого состоит в том, что информацию об ошибке можно отправить от выходов сети к ее входам, корректируя каждый слой в зависимости от конечного результата?

И. Б.: Да, метод обратного распространения стал краеугольным камнем успехов глубокого обучения. Он позволяет присваивать данным коэффициенты доверия (credit assignment), то есть рассчитывать, как для корректного поведения всей сети должны измениться внутренние нейроны. В контексте нейронных сетей об этом методе заговорили в начале 1980-х гг., когда я только начинал работать самостоятельно. Одновременно с Яном Лекуном метод развивали Джеффри Хинтон и Дэвид Румельхарт (David Rumelhart). Идея не новая, но примерно до 2006 г. особых успехов в обучении глубоких сетей не наблюдалось. Сейчас мы имеем механизм внимания, память и способность не только классифицировать, но и генерировать изображения.

М. Ф.: Существуют ли аналоги обратного распространения в человеческом мозге?

И. Б.: Хороший вопрос. Дело в том, что нейронные сети не пытаются скопировать мозг, хотя и появились как попытка смоделировать некоторые происходящие в нем процессы. Мы полностью не понимаем, как работает мозг. Нейробиологи пока не соединили результаты своих наблюдений в общую картину. Возможно, наша работа сможет дать доступную для проверки гипотезу. Ведь метод обратного распространения до сих пор считался уделом компьютеров, но не человеческого мозга. Прекрасные результаты, которые он дает, заставляют подозревать, что, возможно, мозг умеет проделывать похожие штуки. Я участвую в исследованиях, которые могут дать ответ на этот вопрос.

М. Ф.: В период «зимы ИИ», когда общий интерес к нему угас, вы вместе с Джеффри Хинтоном и Яном Лекуном продолжали свои исследования. Как вам удалось добиться таких успехов, как сейчас?

И. Б.: К концу 1990-х гг. нейронные сети вышли из моды, и ими практически никто не занимался. Но моя интуиция говорила, что мы упускаем что-то важное. Ведь благодаря композиционной структуре они могли представить богатую информацию о данных, базируясь на множестве «строительных блоков» – нейронов и их слоев. Лично меня это привело к лингвистическим моделям, то есть к нейронным сетям, которые моделировали текст, используя векторные представления слов. Каждое слово в них связано с набором чисел, соответствующих различным атрибутам, которые изучаются машиной автономно. Тогда этот подход не получил широкого распространения, но в настоящее время эти идеи используются почти во всем, что связано с моделированием языка на основе данных.

Обучать глубокие сети мы не умели, но проблему решил Джеффри Хинтон своей работой по быстрым алгоритмам обучения ограниченной машины Больцмана (restricted Boltzmann machine, RBM). В моей лаборатории велась работа над связанными с ней автокодировщиками, которые дали начало таким моделям, как генеративно-состязательные сети (generative adversarial networks). Благодаря им появилась возможность обучения более глубоких сетей.

М. Ф.: А что такое автокодировщик?

И. Б.: Это специальная архитектура, состоящая из двух частей: кодировщика и декодера. То, что кодировщик сжал – декодер восстанавливал, причем так, чтобы выход был максимально близок к оригиналу. Автокодировщики превращали входную необработанную информацию в более абстрактное представление, в котором проще было выделить семантический аспект. Затем декодер восстанавливал по этой высокоуровневой абстракции исходные данные. Это были первые работы по глубокому обучению.

Через несколько лет мы обнаружили, что для обучения глубоких сетей достаточно изменения нелинейности. Вместе с одним из моих студентов, который работал с нейробиологами, мы решили попробовать блоки линейной ректификации (rectified linear unit, ReLU). Это пример копирования работы человеческого мозга.

М. Ф.: И к каким результатам это привело?

И. Б.: Раньше для активации нейронных сетей использовали сигмоиду, но оказалось, что с функцией ReLU гораздо проще обучать глубокие сети с большим количеством уровней. Переход случился примерно в 2010 г. Появилась огромная база данных ImageNet, предназначенная для отработки и тестирования методов распознавания объектов на изображениях и машинного зрения. Чтобы заставить людей поверить в методы глубокого обучения, нужно было показать хорошие результаты на примере этой базы. Это смогла сделать группа Джеффри Хинтона, которая использовала в качестве основы работы Яна Лекуна, посвященные сверточным сетям. В 2012 г. эти новые архитектуры позволили значительно улучшить существующие методы. За пару лет на эти сети переключились все, кто занимался компьютерным зрением.

М. Ф.: То есть именно в этот момент началось настоящее глубокое обучение?

И. Б.: Нет, совокупность факторов, ускоривших глубокое обучение, целиком сложилась только к 2014 г.

М. Ф.: То есть к моменту, когда этим занялись не только университеты, но и такие компании, как Google, Facebook и Baidu?

И. Б.: Именно так. Процесс ускорения начался чуть раньше, примерно в 2010 г., благодаря таким компаниям, как Google, IBM и Microsoft, которые работали над нейронными сетями для распознавания речи. Эти нейронные сети к 2012 г. Google начала использовать на смартфонах Android. Тот факт, что одну и ту же технологию глубокого обучения смогли применить как для компьютерного зрения, так и для распознавания речи, оказался по-настоящему революционным. Это привлекло внимание к сфере ИИ.

М. Ф.: Удивляет ли вас тот факт, что нейронные сети, с которыми вы много лет назад начали работать, стали центральным элементом проектов в таких крупных компаниях, как Google и Facebook?

И. Б.: Конечно, изначально этого никто не ожидал. В области глубокого обучения был сделан ряд важных, удивительных открытий. Я уже упоминал, что распознавание речи появилось в 2010 г., а о компьютерном зрении стали говорить в 2012 г. Пару лет спустя начался прорыв в сфере машинного перевода, который в 2016 г. привел к появлению сервиса Google Translate. В этом же году началось активное развитие программы AlphaGo. Всего этого мы не ожидали. Помню, как в 2014 г. я просматривал результаты генерации подписей к изображениям и поражался тому, что компьютер смог это сделать. Если бы годом раньше меня спросили, реально ли подобное, я бы ответил «нет».

М. Ф.: Это действительно нечто потрясающее. Конечно, осечки иногда происходят, но в большинстве случаев мы имеем поразительно точный результат.

И. Б.: Осечки неизбежны! Системы пока не обучены на достаточном количестве данных, кроме того, требуется изрядно продвинуться в фундаментальных исследованиях, чтобы они действительно научились распознавать объекты на изображениях и понимать язык. Пока до этого далеко, но ведь даже современного уровня производительности мы изначально не ожидали.

М. Ф.: А как вы пришли к исследованиям в области ИИ?

И. Б.: В юности я активно читал научную фантастику. Подозреваю, что это могло на меня повлиять. Именно оттуда я узнал об ИИ и трех законах робототехники Азимова, и у меня появилось желание изучать физику и математику. А чуть позже мы с братом заинтересовались компьютерами. На сэкономленные деньги мы приобрели компьютер Apple IIe, а затем Atari 800. Программного обеспечения тогда было мало, поэтому мы научились писать программы на языке BASIC.

Я так увлекся программированием, что занялся изучением вычислительной техники, а затем получил ученую степень в области computer science. В 1985 г., во время обучения в магистратуре, я начал читать статьи о первых нейронных сетях, в том числе работы Джеффри Хинтона. Это было любовью с первого взгляда. Я сразу понял, что хочу работать именно в этой сфере.

М. Ф.: Какой совет вы могли бы дать тем, что хочет заниматься глубоким обучением?

И. Б.: Прыгайте в воду и начинайте плавать. Сейчас информация любого уровня доступна в виде учебников, видео и библиотек с открытым исходным кодом. В сети можно бесплатно прочитать книгу «Глубокое обучение», соавтором которой я являюсь. В ней много информации для новичков. Студенты старших курсов зачастую тренируются, читая научные работы и пытаясь самостоятельно воспроизвести описанные там результаты, затем стараются попасть в лаборатории, проводящие исследования такого рода. Сейчас самое благоприятное время для карьеры в сфере ИИ.

М. Ф.: Из ключевых фигур в сфере глубокого обучения вы единственный, кто занимается только наукой. Большинство по совместительству сотрудничает с различными компаниями. Почему вы выбрали этот путь?

И. Б.: Я всегда высоко ценил научное сообщество, свободу работать на общее благо, делая вещи, которые, как я считаю, могут сильно повлиять на происходящее. Мне нравится работать со студентами, как психологически, так и с точки зрения продуктивности исследований. Уйти работать в индустрию – значит лишиться многого из этих вещей.

Кроме того, я хочу остаться в Монреале, а переход в индустрию означает переезд в Калифорнию или Нью-Йорк. Однажды я подумал, что можно попробовать создать новую Кремниевую долину для ИИ. В результате появился MILA, где проводятся фундаментальные исследования, задающие темп работы над ИИ во всем Монреале. Мы сотрудничаем с научно-исследовательским центром Vector Institute в Торонто и компанией Amii в Эдмонтоне в рамках канадской стратегии по продвижению ИИ в науке и экономике с пользой для социума.

М. Ф.: Раз уж вы упомянули об экономике, хотелось бы поговорить о рисках в этой сфере. Я много писал о том, что ИИ может привести к новой промышленной революции и потере множества рабочих мест. Как вы относитесь к этой гипотезе? Не преувеличена ли в данном случае угроза?

И. Б.: Нет, она не преувеличена. Непонятно только, когда это произойдет – в ближайшее десятилетие или намного позже. И даже если завтра мы полностью прекратим фундаментальные исследования в области ИИ, те результаты, которых мы уже достигли, позволят кому-то получить социальное и экономическое преимущество за счет простого создания новых товаров и услуг.

Уже собрано огромное количество данных, которые мы пока не используем. Например, в здравоохранении применяется лишь малая доля доступной информации. А ее становится все больше, потому что каждый день оцифровываются новые данные. Производители аппаратных средств совершенствуют процессоры для глубокого обучения, что без сомнения изменит наш мир.

Конечно, прогресс в этой сфере замедляют социальные факторы. Общество не может моментально измениться, даже если технология идет вперед семимильными шагами.

М. Ф.: Реально ли решить проблему безработицы введением безусловного базового дохода?

И. Б.: Я думаю, это может сработать, но сначала нужно избавиться от морального ограничения, согласно которому у неработающего человека дохода быть не должно. Мне такая точка зрения кажется ненормальной. Думаю, нужно ориентироваться на то, что лучше для экономики и для счастья людей. Имеет смысл провести эксперимент, чтобы попытаться найти ответ на эти вопросы.

А единого ответа не будет. Позаботиться о людях, которые в результате новой промышленной революции останутся не у дел, можно разными способами. Мой друг Ян Лекун сказал, что если бы в XIX в. можно было предвидеть последствия промышленной революции, возможно, люди смогли бы избежать множества страданий. Если бы еще тогда, а не в 1950-х мы создали систему социальной защиты, которая сейчас существует в большинстве западных стран, сотни миллионов людей жили бы намного лучше. А ведь для новой революции, скорее всего, потребуется гораздо меньше столетия, и потенциальные негативные последствия могут быть еще сильнее.

Мне кажется, думать об этом нужно уже сейчас. Искать варианты, позволяющие минимизировать нищету и оптимизировать глобальное благополучие. Думаю, выход есть, но мы вряд ли его найдем, если будем держаться за старые ошибки и религиозные убеждения.

М. Ф.: Если все произойдет скоро, это станет еще и политической проблемой.

И. Б.: Поэтому нужно быстро реагировать!

М. Ф.: Совершенно справедливо. А чем еще, кроме влияния на экономику, может грозить ИИ?

И. Б.: Лично я активно выступал против роботов-убийц.

М. Ф.: Я слышал, что вы подписали письмо корейскому университету, который, по слухам, собирался заниматься их разработкой.

И. Б.: Да, и это помогло. Корейский институт передовых технологий (KAIST) сообщил, что они не будут разрабатывать автономные военные системы.