Искусственный интеллект. С неба на землю

А почему такой ИИ должен быть привязан к центру, почему нельзя сделать его распределенным?

Во-первых, распределенные вычисления все равно теряют в производительности и эффективности. Это разнородные вычислительные мощности, которые также загружены другими задачами и процессами. Кроме того, распределенная сеть не может гарантировать работу вычислительных мощностей постоянно. Что-то включается, что-то отключается. Доступная мощность будет нестабильной.

Во-вторых, это уязвимость перед атаками на каналы связи и ту же распределенную инфраструктуру. Представьте, что вдруг 10% нейронов вашего мозга просто отключилась (блокировка каналов связи или просто отключились из-за атаки), а остальные работают вполсилы (помехи и т.д.). В итоге снова имеем риск сильного ИИ, который то забывает, кто он, где он, для чего, то просто долго думает.

А уж если все придет к тому, что сильному ИИ потребуется мобильное (передвижное) тело для взаимодействия с миром, то реализовать это будет еще сложнее. Ведь как все это обеспечивать энергией и охлаждать? Откуда брать мощности для обработки данных? Плюс еще нужно добавлять машинное зрение и распознавание образов, а также обработку других датчиков (температура, слух и т.д.). Это огромные вычислительные мощности и потребность в охлаждении и энергии.

То есть это будет ограниченный ИИ с постоянным подключением к основному центру по беспроводной связи. А это снова уязвимость. Современные каналы связи дают выше скорость, но это сказывается на снижении дальности действия и проникающей способности, уязвимости перед средствами радиоэлектронной борьбы. То есть мы получаем рост нагрузки на инфраструктуру связи и рост рисков.

Тут можно, конечно, возразить. Например, тем, что можно взять предобученную модель и сделать ее локальной. Примерно так же, как я предлагаю разворачивать локальные ИИ-модели с «дообучением» в предметную область. Да, в таком виде все это может работать на одном сервере. Но такой ИИ будет очень ограничен, он будет «тупить» в условиях неопределенности и ему все равно нужна будет энергия и подключение к сети передачи данных. То есть это история не про создание человекоподобных суперсуществ.

Все это приводит к вопросам об экономической целесообразности инвестиций в это направление. Тем более с учетом двух ключевых трендов в развитии генеративного ИИ (https://www.chelidze-d.com/post/dss-3):

– создание дешевых и простых локальных моделей для решения специализированных задач;

– создание ИИ-оркестраторов, которые будут декомпозировать запрос на несколько локальных задач и затем перераспределять это между разными локальными моделями.

Таким образом, слабые модели с узкой специализацией останутся более свободными и простыми для создания. При этом смогут решать наши задачи. И в итоге мы имеем более простое и дешевое решение рабочих задач, нежели создание сильного ИИ.

Конечно, мы выносим за скобки нейроморфные и квантовые системы, но мы эту тему рассмотрим чуть ниже. И, естественно, в моих отдельных цифрах и аргументах могут быть ошибки, но в целом я убежден, что сильный ИИ – не вопрос ближайшего будущего.

Если резюмировать, то у сильного ИИ есть несколько фундаментальных проблем.

– Экспоненциальный рост сложности разработки и противодействия деградации сложных моделей.

– Недостаток данных для обучения.

– Стоимость создания и эксплуатации.

– Привязанность к ЦОДам и требовательность к вычислительным ресурсам.

– Низкая эффективность текущих моделей по сравнению с человеческим мозгом.

Именно преодоление этих проблем определит дальнейший вектор развития всей технологии: либо все же сильный ИИ появится, либо мы уйдем в плоскость развития слабых ИИ и ИИ-оркестраторов, которые будут координировать работу десятков слабых моделей.

Но сейчас сильный ИИ никак не вяжется с ESG, экологией и коммерческим успехом. Его создание возможно только в рамках стратегических и национальных проектов, финансируемых государством. И вот один из интересных фактов в данном направлении: бывший глава Агентства национальной безопасности США (до 2023 года), генерал в отставке, Пол Накасоне в 2024 году вошел в совет директоров OpenAI. Официальная версия – для организации безопасности Chat GPT.

Также рекомендую прочитать документ под названием «Осведомленность о ситуации: Предстоящее десятилетие». Его автор – Леопольд Ашенбреннер, бывший сотрудник OpenAI из команды Superalignment. Документ доступен по QR-коду и гиперссылке.

SITUATIONAL AWARENESS (https://situational-awareness.ai/wp-content/uploads/2024/06/situationalawareness.pdf)

Также сокращенный разбор этого документа доступен по QR-коду и гиперссылке ниже.

Разбор документа про AGI от Леопольда Ашенбреннера, бывшего сотрудника OpenAI (https://habr.com/ru/companies/bothub/articles/819659/)

Если совсем упростить, то ключевые тезисы автора:

– К 2027 году сильный ИИ (AGI) станет реальностью.

Я с этим утверждением не согласен. Мои аргументы приведены выше, плюс некоторые тезисы ниже и описания рисков от авторов говорят о том же. Но опять же, что понимать под термином AGI? Свое определение я уже привел, но единого термина нет.

– AGI сейчас – ключевой геополитический ресурс. Забываем про ядерное оружие, это прошлое. Каждая страна будет стремиться получить AGI первой, как в своё время атомную бомбу.

Тезис спорный. Да, это отличный ресурс. Но как мне кажется, его значение переоценено, особенно с учетом сложности создания и обязательных будущих ошибок в его работе.

– Для создания AGI потребуется единый вычислительный кластер стоимостью в триллион долларов США. Такой уже строит Microsoft для OpenAI.

Помимо вычислительных мощностей нужны еще затраты на людей и решение фундаментальных проблем.

– Этот кластер будет потреблять больше электроэнергии, чем вся выработка США.

Этот тезис мы разобрали выше. Помимо триллиона долларов еще и инвестиции в электрогенерацию, а также появляются риски.

– Финансирование AGI пойдет от гигантов технологий – уже сегодня Nvidia, Microsoft, Amazon и Google выделяют по $100 миллиардов за квартал только на ИИ.

Считаю, что без государственного финансирования и, следовательно, вмешательства тут не обойтись.

– К 2030 году ежегодные инвестиции в ИИ достигнут $8 триллионов.

Отличное наблюдение. Теперь возникает вопрос, оправдано ли это экономически?

Несмотря на весь оптимизм Леопольда Ашенбреннера в области сроков создания AGI, он сам отмечает ряд ограничений:

– Недостаток вычислительных мощностей для проведения экспериментов.

– Фундаментальные ограничения, связанные с алгоритмическим прогрессом

– Идеи становятся всё сложнее, поэтому вероятно ИИ-исследователи (ИИ-агенты, которые будут проводить исследования за людей) лишь поддержат текущий темп прогресса, а не увеличат его в разы. Однако Ашенбреннер считает, что эти препятствия могут замедлить, но не остановить рост интеллекта ИИ систем.

Глава 3. А что может слабый ИИ и общие тренды

Слабый ИИ в прикладных задачах

Как вы уже, наверно, поняли, я – сторонник использования того, что есть. Возможно, это мой опыт антикризисного управления сказывается или просто ошибочное мнение. Но тем не менее, где можно применять текущий слабый ИИ на базе машинного обучения?

Наиболее релевантными направлениями для применения ИИ с машинным обучением можно обозначить:

– прогнозирование и подготовка рекомендаций для принятия решений;

– анализ сложных данных без чётких взаимосвязей, в том числе для прогнозирования и принятия решений;

– оптимизация процессов;

– распознавание образов, в том числе изображений и голосовых записей;

– автоматизация выполнения отдельных задач, в том числе через генерацию контента.

Направление, которое на пике популярности в 2023—2024 годах, – распознавание образов, в том числе изображений и голосовых записей, и генерация контента. Именно сюда идет основная масса разработчиков ИИ и именно таких сервисов больше всего.