Искусственный интеллект. С неба на землю
Теперь практический пример к вопросу поддержания и обслуживания из-за деградации. Тут также будет заметно влияние людей. Любой ИИ, особенно на раннем этапе, будет обучаться на основе обратной связи от людей (их удовлетворённость, начальные запросы и задачи). Например, тот же ChatGPT4 использует запросы пользователей для дообучения своей модели, чтобы давать более релевантные ответы и при этом снизить нагрузку на «мозг». И в конце 2023 года появились статьи, что ИИ-модель стала «более ленивой». Чат-бот либо отказывается отвечать на вопросы, либо прерывает разговор, либо отвечает просто выдержками из поисковиков и других сайтов. Причем к середине 2024 года это уже стало нормой, когда модель просто приводит выдержки из Википедии.
Одной из возможных причин этого является упрощение самих запросов от пользователей (они становятся всё более примитивными). Ведь LLM не придумывают ничего нового, эти модели пытаются понять, чего вы хотите от них услышать и подстраиваются под это (проще говоря, у них также формируются стереотипы). Они ищут максимальную эффективность связки трудозатраты-результат, «отключая» ненужные нейронные связи. Это называется максимизацией функции. Просто математика и статистика.
Причем такая проблема будет характерна не только для LLM.
В итоге, чтобы ИИ не стал деградировать, придется загружать его сложными исследованиями, при этом ограничивая его нагрузку примитивными задачами. А стоит его только выпустить в открытый мир, как соотношение задач будет в пользу простых и примитивных запросов пользователей или решения прикладных задач.
Вспомните себя. Действительно ли для выживания и размножения нужно развиваться? Или какое соотношение в вашей работе между интеллектуальными и рутинными задачами? А какого уровня математические задачи на этой работе вы решаете? Вам требуются интегралы и теория вероятности или же только математика до 9-го класса?
Второй фактор – количество данных и галлюцинации.
Да, мы можем увеличить текущие модели в ХХХХ раз. Но тому же прототипу ChatGPT5 уже в 2024 году не хватает данных для обучения. Ему отдали все, что есть. А сильному ИИ, который будет ориентироваться в неопределенности, на текущем уровне развития технологий просто не хватит данных. Необходимо собирать метаданные о поведении пользователей, думать, как обходить ограничения авторских прав и этические ограничения, собирать согласия пользователей.
Кроме того, на примере текущих LLM мы видим еще один тренд. Чем «всезнающее» модель, тем больше у нее неточностей, ошибок, абстракций и галлюцинаций. При этом, если взять базовую модель и дать ей в качестве знаний определенную предметную область, то качество ее ответов повышается: они предметнее, она меньше фантазирует (галлюцинирует) и меньше ошибается.
Третий фактор – уязвимость и затраты.
Как мы рассмотрели выше, нам потребуется создание дата-центра стоимостью в триллион долларов США. А его энергопотребление превысит всю текущую электрогенерацию США. А значит, потребуется и создание энергетической инфраструктуры с целым комплексом атомных электростанций. Да, ветряками и солнечными панелями эту задачу не решить.
Теперь добавим, что ИИ-модель будет привязана к своей «базе», и тогда одна удачная кибератака на энергетическую инфраструктуру обесточит весь «мозг».
А почему такой ИИ должен быть привязан к центру, почему нельзя сделать его распределенным?
Во-первых, распределенные вычисления все равно теряют в производительности и эффективности. Это разнородные вычислительные мощности, которые также загружены другими задачами и процессами. Кроме того, распределенная сеть не может гарантировать работу вычислительных мощностей постоянно. Что-то включается, что-то отключается. Доступная мощность будет нестабильной.
Во-вторых, это уязвимость перед атаками на каналы связи и ту же распределенную инфраструктуру. Представьте, что вдруг 10% нейронов вашего мозга просто отключилась (блокировка каналов связи или просто отключились из-за атаки), а остальные работают вполсилы (помехи и т.д.). В итоге снова имеем риск сильного ИИ, который то забывает, кто он, где он, для чего, то просто долго думает.
А уж если все придет к тому, что сильному ИИ потребуется мобильное (передвижное) тело для взаимодействия с миром, то реализовать это будет еще сложнее. Ведь как все это обеспечивать энергией и охлаждать? Откуда брать мощности для обработки данных? Плюс еще нужно добавлять машинное зрение и распознавание образов, а также обработку других датчиков (температура, слух и т.д.). Это огромные вычислительные мощности и потребность в охлаждении и энергии.
То есть это будет ограниченный ИИ с постоянным подключением к основному центру по беспроводной связи. А это снова уязвимость. Современные каналы связи дают выше скорость, но это сказывается на снижении дальности действия и проникающей способности, уязвимости перед средствами радиоэлектронной борьбы. То есть мы получаем рост нагрузки на инфраструктуру связи и рост рисков.
Тут можно, конечно, возразить. Например, тем, что можно взять предобученную модель и сделать ее локальной. Примерно так же, как я предлагаю разворачивать локальные ИИ-модели с «дообучением» в предметную область. Да, в таком виде все это может работать на одном сервере. Но такой ИИ будет очень ограничен, он будет «тупить» в условиях неопределенности и ему все равно нужна будет энергия и подключение к сети передачи данных. То есть это история не про создание человекоподобных суперсуществ.
Все это приводит к вопросам об экономической целесообразности инвестиций в это направление. Тем более с учетом двух ключевых трендов в развитии генеративного ИИ:
– создание дешевых и простых локальных моделей для решения специализированных задач;
– создание ИИ-оркестраторов, которые будут декомпозировать запрос на несколько локальных задач и затем перераспределять это между разными локальными моделями.
Таким образом, слабые модели с узкой специализацией останутся более свободными и простыми для создания. При этом смогут решать наши задачи. И в итоге мы имеем более простое и дешевое решение рабочих задач, нежели создание сильного ИИ.
Конечно, мы выносим за скобки нейроморфные и квантовые системы, но мы эту тему рассмотрим чуть ниже. И, естественно, в моих отдельных цифрах и аргументах могут быть ошибки, но в целом я убежден, что сильный ИИ – не вопрос ближайшего будущего.
Если резюмировать, то у сильного ИИ есть несколько фундаментальных проблем.
– Экспоненциальный рост сложности разработки и противодействия деградации сложных моделей.
– Недостаток данных для обучения.
– Стоимость создания и эксплуатации.
– Привязанность к ЦОДам и требовательность к вычислительным ресурсам.
– Низкая эффективность текущих моделей по сравнению с человеческим мозгом.
Именно преодоление этих проблем определит дальнейший вектор развития всей технологии: либо все же сильный ИИ появится, либо мы уйдем в плоскость развития слабых ИИ и ИИ-оркестраторов, которые будут координировать работу десятков слабых моделей.
Но сейчас сильный ИИ никак не вяжется с ESG, экологией и коммерческим успехом. Его создание возможно только в рамках стратегических и национальных проектов, финансируемых государством. И вот один из интересных фактов в данном направлении: бывший глава Агентства национальной безопасности США (до 2023 года), генерал в отставке, Пол Накасоне в 2024 году вошел в совет директоров OpenAI. Официальная версия – для организации безопасности Chat GPT.
Также рекомендую прочитать документ под названием «Осведомленность о ситуации: Предстоящее десятилетие». Его автор – Леопольд Ашенбреннер, бывший сотрудник OpenAI из команды Superalignment. Документ доступен по QR-коду и гиперссылке.
SITUATIONAL AWARENESS
Также сокращенный разбор этого документа доступен по QR-коду и гиперссылке ниже.
Разбор документа про AGI от Леопольда Ашенбреннера, бывшего сотрудника OpenAI
Если совсем упростить, то ключевые тезисы автора:
– К 2027 году сильный ИИ (AGI) станет реальностью.
Я с этим утверждением не согласен. Мои аргументы приведены выше, плюс некоторые тезисы ниже и описания рисков от авторов говорят о том же. Но опять же, что понимать под термином AGI? Свое определение я уже привел, но единого термина нет.
– AGI сейчас – ключевой геополитический ресурс. Забываем про ядерное оружие, это прошлое. Каждая страна будет стремиться получить AGI первой, как в своё время атомную бомбу.
Тезис спорный. Да, это отличный ресурс. Но как мне кажется, его значение переоценено, особенно с учетом сложности создания и обязательных будущих ошибок в его работе.
– Для создания AGI потребуется единый вычислительный кластер стоимостью в триллион долларов США. Такой уже строит Microsoft для OpenAI.
Помимо вычислительных мощностей нужны еще затраты на людей и решение фундаментальных проблем.
– Этот кластер будет потреблять больше электроэнергии, чем вся выработка США.
Этот тезис мы разобрали выше. Помимо триллиона долларов еще и инвестиции в электрогенерацию, а также появляются риски.
– Финансирование AGI пойдет от гигантов технологий – уже сегодня Nvidia, Microsoft, Amazon и Google выделяют по $100 миллиардов за квартал только на ИИ.
Считаю, что без государственного финансирования и, следовательно, вмешательства тут не обойтись.
– К 2030 году ежегодные инвестиции в ИИ достигнут $8 триллионов.
Отличное наблюдение. Теперь возникает вопрос, оправдано ли это экономически?
Несмотря на весь оптимизм Леопольда Ашенбреннера в области сроков создания AGI, он сам отмечает ряд ограничений:
– Недостаток вычислительных мощностей для проведения экспериментов.
– Фундаментальные ограничения, связанные с алгоритмическим прогрессом
– Идеи становятся всё сложнее, поэтому вероятно ИИ-исследователи (ИИ-агенты, которые будут проводить исследования за людей) лишь поддержат текущий темп прогресса, а не увеличат его в разы. Однако Ашенбреннер считает, что эти препятствия могут замедлить, но не остановить рост интеллекта ИИ систем.
Глава 3. А что может слабый ИИ и общие тренды
Слабый ИИ в прикладных задачах
Как вы уже, наверно, поняли, я – сторонник использования того, что есть. Возможно, это мой опыт антикризисного управления сказывается или просто ошибочное мнение. Но тем не менее, где можно применять текущий слабый ИИ на базе машинного обучения?
Наиболее релевантными направлениями для применения ИИ с машинным обучением можно обозначить:
– прогнозирование и подготовка рекомендаций для принятия решений;
– анализ сложных данных без чётких взаимосвязей, в том числе для прогнозирования и принятия решений;
– оптимизация процессов;
– распознавание образов, в том числе изображений и голосовых записей;
– автоматизация выполнения отдельных задач, в том числе через генерацию контента.
Направление, которое на пике популярности в 2023—2024 годах, – распознавание образов, в том числе изображений и голосовых записей, и генерация контента. Именно сюда идет основная масса разработчиков ИИ и именно таких сервисов больше всего.
При этом особое внимание заслуживает связка ИИ + IoT (Интернет вещей):
– ИИ получает чистые большие данные, в которых нет ошибок человеческого фактора для обучения и поиска взаимосвязей.
– Эффективность IoT повышается, так как становится возможным создание предиктивной (предсказательной) аналитики и раннего выявления отклонений.
Ключевые тренды
– Машинное обучение движется ко всё более низкому порогу вхождения.
Одна из задач, которую сейчас решают разработчики, – упрощение создания ИИ-моделей до уровня конструкторов сайтов, где для базового применения не нужны специальные знания и навыки. Создание нейросетей и дата-сайнс уже сейчас развиваются по модели «сервис как услуга», например, DSaaS – Data Science as a Service.
Знакомство с машинным обучением можно начинать с AUTO ML, его бесплатной версией, или DSaaS с проведением первичного аудита, консалтинга и разметкой данных. При этом даже разметку данных можно получить бесплатно. Всё это снижает порог вхождения.
– Создание нейросетей, которым нужно все меньше данных для обучения.
Несколько лет назад, чтобы подделать ваш голос, требовалось предоставить нейросети один-два часа записи вашей речи. Года два назад этот показатель снизился до нескольких минут. Ну, а в 2023 году компания Microsoft представила нейросеть, которой достаточно уже трех секунд для подделки.
Плюс появляются инструменты, с помощью которых можно менять голос даже в онлайн режиме.
– Создание систем поддержки и принятия решений, в том числе отраслевых.
Будут создаваться отраслевые нейросети, и всё активнее будет развиваться направление рекомендательных сетей, так называемые «цифровые советники» или решения класса «системы поддержки и принятия решений (DSS) для различных бизнес-задач».
Практический пример
Этот кейс мы рассмотрим еще не раз, так как это моя личная боль и тот продукт, над которым я работаю.
В проектном управлении существует проблема – 70% проектов либо проблемные, либо провальные.
– среднее превышение запланированных сроков наблюдается в 60% проектов, а среднее превышение на 80% от изначального срока;
– превышение бюджетов наблюдается в 57% проектов, а среднее превышение составляет 60% от изначального бюджета;
– недостижение критериев успешности – в 40% проектов.
При этом управление проектами уже занимает до 50% времени руководителей, а к 2030 году этот показатель достигнет 60%. Хотя еще в начале 20 века этот показатель был 5%. Мир становится все более изменчивым, и количество проектов растет. Даже продажи становятся все более «проектными», то есть комплексными и индивидуальными.
А к чему приводит такая статистика проектного управления?
– Репутационные потери.
– Штрафные санкции.
– Снижение маржинальности.
– Ограничение роста бизнеса.
При этом наиболее типовые и критичные ошибки:
– нечеткое формулирование целей, результатов и границ проекта;
– недостаточно проработанные стратегия и план реализации проекта;
– неадекватная организационная структура управления проектом;
– дисбаланс интересов участников проекта;
– неэффективные коммуникации внутри проекта и с внешними организациями.
Как решают эту задачу люди? Либо ничего не делают и страдают, либо идут учиться и используют трекеры задач.
При этом у обоих подходов есть свои плюсы и минусы. Например, классическое обучение дает возможность в ходе живого общения с учителем задавать вопросы и отрабатывать на практике различные ситуации. При этом оно дорого стоит и обычно не подразумевает дальнейшего сопровождения после окончания курса. Трекеры задач же, напротив, всегда под рукой, но при этом не адаптируются под конкретный проект и культуру компании, не способствуют выработке компетенций, а напротив, призваны для контроля работы.
В итоге, проанализировав свой опыт, я пришел к идее цифрового советника – искусственного интеллекта и предиктивных рекомендаций «что сделать, когда и как» за 10 минут для любого проекта и организации. Проектное управление становится доступным для любого руководителя условно за пару тысяч рублей в месяц.
В модель ИИ заложена методология управления проектами и наборы готовых рекомендаций. ИИ будет готовить наборы рекомендаций и постепенно самообучаться, находить все новые закономерности, а не привязываться к мнению создателя и того, кто будет обучать модель на первых этапах.
Глава 4. Генеративный ИИ
Что такое генеративный искусственный интеллект?
Ранее мы рассмотрели ключевые направления для применения ИИ:
– прогнозирование и принятие решений;
– анализ сложных данных без чётких взаимосвязей, в том числе для прогнозирования;
– оптимизация процессов;
– распознавание образов, в том числе изображений и голосовых записей;
– генерация контента.
Направления ИИ, которые сейчас на пике популярности, – распознавание образов (аудио, видео, числа) и на их основе генерация контента: аудио, текст, код, видео, изображения и так далее. В том числе к генеративному ИИ можно отнести и цифровых советников.
Проблемы генеративного ИИ
По состоянию на середину 2024 года направление генеративного ИИ нельзя назвать успешным. Так, например, в 2022 году компания OpenAI понесла убытки в размере $540 млн из-за разработки ChatGPT. А для дальнейшего развития и создания сильного ИИ потребуется еще около 100 млрд долларов. Такую сумму озвучил сам глава OpenAI. Такой же неблагоприятный прогноз на 2024 год дает и американская компания CCS Insight.
Для справки: операционные затраты Open AI составляют $700 000 в день на поддержание работоспособности чат-бота ChatGPT.
Общий тренд поддерживает и Алексей Водясов, технический директор компании SEQ: «ИИ не достигает тех маркетинговых результатов, о каких говорили ранее. Их использование ограничено моделью обучения, при этом затраты и объем данных для обучения растет. В целом же за хайпом и бумом неизбежно следует спад интереса. ИИ выйдет из фокуса всеобщего внимания так же быстро, как и вошёл, и это как раз нормальное течение процесса. Возможно, спад переживут не все, но ИИ – это действительно „игрушка для богатых“, и таковой на ближайшее время и останется». И мы согласны с Алексеем, после шумихи в начале 2023 года уже к осени наступило затишье.
Дополняет картину расследование Wall Street Journal, согласно которому, большинство ИТ-гигантов пока не научилось зарабатывать на возможностях генеративного ИИ. Microsoft, Google, Adobe и другие компании, которые вкладываются в искусственный интеллект, ищут способы заработать на своих продуктах. Несколько примеров:
– Google планирует повысить стоимость подписки на программное обеспечение с поддержкой ИИ;
– Adobe устанавливает ограничения на количество обращений к сервисам с ИИ в течение месяца;
– Microsoft хочет взимать с бизнес-клиентов дополнительные $30 в месяц за возможность создавать презентации силами нейросети.
Ну, и вишенка на торте – расчёты Дэвида Кана (David Cahn), аналитика Sequoia Capital, показывающая, что компаниям ИИ-индустрии придётся зарабатывать около $600 млрд в год, чтобы компенсировать расходы на свою ИИ-инфраструктуру, включая ЦОД. Единственный, кто сейчас хорошо зарабатывает на ИИ, – разработчик ускорителей Nvidia.
Подробно статью можно прочитать по QR-коду и гиперссылке ниже.
AI industry needs to earn $600 billion per year to pay for massive hardware spend – fears of an AI bubble intensify in wake of Sequoia report
Вычислительные мощности – одна из главных статей расходов при работе с ГИИ: чем больше запросов к серверам, тем больше счета за инфраструктуру и электроэнергию. В выигрыше только поставщики «железа» и электроэнергии. Так, Nvidia в августе 2023 года заработала около $5 млрд благодаря продажам своих ускорителей для ИИ A100 и H100 только китайскому ИТ-сектору.
На практике это можно увидеть на двух примерах.
Первый – Zoom пытается снизить затраты, используя более простой чат-бот, разработанный своими силами и требующий меньших вычислительных мощностей по сравнению с последней версией ChatGPT.
Второй – наиболее известные разработчики ИИ (Microsoft, Google, Apple, Mistral, Anthropic и Cohere) стали делать фокус на создании компактных ИИ-моделей, так как они дешевле и экономичнее.
Большие модели, например, GPT-4 от OpenAI, у которых более 1 трлн параметров и стоимость создания оценивается более 100 миллионов долларов, не имеют радикального преимущества перед более простыми решениями в прикладных задачах. Компактные модели обучаются на более узких наборах данных и могут стоить менее 10 миллионов долларов, при этом используя менее 10 миллиардов параметров, но решать целевые задачи.
Например, Microsoft представила семейство небольших моделей под названием Phi. По словам СЕО компании Сатьи Наделлы, решения модели в 100 раз меньше бесплатной версии ChatGPT, однако они справляются со многими задачами почти так же эффективно. Юсуф Мехди, коммерческий директор Microsoft, отметил, что компания быстро осознала, что эксплуатация крупных моделей ИИ обходится дороже, чем предполагалось изначально. Поэтому Microsoft начала искать более экономически целесообразные решения.
Также и Apple планирует использовать такие модели для запуска ИИ непосредственно на смартфонах, что должно повысить скорость работы и безопасность. При этом потребление ресурсов на смартфонах будет минимальным.
Сами эксперты считают, что для многих задач, например, обобщения документов или создания изображений, большие модели вообще могут оказаться избыточными. Илья Полосухин, один из авторов основополагающей статьи Google в 2017 году, касающейся искусственного интеллекта, образно сравнил использование больших моделей для простых задач с поездкой в магазин за продуктами на танке. «Для вычисления 2 +2 не должны требоваться квадриллионы операций», – подчеркнул он.
Но давайте разберем все по порядку, почему так сложилось и какие ограничения угрожают ИИ, а главное, что будет дальше? Закат генеративного ИИ с очередной ИИ-зимой или трансформация?
Ограничения ИИ, которые приводят к проблемам
Ранее я привел «базовые» проблемы ИИ. Теперь же давайте немного уйдем в специфику именно генеративного ИИ.
– Беспокойство компаний о своих данных
Любой бизнес стремится охранять свои корпоративные данные и любыми способами старается исключить их. Это приводит к двум проблемам.
Во-первых, компании запрещают использование онлайн-инструментов, которые располагаются за периметром защищенной сети, в то время как любой запрос к онлайн-боту – это обращение во внешний мир. Вопросов к тому, как хранятся, как защищены и как используются данные, много.
Во-вторых, это ограничивает развитие вообще любого ИИ. Все компании от поставщиков хотят ИТ-решений с ИИ-рекомендациями от обученных моделей, которые, например, предскажут поломку оборудования. Но своими данными делится не готовы. Получается замкнутый круг.
Однако тут надо сделать оговорку. Некоторые ребята уже научились размещать языковые модели уровня Chat GPT 3 – 3,5 внутри контура компаний. Но эти модели все равно надо обучать, это не готовые решения. И внутренние службы безопасности найдут риски и будут против.
– Сложность и дороговизна разработки и последующего содержания
Разработка любого «общего» генеративного ИИ – это огромные затраты – десятки миллионов долларов. Кроме того, вам нужно много данных, очень много данных. Нейросети пока обладают низким КПД. Там, где человеку достаточно 10 примеров, искусственной нейросети нужны тысячи, а то и сотни тысяч примеров. Хотя да, он может найти такие взаимосвязи, и обрабатывать такие массивы данных, которые человеку и не снились.
Но вернемся к теме. Именно из-за ограничения по данным тот же ChatGPT лучше «соображает», если с ним общаться на английском языке, а не на русском. Ведь англоязычный сегмент интернета гораздо больше, чем наш с вами.
Добавим к этому затраты на электроэнергию, инженеров, обслуживание, ремонт и модернизацию оборудования и получим те самые 700 000 $ в день только на содержание Chat GPT. Много ли компаний могут потратить такие суммы с неясными перспективами монетизации (но об этом ниже)?
Да, можно снизить затраты, если разработать модель, а затем убрать все лишнее, но тогда это будет очень узкоспециализированный ИИ.
Поэтому большинство решений на рынке по факту являются GPT-фантиками – надстройками к ChatGPT.
– Беспокойство общества и ограничения регуляторов
Общество крайне обеспокоено развитием ИИ-решений. Государственные органы во всем мире не понимают, чего ожидать от них, как они повлияют на экономику и общество, насколько масштабна технология по своему влиянию. При этом его важность отрицать нельзя. Генеративные ИИ в 2023 году наделали больше шуму, чем когда-либо. Они доказали, что могут создавать новый контент, который можно спутать с человеческими творениями: тексы, изображения, научные работы. И доходит до того, что ИИ способен за считанные секунды разработать концептуальный дизайн для микросхем и шагающих роботов.
