Стоимость базовых вычислений нейросетей снизилась в сотни раз, однако корпоративные расходы на ИИ утроились. Разбираем причины этого парадокса и скрытые издержки автономных систем.
4 мин
В индустрии искусственного интеллекта наблюдается интересный экономический парадокс. С одной стороны, стоимость базовых вычислений стремительно падает. По данным Стэнфордского университета, стоимость логического вывода (inference) для моделей уровня GPT-3.5 снизилась с 20 до 0,07 доллара за миллион токенов. С другой стороны, корпоративные расходы на большие языковые модели (LLM) за тот же период утроились. Согласно исследованиям McKinsey, 93% компаний превышают заложенные бюджеты на ИИ. Главная причина этого разрыва кроется в переходе от простых чат-ботов к автономным агентам.
Ранние этапы внедрения генеративного ИИ сводились к формату «вопрос-ответ». Пользователь отправлял запрос, модель генерировала текст. В такой парадигме затраты были предсказуемыми и линейными.
Сегодня бизнес переходит к использованию ИИ-агентов — систем, способных самостоятельно планировать действия, использовать внешние инструменты и выполнять многоэтапные задачи. Как отмечает генеральный директор Pay-i Дэвид Теппер: «Токены — это не ценность, токены — это просто счет для оплаты». Фокус внимания руководителей должен сместиться с попыток сэкономить на стоимости одного токена на оценку реальной ценности, которую приносит автономная система, с учетом всех ее скрытых издержек.
This image is a stylized, AI-generated illustration representing technological concepts like artificial intelligence, data processing, or quantum computing. It depicts a central microprocessor or chip with bright blue light emitting upwards, symbolizing high-speed data transmission or intense computational power.
Аналитики McKinsey выделяют несколько ключевых факторов, которые формируют новую «экономику агентов» и нивелируют падение цен на токены:
Во-первых, это управление контекстом. LLM по своей природе не имеют долгосрочной памяти (stateless). Чтобы агент мог выполнять длинную задачу, ему приходится раз за разом отправлять всю историю предыдущих действий. В результате агентские задачи могут потреблять в 1000 раз больше токенов, чем простое написание кода или обычный диалог. Контекст становится операционным активом, а плохое управление им превращает каждый шаг алгоритма в экспоненциально растущие расходы.
Во-вторых, затраты на доработку. В автономных процессах самая дорогая часть — это не генерация первого ответа, а последующая проверка, исправление ошибок и верификация. Около 60% стоимости работы агента связано именно с процессом улучшения результата.
В-третьих, вариативность автономности. ИИ-агенты могут выбирать разные пути для решения одной и той же задачи, использовать разные инструменты или совершать ошибки, требующие повторных попыток. В программировании затраты на выполнение идентичной задачи агентом могут различаться в 30 раз. Стоимость перестает быть фиксированной величиной и превращается в вероятностное распределение.
A moat of protective data runs diagonally across the digital surface.
Опыт интеграции ИИ в масштабах крупных корпораций показывает, что потребление ресурсов подчиняется степенному закону. Обычно около 10% самых активных пользователей генерируют до 65% всех затрат на токены. Это означает, что традиционные методы лицензирования (оплата за рабочее место) уступают место моделям с оплатой за фактическое потребление.
Чтобы контролировать расходы, компаниям необходимо внедрять интеллектуальную маршрутизацию запросов (model routing). Пользователи склонны всегда выбирать самую мощную и дорогую модель, даже если задача тривиальна. Использование передовых моделей для создания первоначальной гипотезы с последующей передачей рутинной работы более дешевым и быстрым нейросетям позволяет существенно оптимизировать бюджет.
Кроме того, растут сопутствующие расходы за пределами самих языковых моделей. Шлюзы безопасности, платформы оркестрации и системы мониторинга также начинают тарифицировать свои услуги на основе объема обрабатываемых токенов.
Ожидается, что в ближайшие несколько лет расходы на искусственный интеллект достигнут 25% от общих ИТ-бюджетов корпораций. Управление этими затратами потребует новых компетенций.
Бизнесу придется научиться распределять «машинный интеллект» так же тщательно, как сегодня распределяется финансовый капитал. Руководителям предстоит выстроить строгие рамки и метрики, чтобы на каждом этапе понимать: превышает ли ценность выполненной агентом работы те вычислительные и операционные ресурсы, которые были затрачены на ее выполнение. Время бесконтрольных экспериментов подходит к концу, уступая место прагматичной экономике автономных систем.
Lari Hamalainen
Изображение из источника
Sven Blumberg
Изображение из источника
Photo of McKinsey Partner, Wasim Lala
Smiling portrait of David Tepper, CEO and cofounder of Pay-i
Переход от простых чат-ботов к автономным ИИ-агентам многократно увеличивает потребление вычислений, превращая управление контекстом и проверку ошибок в главные статьи расходов, несмотря на удешевление самих моделей.
Стоимость выполнения одной и той же задачи автономным агентом может различаться в 30 раз в зависимости от выбранного им пути решения, что делает бюджеты вероятностными, а не фиксированными.
