OpenAI внедрила новую архитектуру биллинга для Codex и Sora, которая бесшовно объединяет жесткие лимиты и систему кредитов, чтобы пользователи не сталкивались с блокировками в разгар работы.
3 мин
OpenAI представила новую архитектуру управления доступом к своим ресурсоемким моделям — Codex и Sora. Компания отказалась от традиционного выбора между жесткими ограничениями частоты запросов (rate limits) и постоплатой, создав гибридную систему реального времени. Теперь, когда пользователь исчерпывает свой лимит, система мгновенно и незаметно переключает его на использование предоплаченных кредитов. Это позволяет избежать прерывания работы в критически важные моменты, сохраняя при этом защиту инфраструктуры от перегрузок.
Традиционно сервисы API используют одну из двух моделей доступа. Первая — это жесткие лимиты (например, 100 запросов в минуту). Это защищает серверы, но создает плохой пользовательский опыт: в самый ответственный момент сервис просто говорит «приходите позже». Вторая модель — оплата по факту использования (post-paid billing). Она удобна, но несет риски для провайдера (неоплата счетов) и пользователя (неожиданно огромные счета из-за ошибок в коде или бесконечных циклов).
harness eng > card image
С ростом популярности генеративных моделей, таких как Sora (генерация видео) и Codex (генерация кода), проблема стала острее. Эти инструменты используются в потоковом режиме: программист пишет код, режиссер монтирует сцену. Любая остановка здесь разрушает творческий процесс («поток»). OpenAI столкнулась с необходимостью создать механизм, который был бы одновременно безопасным для инфраструктуры и незаметным для пользователя.
Инженеры OpenAI разработали систему, работающую по принципу «водопада решений» (decision waterfall). Вместо простого вопроса «разрешен ли доступ?», система спрашивает: «сколько ресурсов разрешено использовать и из какого источника?».
Основные технические особенности:
Codex harness > card image
Это решение демонстрирует зрелость инженерной культуры OpenAI. Компания перешла от создания экспериментальных моделей к построению надежной промышленной платформы. Отказ от сторонних биллинговых решений в пользу собственной разработки (in-house) подчеркивает специфику задач AI-индустрии: стандартные SaaS-инструменты просто не справляются с требованиями по скорости и точности, необходимыми для генеративных моделей реального времени.
Ключевой момент здесь — смещение фокуса с «защиты сервера» на «защиту пользовательского импульса». В индустрии разработки ПО и креативных индустриях стоимость прерывания работы специалиста часто выше, чем стоимость дополнительных вычислительных ресурсов.
Внедрение такой системы открывает путь для более гибких тарифных планов. Вероятно, мы увидим появление динамического ценообразования или более сложных корпоративных подписок, где разные отделы компании делят общие пулы кредитов и лимитов. Кроме того, этот подход станет стандартом для всех будущих продуктов OpenAI, требующих высокой интерактивности, включая голосовых ассистентов и агентов, выполняющих длительные задачи.
kepler > card image
OpenAI создала собственную систему биллинга, которая позволяет пользователям Sora и Codex продолжать работу за счет кредитов сразу после исчерпания лимитов, устраняя раздражающие блокировки.
Для высоконагруженных AI-сервисов стандартные SaaS-решения для биллинга оказались непригодны — потребовалась разработка собственной сложной инженерной системы для синхронизации доступа и оплаты.
