Масштабирование инфраструктуры OpenAI: как платформа Habitat обслуживает более миллиарда пользователей

Суть

Компания OpenAI раскрыла технические детали масштабирования своей платформы хранения данных Habitat. Инфраструктура была переработана для обслуживания более 1 миллиарда пользователей ChatGPT в 40 географических регионах. Благодаря оптимизации работы с Azure Cosmos DB инженерам удалось обеспечить надежную мультиарендность (multi-tenancy) и ускорить чтение данных в 12 раз.

Контекст

Все продукты OpenAI зависят от платформы Habitat, которая должна отвечать на запросы за миллисекунды. Изначально система представляла собой простую клиентскую библиотеку на Python, но взрывной рост аудитории заставил компанию полностью пересмотреть архитектуру. Сегодня Habitat — это глобально распределенная платформа, хранящая более 500 петабайт данных.

Команде пришлось решать классическую дилемму масштабирования: использовать единую систему для всех продуктов (мультиарендность) или выделять отдельные базы данных для каждой команды (single-tenancy). Одиночная аренда снижает риски, но приводит к перерасходу ресурсов, тогда как мультиарендность эффективнее, но страдает от проблемы "шумных соседей", когда один процесс забирает все ресурсы.

Детали

В основе Habitat лежит Azure Cosmos DB. OpenAI столкнулась с несколькими критическими ограничениями этой базы данных при работе на сверхвысоких масштабах:

• Лимиты логических ключей: Изначально система полагалась на лимит в 10 000 единиц запросов в секунду (RU/s) на логический ключ партиционирования (например, user_id). Из-за коллизий ключей между разными продуктами общая пропускная способность для конкретного пользователя сильно ограничивалась.
• Проблема "шумных соседей": Лимиты фактически применяются не к логическим, а к физическим партициям. В результате ресурсоемкие запросы нишевых функций могли нарушить работу базовых процессов, таких как авторизация пользователей.
• Слабые партиции: По мере роста объема данных физические партиции дробятся. Общая пропускная способность контейнера при этом не меняется, что приводит к снижению лимита на каждую отдельную партицию. В итоге рост объема данных сам по себе приводил к отказам в обслуживании активных рабочих нагрузок.

Анализ

Чтобы справиться с этими ограничениями, OpenAI перешла ко второй фазе архитектуры — изоляции рабочих нагрузок. Критически важные сервисы были переведены в отдельные контейнеры Azure Cosmos DB, каждый из которых имел собственное планирование емкости. Был внедрен скрипт для синхронизации выделенной пропускной способности с количеством физических партиций, что решило проблему "слабых партиций".

Однако исторически сложилось так, что множество старых сервисов остались в базовом общем контейнере, что приводило к росту инцидентов. Компании пришлось принудительно выделять новые контейнеры для любых крупных функций, просто чтобы защитить старую базу от дополнительной нагрузки.

Перспектива

Опыт OpenAI показывает, что готовые облачные решения требуют глубокой адаптации при работе на масштабах сотен петабайт. Баланс между мультиарендностью и изоляцией контейнеров останется ключевой задачей для инфраструктурных команд, обслуживающих глобальные ИИ-продукты.