Инструменты

Как OpenAI автоматизировала работу над производительностью ChatGPT с помощью ИИ-агентов

OpenAI создала Performance Factory — систему на базе модели Codex, которая автоматически находит и устраняет проблемы с производительностью ChatGPT.

Обновлено:
3 мин чтения
Как OpenAI автоматизировала работу над производительностью ChatGPT с помощью ИИ-агентов

Главное за 30 секунд

OpenAI перешла от ручного поиска проблем с производительностью к использованию автономной системы агентов Performance Factory, которая самостоятельно расследует причины замедлений и предлагает исправления.

  • Система Performance Factory базируется на модели Codex.
  • За три месяца система провела более 1700 расследований.
  • В более чем 600 случаях ИИ-агенты успешно выявили первопричину проблемы.
  • В среднем система выполняет 17 автоматизированных расследований в день.

Неочевидное: Внедрение ИИ в разработку меняет саму структуру работы инженеров: они перестают быть исполнителями рутинных задач поиска ошибок и становятся контролерами автономных агентов, которые берут на себя весь цикл от обнаружения проблемы до проверки её решения.

В условиях стремительного развития ИИ-технологий традиционные подходы к оптимизации производительности стали для OpenAI недостаточно эффективными. Чтобы поддерживать высокую скорость работы ChatGPT, инженеры компании разработали Performance Factory — автономную систему на базе модели Codex, которая автоматизирует процессы поиска и устранения регрессий производительности.

До появления этой системы инженерам приходилось вручную изучать метрики, журналы, сравнивать трассировки и отлаживать серверы. Этот процесс требовал глубоких знаний архитектуры и занимал много времени. Со временем команда создала более 30 инструментов для профилирования, но ручной труд оставался узким местом.

The evolution of performance engineering: manual work, reusable tools, engineers working with Codex, engineers dispatching tasks, systems dispatching tasks, and a factory of agents coordinating automated workflows.

The evolution of performance engineering: manual work, reusable tools, engineers working with Codex, engineers dispatching tasks, systems dispatching tasks, and a factory of agents coordinating automated workflows.

Внедрение Codex изменило подход. Сначала модель стала помощником, способным искать информацию в больших кодовых базах, находить нужные метрики и выстраивать цепочки взаимодействия сервисов. Позже инженеры выделили процесс расследования в отдельный навык (perf-forensics), который позволял Codex самостоятельно определять момент начала замедления, выявлять затронутые запросы и проверять влияние недавних обновлений или изменений конфигурации.

Следующим шагом стал перенос расследований в облако. При срабатывании оповещения о проблеме Codex автоматически начинал анализ и публиковал результаты в Slack. Однако инженерам всё ещё приходилось вручную создавать исправления и проверять их эффективность после развертывания.

В итоге была создана Performance Factory — система, управляющая сквозными рабочими процессами. Она состоит из четырех компонентов: сервиса задач с настраиваемыми рабочими процессами, цикла диспетчеризации для назначения задач агентам, облачного API для запуска Codex и системы подписок, которая активирует агентов при наступлении определенных событий (например, завершении развертывания кода).

Также по темеВнедрение Tool Retrieval в Gemini API: оптимизация работы агентов с большими библиотеками инструментов
Performance Factory orchestration workflow: alerts, engineers, and other agents create tasks; the task service sends ready tasks to a dispatch loop, which starts Codex turns in the cloud. Agents record progress, while subscriptions wake waiting tasks after PR comments or deployments.

Performance Factory orchestration workflow: alerts, engineers, and other agents create tasks; the task service sends ready tasks to a dispatch loop, which starts Codex turns in the cloud. Agents record progress, while subscriptions wake waiting tasks after PR comments or deployments.

Первым реализованным рабочим процессом стал Regression Workflow. При срабатывании оповещения о снижении производительности система открывает задачу. Агент на базе Codex анализирует метрики, находит причину и предлагает исправление. После того как инженер проверяет и развертывает код, другой агент автоматически проверяет, вернулась ли производительность к нормальным показателям.

За первые три с небольшим месяца работы Regression Workflow отследил более 1700 расследований и выявил первопричину в более чем 600 случаях. Это означает, что система проводит в среднем 17 автоматизированных расследований каждый день.

Опыт OpenAI показывает эволюцию разработки: от полностью ручного труда к использованию ИИ в качестве помощника, а затем — к созданию фабрик автономных агентов. Этот подход позволяет компании справляться с растущей сложностью систем и поддерживать амбициозные темпы развития продуктов.

Performance Factory report showing worker startup time more than doubling, with impact and recovery, root cause, and proposed fix.

Performance Factory report showing worker startup time more than doubling, with impact and recovery, root cause, and proposed fix.

Inside the Codex sandbox — art card

Inside the Codex sandbox — art card

Scaling Git at OpenAI — art card

Scaling Git at OpenAI — art card

Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II) — card

Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II) — card

Источник:Openai

Читать дальше