CodeRabbit использует модели OpenAI для масштабирования проверки ИИ-кода

В условиях растущего объема программного кода, создаваемого искусственным интеллектом, проверка этого кода становится главным узким местом для команд разработчиков. Стартап CodeRabbit использует модели OpenAI, чтобы автоматизировать этот процесс, позволяя инженерам сохранять контроль над качеством и безопасностью выпускаемых продуктов.

По словам сооснователя и генерального директора CodeRabbit Харджота Гилла (Harjot Gill), как только компании начинают использовать агентов для написания кода, они сразу сталкиваются с проблемой проверки (code review). Именно на этапе валидации команды должны применять свое экспертное суждение к растущему объему ИИ-кода.

В ответ на эту потребность CodeRabbit создал платформу для управления и контроля, основанную на искусственном интеллекте. Платформа помогает командам понимать, проверять и обеспечивать безопасность кода, созданного ИИ-агентами, а также принимать решения о его готовности к выпуску. По данным компании, продукт используется более чем 20 000 организаций и в более чем 150 000 проектов с открытым исходным кодом.

CodeRabbit начинал с использования модели GPT-3.5 Turbo, но переход на GPT-4 сделал продукт по-настоящему эффективным для проверки кода. Позже компания внедрила модели с расширенными возможностями рассуждения (reasoning models) — OpenAI o1 и OpenAI o3. Поскольку проверка кода в облаке происходит асинхронно, CodeRabbit может позволить себе использовать модели, которым требуется больше времени на анализ, в обмен на более высокое качество результатов.

Команда оценивает новые модели на собственной базе известных ошибок. На момент интервью Харджот Гилл оценил, что модель GPT-6 Astra обнаружила 50% проблем в этом наборе данных, став лидером среди других протестированных моделей. При этом бенчмарк постоянно обновляется, так как агенты совершают новые типы ошибок, а исправления выявляют проблемы, пропущенные ранее.

Улучшение соотношения цены и производительности моделей OpenAI позволило CodeRabbit внедрить больше ИИ в свой продукт. Снижение стоимости и улучшение кэширования дали возможность использовать больше субагентов. Если изначально применялся один или два субагента для навигации по коду, то теперь более доступные модели, такие как GPT-6 Luna, поддерживают множество субагентов по всей платформе, а GPT-6 Astra отвечает за планирование и оркестрацию.

Также по темеMicrosoft Research представляет PDD Kit для формальной верификации кода, написанного ИИ

Использование продукта Codex позволило CodeRabbit, по словам Гилла, выпускать примерно в 20 раз больше программного обеспечения за последние 6 месяцев без увеличения штата инженеров. Сам генеральный директор оценивает, что за 30 дней до интервью он отправил от 2 500 до 3 000 запросов на слияние (pull requests). Для достижения таких результатов компании пришлось переосмыслить весь процесс доставки ПО, автоматизировав выпуск изменений с низким уровнем риска и внедрив Codex-бота в Slack для обработки инцидентов и обращений в поддержку.

Кроме того, CodeRabbit использует Codex для управления операционными и маркетинговыми задачами. Например, управление рекламой в Google Ads и создание презентаций осуществляются через запросы на слияние и репозитории кода.

Для обеспечения безопасности CodeRabbit применяет модель Cyber от OpenAI через платформу Daybreak. Изначально это использовалось для внутреннего тестирования на проникновение (penetration testing), что помогло выявить непредвиденные уязвимости. Теперь эта функциональность доступна клиентам в продукте CodeRabbit Secure. В ходе недавней акции компания провела 13 000 глубоких сканирований с помощью моделей Codex, обнаружив более 43 000 уязвимостей.

По мере того как агенты будут брать на себя все больше задач по созданию кода, потребность в инструментах для его проверки, объяснения и приоритизации будет только расти. Разработчикам потребуются надежные механизмы контроля, чтобы успевать за темпами автоматизированной разработки.