JetBrains
+19% качества генерации документации (по метрике chrF)
Бизнес-задача
Нужна модель, которая надёжнее конкурентов справляется с рефакторингом и документацией
Что внедрили
Claude в AI-инструментах JetBrains, включая кодинг-агента Junie: генерация документации, рефакторинг, генерация кода в редакторе
Измеримый эффект
+19% качества генерации документации (по метрике chrF); +59% успешности пользовательского рефакторинга по доле синтаксически корректного кода; 53%+ успешного выполнения задач; 100% синтаксически корректного кода на нескольких датасетах при генерации в редакторе
Как измеряли
Внутренние бенчмарки JetBrains со сравнением с популярной фронтир-моделью (метрика chrF, доля корректного кода)
Сроки: Не указан
Цифры взяты из публикации компании (кейс) и не проверялись независимо. Оценивайте достоверность по описанию методики выше. Первоисточник
Хотите так же?
Как проектировать такие внедрения - от первого автономного цикла до команд ИИ-агентов - разбираем в бесплатном флагманском курсе.
Курс Graph Engineering