Исследователи IBM выпустили бенчмарк ScarfBench для оценки того, как автономные ИИ-агенты справляются с обновлением и переносом сложного корпоративного кода на Java.
2 мин
Исследовательское подразделение IBM опубликовало на платформе Hugging Face новый инструмент под названием ScarfBench. Это набор тестов (бенчмарк), предназначенный для оценки того, насколько хорошо автономные системы искусственного интеллекта справляются с миграцией корпоративных приложений на языке Java. Это важный шаг, так как он переводит фокус с простой генерации программного кода на решение сложных инфраструктурных задач.
На протяжении десятилетий крупные компании создавали свои системы на базе Java. Со временем фреймворки устаревают, появляются уязвимости, и бизнес вынужден обновлять программное обеспечение. Процесс миграции с одной версии архитектуры на другую или смена фреймворка — это долгая, дорогая и рутинная работа. Разработчикам приходится вручную переписывать тысячи строк кода, следя за тем, чтобы ничего не сломалось.
В последнее время индустрия возлагает большие надежды на ИИ-агентов — программы, способные самостоятельно анализировать кодовую базу и вносить комплексные изменения. Но до сих пор не было надежного способа измерить их реальную эффективность в таких специфических задачах. Миграция Java-фреймворков часто сопряжена с изменением конфигурационных файлов, обновлением зависимостей и переработкой аннотаций. Это требует от ИИ не просто знания синтаксиса, но и понимания контекста работы всего приложения.
ScarfBench решает именно эту проблему. Инструмент предлагает стандартизированную среду для проверки моделей на реальных примерах миграции. Вместо того чтобы просить нейросеть написать одну функцию, бенчмарк оценивает ее способность понимать архитектуру проекта целиком. Система проверяет, может ли агент корректно заменить устаревшие библиотеки, адаптировать логику под новые стандарты и сохранить работоспособность приложения.
Наличие такого инструмента на открытой платформе вроде Hugging Face позволяет исследователям со всего мира сравнивать свои разработки по единым правилам. Появление ScarfBench указывает на важный тренд в развитии больших языковых моделей (LLM). Индустрия постепенно отходит от универсальных чат-ботов и движется в сторону специализированных агентов для решения конкретных бизнес-задач.
Для корпоративного сектора модернизация устаревшего кода (legacy code) является одной из главных статей расходов на ИТ. Если ИИ сможет автоматизировать хотя бы часть этого процесса, экономический эффект будет колоссальным. Инициатива IBM логична: компания исторически тесно связана с корпоративным сектором и глубоко понимает его потребности.
В ближайшие годы мы, вероятно, увидим появление целого класса инструментов, специализирующихся исключительно на рефакторинге и миграции старого кода. ScarfBench станет одним из тех фильтров, которые помогут отделить маркетинговые обещания от реально работающих технологий. Пока рано судить, насколько быстро агенты смогут полностью взять на себя эту задачу. Скорее всего, на первых этапах они будут выступать в роли умных ассистентов, подготавливающих черновую версию миграции для проверки опытным инженером.
IBM создала инструмент для проверки способности ИИ самостоятельно обновлять устаревший корпоративный код, что открывает путь к автоматизации сложного рефакторинга.
Развитие ИИ в программировании смещается от написания новых приложений с нуля к решению самой скучной и дорогой проблемы отрасли — поддержке и модернизации старого кода.
