Прогресс искусственного интеллекта в работе с редкими языками программирования

Суть

Компания OpenAI сообщила о значительных улучшениях в способности своих новых моделей работать с языками программирования, для которых доступно мало ресурсов (low-resource programming languages). Речь идет о таких языках, как COBOL, Fortran, Visual Basic и OCaml. Для измерения прогресса исследователи разработали два новых инструмента оценки: MultiLangBench для создания нового программного обеспечения и специальный тест для миграции старого кода.

Контекст

Исторически большие языковые модели (LLM) лучше всего справлялись с популярными языками вроде Python или JavaScript, так как для них существует огромный объем обучающих данных и документации. Однако критически важная мировая инфраструктура часто опирается на старые технологии.

По данным OpenAI, COBOL поддерживает более 40% систем онлайн-банкинга, 80% очных транзакций по кредитным картам и 95% операций в банкоматах. Fortran активно применяется в прогнозировании погоды и анализе безопасности ядерных реакторов. Поддержка и модернизация таких систем затруднена: документация может быть неполной, оригинальные разработчики ушли, а важные бизнес-правила существуют только в самом коде.

Детали

Для объективной оценки возможностей ИИ были созданы два теста:

1. MultiLangBench. Тест требует от модели создать совместимый с SQLite движок базы данных с нуля на 20 различных языках программирования. Для проверки используется общая база данных и SQL-запросы, а результаты сравниваются с эталонной реализацией SQLite. При максимальных затратах на рассуждения (reasoning effort) модель GPT-6 Astra достигла среднего уровня прохождения тестов в 87,4% по 20 языкам (по сравнению с 26,8% у предыдущей модели GPT-5.6 Sol). Улучшения затронули все языки: например, показатель для COBOL вырос с 10,9% до 72,1%, а для Fortran — с 21,4% до 83,5%. Более доступная модель GPT-6 Luna показала средний результат 40,3% при расчетной стоимости API около 0,77 доллара за образец, что примерно на 78% ниже, чем у GPT-5.6 Sol (3,48 доллара).

2. Миграция кодовой базы COBOL. Моделям ставится задача перевести программы на COBOL в C++, Java, Kotlin, Python или Rust. Успешной считается только та миграция, которая сохраняет побайтовое соответствие наблюдаемых результатов (например, специфические правила округления финансовых операций). В этом тесте модель GPT-6.1 Sol достигла точности 86,6% при низких затратах на рассуждения (у GPT-5.6 Sol было 5,4% при аналогичных настройках) и при этом стоила на 39% дешевле. При повышении вычислительных усилий точность GPT-6.1 Sol достигла 97,9%.

Анализ

Результаты показывают смещение фокуса разработчиков ИИ с генерации простых скриптов на решение сложных корпоративных задач по модернизации унаследованного (legacy) кода. Способность моделей понимать специфику редких языков и переводить их в современные стандарты без потери бизнес-логики открывает путь к обновлению инфраструктуры, которая десятилетиями оставалась нетронутой из-за высоких рисков.

Снижение стоимости API и повышение точности делают автоматизированную помощь в миграции экономически целесообразной. При этом OpenAI подчеркивает, что применение этих технологий в рабочих продуктах по-прежнему требует экспертной проверки и тестирования.

Перспектива

OpenAI опубликовала набор тестов MultiLangBench на платформе GitHub. Это позволит сторонним разработчикам изучить методику оценки и проверить эффективность моделей в их собственных рабочих процессах. В дальнейшем можно ожидать, что индустрия продолжит фокусироваться на улучшении навыков программной инженерии у ИИ: от понимания незнакомых репозиториев до запуска тестов и отладки сбоев в сложных корпоративных средах.