Инженерия обвязки: как улучшить AI-агента без смены модели

В индустрии разработки AI-агентов существует заблуждение, что для улучшения результатов нужно ждать выхода новой, более мощной модели. Однако свежий кейс от LangChain доказывает обратное: архитектура системы вокруг модели (так называемая «обвязка» или harness) играет не меньшую роль, чем сам «интеллект» внутри.

Команда разработчиков LangChain поделилась опытом оптимизации своего агента для написания кода. Им удалось поднять его эффективность на бенчмарке Terminal Bench 2.0 с 52,8% до 66,5%, переместившись из топ-30 в пятерку лидеров. Ключевой момент: сама языковая модель (в данном случае использовалась gpt-5.2-codex) осталась неизменной. Весь прирост был получен исключительно за счет инженерных решений.

Что такое Harness Engineering?

Harness (обвязка) — это системная оболочка, которая управляет «интеллектом» модели, направляя его на решение конкретных задач. Если модель — это двигатель, то обвязка — это трансмиссия, рулевое управление и электроника автомобиля. Инженерия обвязки включает в себя работу с системными подсказками (промптами), инструментами, управлением памятью и логикой выполнения задач.

Вместо того чтобы пытаться оптимизировать всё сразу, инженеры LangChain сосредоточились на трех рычагах: системный промпт, доступные инструменты и middleware (промежуточное ПО, перехватывающее вызовы модели).

Анализ следов как навык

Главным инструментом улучшения стал анализ трассировок (traces). Разработчики автоматизировали процесс разбора ошибок. Специальный агент-аналитик просматривал логи неудачных запусков, классифицировал ошибки (например, логические сбои, игнорирование инструкций или отсутствие тестов) и предлагал изменения в обвязку.