Модели

Адаптеры для сред исполнения: метод повышения эффективности ИИ-агентов

Использование обучения с подкреплением для создания специализированных LoRA-адаптеров под конкретные среды исполнения агентов повышает точность и снижает расход токенов.

Обновлено:
3 мин чтения
Адаптеры для сред исполнения: метод повышения эффективности ИИ-агентов

Главное за 30 секунд

Обучение LoRA-адаптеров с помощью алгоритмов RL под конкретную среду исполнения агента значительно повышает успешность выполнения задач и снижает затраты на инференс.

  • Адаптер для Qwen3.8-27B повысил результат на Terminal-Bench 2.1 с 39% до 55%.
  • Средний расход токенов на задачу снизился с 2.9K до 1.5K.
  • Исследователи объединили три разных адаптера (для Pi, OpenCode и Hermes Agent) в один универсальный суперадаптер.
  • Для обучения отбирались только те задачи, которые базовая модель решает не всегда, но и не проваливает полностью (171 из 442 оцененных).

Неочевидное: Снижение расхода токенов почти в два раза достигается не за счет сжатия контекста, а потому, что адаптированная модель совершает меньше лишних шагов рассуждений и реже вызывает инструменты без необходимости.

Команда исследователей представила концепцию адаптеров для сред исполнения (harness adapters). Суть подхода заключается в использовании обучения с подкреплением (RL) на пользовательском распределении задач внутри конкретной среды исполнения агента (harness). Это позволяет создавать более точные и эффективные модели для конкретных сценариев использования.

Обычно базовые модели оптимизированы для достижения общих высоких показателей. Из-за этого при объединении модели с конкретной средой исполнения теряется часть потенциальной производительности и эффективности. Модель не адаптирована к специфике конкретного фреймворка и решаемых в нем задач. Обучение пользовательского адаптера с помощью RL позволяет извлечь максимум из модели для выбранной комбинации среды и задачи.

В качестве примера исследователи приводят работу с моделью Qwen3.8-27B. На бенчмарке Terminal-Bench 2.1 в среде pi базовая модель показала результат в 39%, расходуя в среднем 2.9 тысячи токенов на задачу. После заморозки весов и добавления пользовательского LoRA-адаптера, обученного с помощью RL, показатель успешного выполнения с первой попытки (pass@1) вырос до 55%, а средний расход токенов снизился до 1.5 тысяч. Улучшение произошло преимущественно за счет того, что модель стала меньше тратить времени на рассуждения, реже вызывать инструменты и чаще справляться с задачей с первого раза.

Также по темеOpenAI выпустила Astra for Law 6.2: специализированную ИИ-модель для юридической отрасли

Эксперименты проводились на сложных задачах программной инженерии с использованием трех сред: Pi (версия 1.5.2), OpenCode (2.2.7) и Hermes Agent (v0.22.6). Для каждой среды был обучен отдельный LoRA-адаптер для Qwen3.8-27B с использованием RL непосредственно внутри самой среды. В итоге каждый из адаптеров превзошел базовую модель в своей среде как по производительности, так и по эффективности. Кроме того, три полученных LoRA-адаптера были объединены в единый «суперадаптер», который работает без изменений во всех трех протестированных средах.

Для обучения был создан специализированный набор данных с использованием инструментов Hub, OpenEnv и Repo2RLEnv. Процесс сбора включал фильтрацию около 59 000 задач формата Harbor. Задачи собирались из баз SWE-smith и SWE-Gym, а также генерировались с помощью пайплайна Tasksmith. Важным этапом стала проверка сложности задач на базовой модели Qwen3.8-27B: из 442 оцененных задач модель решала 151 задачу каждый раз, 120 — никогда, и 171 задачу — только иногда. Именно эта 171 задача составила квалифицированный набор, так как алгоритм GRPO (group relative policy optimization) требует задач, в которых есть вариативность успешности для получения сигнала обучения.

Результаты показывают, что обучение агента непосредственно в той среде, в которой он будет развернут, является эффективной стратегией. В отличие от многих фреймворков RL, которые обучают переопределенный цикл агента, данный метод позволяет тренеру учиться на точных токенах, произведенных оригинальной средой.

Опубликованные рецепты, наборы данных и инструменты открывают возможность для разработчиков воспроизводить этот процесс для своих собственных комбинаций моделей, сред и задач. Это может привести к более широкому созданию узкоспециализированных и экономичных ИИ-агентов для конкретных корпоративных и инженерных процессов.

Источник:Huggingface

Читать дальше