Инструменты

Оптимизация ИИ-агентов для программирования: плагин TokenEconomizer снижает затраты на токены

Исследователи представили TokenEconomizer — инструмент, который помогает ИИ-агентам запоминать прошлый опыт работы с кодом и сокращать расход токенов до 30,9% без изменения базовых моделей.

Обновлено:
4 мин чтения
Оптимизация ИИ-агентов для программирования: плагин TokenEconomizer снижает затраты на токены

Главное за 30 секунд

Инструмент TokenEconomizer позволяет ИИ-агентам для программирования учиться на прошлых сессиях, существенно снижая расход токенов на повторяющиеся действия и ошибки без потери качества работы.

  • Снижение затрат составило от 18,4% до 30,9% на 277 реальных задачах из набора SWE-Bench.
  • В ходе профилирования Claude Code выяснилось, что 17% неудачных задач потребляют 32% всех затраченных токенов.
  • Плагин использует три метода: создание микронавыков, отсечение лишних инструментов и прерывание циклов ошибок.
  • К шестой задаче в репозитории совокупные затраты токенов гарантированно падают ниже стандартных значений.

Неочевидное: Значительная часть вычислительных затрат современных ИИ-агентов уходит не на саму генерацию сложного кода, а на постоянное перечитывание инструкций к неиспользуемым инструментам и повторение одних и тех же ошибок в рамках одного проекта.

Суть

Разработчики регулярно используют ИИ-агентов для работы в одних и тех же базах кода, однако при каждом новом запуске агенты начинают работу с чистого листа. Они заново открывают для себя уже известные факты, загружают неиспользуемые инструменты и повторяют неудачные подходы. Чтобы решить эту проблему, исследователи из Калифорнийского университета в Беркли (UC Berkeley) и Microsoft создали TokenEconomizer — плагин с открытым исходным кодом. Он анализирует прошлые сессии агента в репозитории и сокращает затраты токенов в будущих задачах, не требуя при этом модификации самого агента или его базовой модели.

Контекст

Современные ИИ-агенты все чаще помогают разработчикам самостоятельно исправлять ошибки и создавать новые функции. Однако каждое взаимодействие с моделью требует расхода токенов: агент передает инструкции, описания инструментов и историю сессии.

Each finished session teaches TokenEconomizer something about the repository, so later sessions cost less tokens.

Each finished session teaches TokenEconomizer something about the repository, so later sessions cost less tokens.

Чтобы понять, куда уходят вычислительные ресурсы, исследователи проанализировали работу модели Claude Code на 60 задачах из SWE-Bench (набора реальных задач по исправлению ошибок в проектах на Python). Выяснилось, что затраты формируются из трех основных видов потерь. Во-первых, агенты заново изучают одни и те же факты: после пяти завершенных задач в репозитории 30% вызовов инструментов повторяли действия из прошлых сессий. Во-вторых, агенты платят за неиспользуемые инструменты: на каждом шаге модель получала описания 23 инструментов, из которых 16 никогда не вызывались. В-третьих, агенты застревают на ошибках: 17% невыполненных задач забрали на себя 32% всех затраченных токенов.

Детали

TokenEconomizer работает параллельно с существующим агентом и использует три механизма оптимизации:

  1. Микронавыки (micro-skills). Плагин выявляет повторяющиеся паттерны и создает короткие заметки со специфичными для репозитория знаниями. Они добавляются в начальный контекст агента только после того, как несколько сессий подтвердят их полезность.
  2. Отсечение инструментов (tool pruning). Инструменты, которые агент вряд ли будет использовать в данном репозитории, скрываются. Базовые команды для работы с файлами остаются всегда.
  3. Вмешательство в циклы ошибок (failure-loop intervention). Если агент застревает, специальная модель-судья оценивает ситуацию. При необходимости агенту дается подсказка, а если это не помогает — система оповещает разработчика, не прерывая работу самостоятельно.

В ходе тестирования на 277 задачах из SWE-Bench с использованием пяти комбинаций агентов и моделей TokenEconomizer снизил среднюю стоимость выполнения задачи на 18,4–30,9%. Затраты сократились во всех 30 протестированных парах репозиторий-комбинация, при этом показатели успешного выполнения задач (Pass@1) остались стабильными, а в четырех из пяти комбинаций даже выросли.

Также по темеВнедрение Tool Retrieval в Gemini API: оптимизация работы агентов с большими библиотеками инструментов
TokenEconomizer works alongside an unchanged coding agent. Micro-skills add learned facts, tool pruning trims the loaded tools, and failure-loop intervention redirects stuck work. Each finished session updates all three.

TokenEconomizer works alongside an unchanged coding agent. Micro-skills add learned facts, tool pruning trims the loaded tools, and failure-loop intervention redirects stuck work. Each finished session updates all three.

Накопление опыта играет ключевую роль: хотя первые задачи могут стоить дороже из-за процесса обучения плагина, к шестой задаче совокупные затраты падают ниже стандартных значений во всех репозиториях. Экономия наблюдалась и в других сферах: на задачах веб-разработки (Web-Bench) затраты снизились на 16,0–21,2%, а в аудите безопасности — на 6,4–19,6%.

Анализ

Результаты исследования показывают, что эффективный контроль затрат при работе с ИИ-агентами должен быть адаптивным. Попытки применять жесткие, фиксированные стратегии экономии работают лишь в некоторых случаях, но не универсальны. Способность системы подстраиваться под конкретный репозиторий позволяет существенно экономить вычислительные ресурсы без ущерба для качества кода.

Перспектива

Появление таких инструментов, как TokenEconomizer, открывает путь к созданию ИИ-агентов нового типа. В будущем они смогут учиться не только тому, как решать поставленные задачи, но и тому, как наиболее эффективно расходовать предоставленные им вычислительные мощности. Тот факт, что плагин доступен с открытым исходным кодом и работает локально без необходимости изменения базовых моделей, может ускорить внедрение подобных оптимизаций в повседневную практику разработчиков.

On SWE-Bench, TokenEconomizer lowered mean cost per task by 18.4–30.9% across five agent–model combinations (left), while Pass@1 rose in four of them (right).

On SWE-Bench, TokenEconomizer lowered mean cost per task by 18.4–30.9% across five agent–model combinations (left), while Pass@1 rose in four of them (right).

Cumulative cost change relative to default over each repository’s tasks, using Claude Code. Starting with no history, every repository becomes cheaper by the sixth task.

Cumulative cost change relative to default over each repository’s tasks, using Claude Code. Starting with no history, every repository becomes cheaper by the sixth task.

Abstract teal-toned image of aluminum cans viewed from above, overlaid with a network of connected flowchart shapes (rectangles, rounded nodes, and diamonds) linked by thin line.

Abstract teal-toned image of aluminum cans viewed from above, overlaid with a network of connected flowchart shapes (rectangles, rounded nodes, and diamonds) linked by thin line.

Six coding sessions with shrinking cost bars send their logs to TokenEconomizer, which uses micro-skills, tool pruning and failure-loop intervention to guide an unchanged coding agent through the next session.

Six coding sessions with shrinking cost bars send their logs to TokenEconomizer, which uses micro-skills, tool pruning and failure-loop intervention to guide an unchanged coding agent through the next session.

Portrait of Bin Yu

Portrait of Bin Yu

Источник:Microsoft

Читать дальше