Оценка базы данных как награда: обучение надежных ИИ-агентов с помощью ThinkingBox

Суть

Компании Microsoft и Hugging Face представили проект ThinkingBox-Training, доступный на GitHub. Главная идея заключается в том, чтобы использовать прямую проверку конечного состояния базы данных после работы ИИ-агента в качестве сигнала вознаграждения (reward) для обучения с подкреплением (RL). Это позволяет значительно повысить надежность моделей при выполнении практических задач.

Вместо того чтобы оценивать правильность отдельных вызовов инструментов, система проверяет итоговый результат. Если база данных изменилась верно, агент получает награду. Применение этого подхода к модели Qwen3.8-27B показало резкий рост стабильности: количество задач, которые модель выполнила без ошибок во всех 20 попытках, выросло почти в три раза.

Контекст

Ранее исследователи обратили внимание на проблему: агенты часто заявляют о завершении задачи, хотя фактический результат в системе не достигнут. Например, модель могла закрыть обращение клиента как решенное, оставив связанную с ним проблему у перевозчика открытой. Агент мог сделать девять правильных вызовов инструментов, но ошибиться в одной строке базы данных.

Был создан бенчмарк ThinkingBox-Bench, состоящий из 507 задач. Каждая задача предоставляет агенту реальный бэкенд, набор инструментов и симулированного пользователя. Оценка производится путем проверки того, что именно изменилось в базе данных в конце работы. Исследователи поняли, что исполняемая проверка, возвращающая 1 или 0 на основе финального состояния, может служить не просто инструментом оценки, но и функцией вознаграждения для обучения.

Детали

Для обучения был сформирован пул тренировочных задач в формате ThinkingBox, не входящих в основной бенчмарк. Задачи отбирались на основе их «относительной сложности для политики» (offline policy-relative difficulty) — отбрасывались как уже решенные, так и безнадежные для текущей модели.

Модель Qwen3.8-27B была дообучена методом GRPO в течение 50 шагов. Результаты на 507 задачах бенчмарка (по 20 попыток на каждую) показали следующие изменения:

• Средняя успешность (pass@1) выросла с 51.70% до 60.78%.
• Абсолютная надежность (Observed 20/20), то есть доля задач, успешно решенных во всех 20 попытках, увеличилась с 38 (7.50%) до 107 (21.10%).
• Широта охвата (pass@20), то есть задачи, решенные хотя бы один раз, немного снизилась — с 453 (89.35%) до 446 (87.97%).

Например, в задаче по изменению бронирования отеля базовая модель в 15 из 20 случаев меняла бронь без обязательного одобрения менеджера. После обучения модель сохранила правильное состояние бронирования и оплаты во всех 20 попытках.

Анализ

Обучение привело к эффекту «заострения» (sharpening): модель не стала обладать более широким спектром навыков, но стала гораздо более предсказуемой и повторяемой в тех задачах, которые умеет решать. Вероятностное распределение сместилось в сторону траекторий, которые работают стабильно, а некоторые пути с низкой вероятностью успеха исчезли.

Это напрямую отражается на экономической эффективности использования агентов. Расчетная стоимость одной успешной попытки снизилась с 0.177 до 0.139 доллара. При этом стоимость получения одной «надежной» задачи (выполняемой 20 раз из 20) упала на 67.2% — с 24.36 до 8.00 долларов.

Перспектива

Результаты показывают, что традиционная метрика средней успешности (pass@1) не дает полной картины, если речь идет о работе с производственными базами данных, где критически важна надежность каждого действия. Использование проверяемых конечных состояний в качестве наград для RL может стать эффективным стандартом для пост-тренировки агентов, позволяя им находить новые, потенциально более оптимальные пути решения задач, не привязываясь исключительно к имитации человеческих шагов.