Исследователи IBM Research выпустили VAKRA — систему оценки, которая проверяет способность ИИ-агентов решать сложные многошаговые задачи с использованием тысяч корпоративных API и баз данных.
3 мин
Суть
Исследовательское подразделение IBM Research совместно с платформой Hugging Face представило VAKRA — новый бенчмарк для оценки искусственного интеллекта. В отличие от привычных тестов, VAKRA измеряет способность ИИ-агентов работать в реалистичной корпоративной среде. Главное нововведение заключается в том, что система оценивает не только финальный ответ модели, но и всю цепочку ее рассуждений и действий при работе с программными интерфейсами (API) и документами.
Контекст
Долгое время качество больших языковых моделей (LLM) измерялось на изолированных задачах: ответы на вопросы, написание кода или суммаризация текста. Однако внедрение ИИ в корпоративный сектор требует совершенно иного подхода. Агентам необходимо взаимодействовать с внутренними базами данных, извлекать информацию из множества источников и строго следовать корпоративным правилам. Традиционные бенчмарки не способны проверить, насколько надежно агент выполняет такие многошаговые рабочие процессы.
Детали
Бенчмарк VAKRA представляет собой исполняемую среду, в которой агенты взаимодействуют с более чем 8000 локально размещенных API. Эти интерфейсы опираются на реальные базы данных, охватывающие 62 предметные области. Задачи требуют от агента построения цепочек из 3–7 логических шагов.
Тестирование разделено на четыре ключевых навыка (capabilities):
Оценка результатов происходит по каскадному принципу (waterfall-style pipeline). Сначала система проверяет, нарушил ли агент корпоративные политики. Затем анализируется траектория вызовов API — правильные ли инструменты были использованы. Только после успешного прохождения этих этапов оценивается финальный ответ.
Анализ
Появление VAKRA фиксирует важный сдвиг в индустрии: фокус смещается с генерации текста на выполнение действий. Текущие модели показывают крайне низкие результаты в этом бенчмарке. Это объясняется тем, что современные LLM часто теряют контекст при длинных цепочках вызовов или не справляются с выбором нужного инструмента из сотен доступных. Строгий контроль траектории выполнения вскрывает фундаментальные проблемы в планировании (planning), которыми страдают текущие архитектуры.
Перспектива
В ближайшие годы подобные исполняемые бенчмарки станут стандартом для индустрии. Разработчикам моделей придется уделять больше внимания механизмам маршрутизации задач и соблюдению ограничений (policy adherence). Вероятно, мы увидим появление специализированных моделей, обученных не на текстах из интернета, а на логах взаимодействия с корпоративными системами и базами данных.
VAKRA меняет подход к оценке ИИ-агентов: теперь важен не только правильный ответ, но и корректная последовательность действий при работе с корпоративными системами.
Ограничения существующих платформ (например, лимит в 128 инструментов у OpenAI) становятся серьезным барьером для корпоративных агентов, так как реальные задачи могут требовать выбора из сотен специализированных API.
