Инструменты

Google представила Gemini Decisions API: новый подход к маршрутизации и оценке данных

Google анонсировала инструмент на базе модели Gemini Decision 1 для быстрого принятия закрытых решений по мультимодальным данным без пошаговой генерации текста.

Обновлено:
3 мин чтения
Google представила Gemini Decisions API: новый подход к маршрутизации и оценке данных

Главное за 30 секунд

Google выпустила специализированный API для задач классификации и маршрутизации, который работает быстрее и дешевле обычных LLM за счет оценки вероятностей вместо пошаговой генерации текста.

  • Задержка выполнения запроса (latency) составляет 150-250 миллисекунд.
  • Стоимость — 0.10 доллара за 1 млн входных токенов, выходные токены бесплатны.
  • Позволяет задать до 1000 вопросов к одному мультимодальному вводу размером до 256 тысяч токенов.
  • Использование Decisions API почти в 5 раз дешевле, чем Gemini 3.5 Flash-Lite с Interactions API.

Неочевидное: Переход от генерации текста к прямому вычислению вероятностей позволяет использовать языковые модели как сверхбыстрые маршрутизаторы логики, устраняя необходимость в обучении отдельных классификаторов.

Google представила Gemini Decisions API, новый интерфейс, работающий на базе специализированной модели Gemini Decision 1. Это инструмент, созданный для быстрого принятия вероятностных решений по мультимодальным данным, включая текст, изображения, аудио, видео и PDF-файлы. Главная особенность подхода заключается в отказе от традиционной генерации ответа токен за токеном в пользу мгновенной оценки заданных вариантов.

Традиционные большие языковые модели (LLM) генерируют текст последовательно. Это отлично работает для творческих задач или написания кода, но избыточно и медленно для системных процессов: классификации данных, проверки политик безопасности или маршрутизации запросов к разным моделям. Ранее разработчикам приходилось либо мириться с высокими задержками при использовании генеративных API, либо тратить ресурсы на обучение собственных узкоспециализированных классификаторов.

Comparison of Gemini Decision and other APIs against various benchmarks

Comparison of Gemini Decision and other APIs against various benchmarks

Новый API меняет эту механику. Разработчик может передать один мультимодальный ввод размером до 256 тысяч токенов и задать к нему до 1000 независимых вопросов за один запрос. Вместо генерации текста Gemini Decision 1 оценивает кандидатов за один прямой проход (forward pass).

По данным компании, задержка от начала до конца (end-to-end latency) составляет 150-250 миллисекунд. При этом время вычислений самой модели держится на уровне 50-100 мс для контекстов до 16 тысяч токенов и остается практически неизменным при увеличении количества вопросов от 1 до 100. Стоимость использования составляет 0.10 доллара за 1 миллион входных токенов, при этом выходные токены не тарифицируются. Google отмечает, что это почти в 5 раз дешевле, чем использование модели Gemini 3.5 Flash-Lite через стандартный Interactions API в рамках общих бенчмарков.

API поддерживает три типа закрытых решений:

  • noul (Да/Нет) — оценивает вероятность выполнения условия.
  • choice (Множественный выбор) — выбирает из списка от 2 до 255 вариантов.
  • score (Оценка по рубрике) — оценивает ввод по заданной шкале.
Также по темеCodeRabbit использует модели OpenAI для масштабирования проверки ИИ-кода
Comparison of the Decisions API and other APIs to benchmark

Comparison of the Decisions API and other APIs to benchmark

Каждый ответ сопровождается показателем уверенности (confidence score) от 0 до 1, что позволяет программно направлять спорные случаи на проверку человеку или резервному алгоритму.

Команды внутри Google уже используют Decisions API в качестве низколатентного уровня управления (control plane). Например, в Gemini Notebook инструмент классифицирует намерения пользователя за миллисекунды, направляя повседневные запросы к быстрым моделям, что снижает задержку до 40%. В Google Search API применяется как слой безопасности для обнаружения состязательного поведения, а в проекте Stitch — для быстрой генерации прототипов интерфейсов.

Выделение задач маршрутизации и классификации в отдельный, оптимизированный API указывает на взросление инфраструктуры искусственного интеллекта. Разработчики получают специализированный инструмент для построения надежной логики приложений, где важна скорость и предсказуемость, а не творческая генерация. Инструмент уже доступен в Google AI Studio, а интеграции с популярными фреймворками, такими как LangChain, LiteLLM и Vercel, находятся в процессе развертывания.

Изображение из источника

Изображение из источника

Изображение из источника

Изображение из источника

Изображение из источника

Изображение из источника

Изображение из источника

Изображение из источника

Изображение из источника

Изображение из источника

Изображение из источника

Изображение из источника

Источник:Blog

Читать дальше