Latency
Определение
Латентность — время задержки между отправкой запроса к AI-системе и получением ответа, критичный показатель для пользовательского опыта.
Простое объяснение
Это сколько времени проходит от момента, когда ты задал вопрос AI, до момента, когда начинает появляться ответ.
Подробнее
Факторы латентности в AI:
- Размер модели — больше параметров = медленнее
- Длина генерации — токены генерируются последовательно
- Сетевая задержка — расстояние до сервера
- Очередь — нагрузка на API
Оптимизация: Edge AI, кэширование, streaming, специализированные чипы.
Связанные термины
Perplexity AI
Perplexity AI — поисковая система на базе AI, которая отвечает на вопросы с указанием источников вместо списка ссылок.
Edge AI
Edge AI — выполнение AI-алгоритмов непосредственно на конечных устройствах (смартфонах, камерах, датчиках) без отправки данных в облако.
OCR
Оптическое распознавание символов (OCR) — технология AI для преобразования изображений текста (сканов, фото) в редактируемый цифровой текст.
API (Application Programming Interface)
Интерфейс программирования приложений — набор правил и протоколов для взаимодействия между различными программами и сервисами.