Latency
Определение
Латентность — время задержки между отправкой запроса к AI-системе и получением ответа, критичный показатель для пользовательского опыта.
Простое объяснение
Это сколько времени проходит от момента, когда ты задал вопрос AI, до момента, когда начинает появляться ответ.
Подробнее
Факторы латентности в AI:
- Размер модели — больше параметров = медленнее
- Длина генерации — токены генерируются последовательно
- Сетевая задержка — расстояние до сервера
- Очередь — нагрузка на API
Оптимизация: Edge AI, кэширование, streaming, специализированные чипы.
Связанные термины
Safetensors
Safetensors — безопасный формат хранения тензоров (весов нейросетей), защищённый от выполнения произвольного кода при загрузке.
Stable Diffusion
Stable Diffusion — открытая модель генерации изображений по текстовому описанию, ставшая основой экосистемы AI-инструментов для творчества.
HuggingFace
HuggingFace — ведущая платформа для машинного обучения, предоставляющая хаб моделей, датасетов и библиотеки transformers, datasets, accelerate.
Webhook
Вебхук — механизм автоматической отправки данных от одного сервиса другому при наступлении определённого события.