GGUF
Определение
GGUF (GPT-Generated Unified Format) — формат файлов для хранения квантизированных языковых моделей, оптимизированный для локального запуска через llama.cpp.
Простое объяснение
GGUF — как MP3 для музыки, но для AI-моделей. Сжимает огромную модель до размера, который помещается на обычный компьютер, с минимальной потерей качества.
Подробнее
Связанные термины
Latency
Латентность — время задержки между отправкой запроса к AI-системе и получением ответа, критичный показатель для пользовательского опыта.
Kubernetes
Kubernetes (K8s) — платформа оркестрации контейнеров, ставшая стандартом для развёртывания и масштабирования ML-инфраструктуры.
ElevenLabs
ElevenLabs — платформа для синтеза речи и клонирования голоса с помощью AI, создающая наиболее реалистичное звучание.
Чат-бот
Чат-бот — программа для автоматизации общения с пользователями через текстовые сообщения, часто с использованием NLP и LLM.