GGUF
Определение
GGUF (GPT-Generated Unified Format) — формат файлов для хранения квантизированных языковых моделей, оптимизированный для локального запуска через llama.cpp.
Простое объяснение
GGUF — как MP3 для музыки, но для AI-моделей. Сжимает огромную модель до размера, который помещается на обычный компьютер, с минимальной потерей качества.
Подробнее
Связанные термины
Whisper
Whisper — открытая модель распознавания речи от OpenAI, способная транскрибировать и переводить аудио на 99 языках.
Latency
Латентность — время задержки между отправкой запроса к AI-системе и получением ответа, критичный показатель для пользовательского опыта.
Voice AI
Голосовой AI — технологии распознавания речи (Speech-to-Text), синтеза речи (Text-to-Speech) и голосовых ассистентов.
TPU
TPU (Tensor Processing Unit) — специализированный AI-ускоритель, разработанный Google для обучения и inference нейронных сетей.