reymer.ai
G

GGUF

Также известен как: GPT-Generated Unified Format, GGML
Инструменты

Определение

GGUF (GPT-Generated Unified Format) — формат файлов для хранения квантизированных языковых моделей, оптимизированный для локального запуска через llama.cpp.

Простое объяснение

GGUF — как MP3 для музыки, но для AI-моделей. Сжимает огромную модель до размера, который помещается на обычный компьютер, с минимальной потерей качества.

Подробнее

GGUF пришёл на смену GGML как стандарт для локального запуска LLM. Формат поддерживает различные уровни квантизации (Q2_K, Q4_K_M, Q8_0 и др.), хранит метаданные модели в едином файле и оптимизирован для быстрой загрузки. llama.cpp, ollama, LM Studio и другие инструменты используют GGUF для запуска моделей на CPU и GPU потребительского уровня. На TheBloke можно найти GGUF-версии популярных моделей.

Связанные термины

Whisper

Whisper — открытая модель распознавания речи от OpenAI, способная транскрибировать и переводить аудио на 99 языках.

Stable Diffusion

Stable Diffusion — открытая модель генерации изображений по текстовому описанию, ставшая основой экосистемы AI-инструментов для творчества.

MLOps

MLOps — практики и инструменты для управления жизненным циклом ML-моделей: от разработки до deployment и мониторинга в production.

OCR

Оптическое распознавание символов (OCR) — технология AI для преобразования изображений текста (сканов, фото) в редактируемый цифровой текст.

Replicate

Replicate — платформа для запуска open-source AI-моделей через API без необходимости управления инфраструктурой.

Ollama

Ollama — инструмент для простого локального запуска больших языковых моделей одной командой, с поддержкой популярных моделей и API, совместимым с OpenAI.

Вернуться к глоссарию