GGUF
Определение
GGUF (GPT-Generated Unified Format) — формат файлов для хранения квантизированных языковых моделей, оптимизированный для локального запуска через llama.cpp.
Простое объяснение
GGUF — как MP3 для музыки, но для AI-моделей. Сжимает огромную модель до размера, который помещается на обычный компьютер, с минимальной потерей качества.
Подробнее
Связанные термины
OCR
Оптическое распознавание символов (OCR) — технология AI для преобразования изображений текста (сканов, фото) в редактируемый цифровой текст.
Vector Database
Векторная база данных — специализированное хранилище для эмбеддингов, оптимизированное для семантического поиска по сходству векторов.
Latency
Латентность — время задержки между отправкой запроса к AI-системе и получением ответа, критичный показатель для пользовательского опыта.
Edge AI
Edge AI — выполнение AI-алгоритмов непосредственно на конечных устройствах (смартфонах, камерах, датчиках) без отправки данных в облако.