QLoRA
Определение
Quantized LoRA — усовершенствованная версия LoRA, сочетающая квантизацию модели до 4 бит с адаптацией низкого ранга.
Простое объяснение
Если LoRA — это добавление стикеров к энциклопедии, то QLoRA — это сначала сжатие энциклопедии в карманный формат, а потом добавление стикеров. Ещё компактнее и экономнее.
Подробнее
Связанные термины
Speculative Decoding
Speculative Decoding — метод ускорения inference LLM, где маленькая модель генерирует черновые токены, а большая модель верифицирует их параллельно.
Фича
Фича (признак, feature) — входной параметр или характеристика данных, используемая ML-моделью для обучения и предсказаний.
Computer Vision
Компьютерное зрение — область AI, которая обучает машины «видеть» и понимать визуальную информацию: изображения и видео.
Machine Learning
Машинное обучение — область AI, в которой алгоритмы обучаются на данных, выявляя закономерности и делая предсказания без явного программирования правил.
Zero-shot Learning
Zero-shot обучение — способность AI выполнять задачи, на которых модель не обучалась напрямую, используя общие знания и инструкции.
CLIP
CLIP (Contrastive Language-Image Pre-training) — модель OpenAI, связывающая изображения и текст в общем пространстве представлений.