Speculative Decoding
Определение
Speculative Decoding — метод ускорения inference LLM, где маленькая модель генерирует черновые токены, а большая модель верифицирует их параллельно.
Простое объяснение
Speculative Decoding — как работа главного редактора с младшим. Младший быстро пишет черновик, главный за один просмотр принимает хорошие абзацы и отмечает плохие для переработки.
Подробнее
Связанные термины
YOLO
YOLO (You Only Look Once) — семейство алгоритмов компьютерного зрения для обнаружения объектов в реальном времени на изображениях и видео.
PEFT
Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.
Quantization
Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.
LoRA
Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.