Inference
Определение
Инференс — процесс получения предсказаний или результатов от обученной AI-модели на новых входных данных.
Простое объяснение
Это момент, когда AI применяет всё, чему научился, чтобы дать тебе ответ — как когда ты используешь знания на контрольной.
Подробнее
Инференс vs обучение:
- Обучение — создание модели (дорого, долго)
- Инференс — использование модели (быстро, дёшево)
Оптимизация инференса: квантизация, pruning, distillation, специализированные чипы (TPU, NPU).
Связанные термины
LoRA
Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.
Deep Learning
Глубокое обучение — подраздел машинного обучения, использующий многослойные нейронные сети для обработки сложных данных и выявления абстрактных паттернов.
Zero-shot Learning
Zero-shot обучение — способность AI выполнять задачи, на которых модель не обучалась напрямую, используя общие знания и инструкции.
PEFT
Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.
Adapter
Адаптер — небольшой обучаемый модуль, встраиваемый между слоями предобученной модели для её адаптации под новые задачи без изменения основных весов.
Машинное обучение
Подраздел AI, где алгоритмы учатся на данных и улучшают свои результаты без явного программирования.