Inference
Определение
Инференс — процесс получения предсказаний или результатов от обученной AI-модели на новых входных данных.
Простое объяснение
Это момент, когда AI применяет всё, чему научился, чтобы дать тебе ответ — как когда ты используешь знания на контрольной.
Подробнее
Инференс vs обучение:
- Обучение — создание модели (дорого, долго)
- Инференс — использование модели (быстро, дёшево)
Оптимизация инференса: квантизация, pruning, distillation, специализированные чипы (TPU, NPU).
Связанные термины
VAE
Variational Autoencoder — генеративная модель, которая учится кодировать данные в компактное латентное пространство и декодировать обратно, используя вероятностный подход.
DPO
Direct Preference Optimization — упрощённая альтернатива RLHF, которая напрямую оптимизирует модель на данных предпочтений без необходимости отдельной reward model.
MoE
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.
Machine Learning
Машинное обучение — область AI, в которой алгоритмы обучаются на данных, выявляя закономерности и делая предсказания без явного программирования правил.