Fine-tuning
Определение
Дообучение — процесс адаптации предобученной AI-модели к конкретной задаче или домену путём дополнительного обучения на специализированных данных.
Простое объяснение
Это как взять умного помощника и научить его работать именно в твоей области — например, понимать медицинские термины или юридические документы.
Подробнее
Виды дообучения:
- Full fine-tuning — обновление всех весов модели
- LoRA — обучение только адаптеров (экономично)
- RLHF — дообучение с обратной связью от человека
- Instruction tuning — обучение следовать инструкциям
Это позволяет создать специализированную модель без обучения с нуля.
Связанные термины
Speculative Decoding
Speculative Decoding — метод ускорения inference LLM, где маленькая модель генерирует черновые токены, а большая модель верифицирует их параллельно.
Машинное обучение
Подраздел AI, где алгоритмы учатся на данных и улучшают свои результаты без явного программирования.
VAE
Variational Autoencoder — генеративная модель, которая учится кодировать данные в компактное латентное пространство и декодировать обратно, используя вероятностный подход.
Neural Network
Нейронная сеть — вычислительная система, вдохновлённая структурой мозга, состоящая из связанных узлов (нейронов), обрабатывающих информацию слоями.