Д
Дистилляция модели
Также известен как: Knowledge distillation, дистилляция знаний, дистилляция моделей ИИ
Машинное обучениеОпределение
Дистилляция (knowledge distillation) — обучение небольшой модели-ученика на ответах большой модели-учителя. Ученик почти не уступает учителю в нужных задачах, но работает быстрее и дешевле.
Простое объяснение
Опытный мастер не пересказывает ученику всю библиотеку, а показывает, как решать нужные задачи. Ученик знает меньше, но в своём деле справляется почти так же.
Подробнее
Так получают компактные версии больших моделей для смартфонов и собственных серверов. Например, DeepSeek выпустила небольшие модели, дистиллированные из своей рассуждающей модели R1.
Дистилляцию часто сочетают с квантизацией: первая уменьшает число параметров, вторая сжимает каждый из них.
Как термин связан с другими
Открыть карту связей- Сначала разберитесь
- Fine-tuning
- Дальше
- Edge AI
- Опирается на
- Рассуждающая модель
- На нём строится
- DeepSeek
- Сравнивают с
- Quantization