reymer.ai
D

DPO

Также известен как: Direct Preference Optimization, Прямая оптимизация предпочтений
Машинное обучение

Определение

Direct Preference Optimization — упрощённая альтернатива RLHF, которая напрямую оптимизирует модель на данных предпочтений без необходимости отдельной reward model.

Простое объяснение

Если RLHF — это сложный танец с тремя партнёрами (модель, reward model, RL), то DPO — это простой вальс вдвоём. Результат похожий, но шагов меньше.

Подробнее

DPO переформулирует задачу RLHF как supervised learning task. Вместо обучения reward model и последующей RL-оптимизации, DPO напрямую увеличивает вероятность предпочитаемых ответов и уменьшает вероятность отвергнутых. Математически DPO эквивалентен RLHF с определённой формой reward, но значительно проще в реализации и стабильнее в обучении. Используется в Zephyr, Neural Chat и многих других открытых моделях.

Связанные термины

Unsupervised Learning

Обучение без учителя — тип машинного обучения, при котором модель находит скрытые паттерны в данных без предварительной разметки.

Emergent Abilities

Emergent Abilities — способности, которые появляются у моделей только при достижении определённого масштаба и отсутствуют у меньших версий.

Transformer

Трансформер — архитектура нейронной сети с механизмом внимания (attention), ставшая основой современных языковых моделей и генеративного AI.

NLP

Обработка естественного языка (NLP) — область AI, занимающаяся взаимодействием компьютеров с человеческим языком: понимание, генерация, перевод.

Модель

Модель в ML — обученный алгоритм, который принимает входные данные и выдаёт предсказания или генерирует результат.

KV Cache

KV Cache — механизм кэширования ключей (Keys) и значений (Values) в трансформерах для ускорения авторегрессивной генерации.

Вернуться к глоссарию