Обсуждение:Прямая оптимизация предпочтений

Напиши статью для MachineLearning.ru на русском языке на тему «Direct Preference Optimization».

Требования:
- это должна быть энциклопедическая вики-статья, а не обзор в блоговом стиле;
- объясни, что такое DPO и зачем он был предложен;
- сопоставь DPO с классическим RLHF-конвейером: preference data, reward model, PPO;
- объясни основную идею DPO через пары ответов chosen/rejected и опорную модель;
- не перегружай статью формулами, но аккуратно поясни смысл функции потерь и роль регуляризации;
- выдели преимущества и ограничения метода;
- покажи, почему DPO удобно рассматривать как мост между supervised fine-tuning и reinforcement learning;
- упомяни связь с современным post-training LLM и родственными методами вроде GRPO;
- используй внутренние вики-ссылки на ключевые термины;
- в конце добавь разделы «См. также» и «Литература»;
- избегай вымышленных деталей и чрезмерно категоричных утверждений;
- стиль должен быть плотным, аккуратным и похожим на статью для профессионального сообщества.

Если в литературе есть нюансы интерпретации DPO, подавай их осторожно и без упрощений, которые искажают суть метода.



Оформление http://www.machinelearning.ru/wiki/index.php?title=MachineLearning:Инструктаж