Обсуждение:Групповая относительная оптимизация политики
Материал из MachineLearning.
(Различия между версиями)
(Новая: {| style="border: 1px solid #dcedc1; background-color: #fcfef8; width: 100%; margin: 1em 0; border-collapse: collapse;" |- | style="width: 60px; text-align: center; vertical-align: top; ...) |
(Новая: {| style="border: 1px solid #dcedc1; background-color: #fcfef8; width: 100%; margin: 1em 0; border-collapse: collapse;" |- | style="width: 60px; text-align: center; vertical-align: top; ...) |
Текущая версия
| ✔ | Напиши статью для MachineLearning.ru на русском языке на тему «Group Relative Policy Optimization». Требования: - это должна быть энциклопедическая статья для профессионального сообщества, а не блоговый пересказ; - объясни, что такое GRPO и в каком контексте метод появился; - сопоставь GRPO с PPO и объясни, почему GRPO часто называют critic-free вариантом PPO; - введи групповую схему: несколько ответов на один запрос, награды внутри группы, среднее, стандартное отклонение, относительное преимущество; - обязательно приведи основную формулу group-normalized advantage и objective с policy ratio и clipping; - упомяни KL-регуляризацию относительно reference policy; - объясни преимущества метода для reasoning LLM и задач с проверяемой наградой; - отдельно опиши ограничения: низкая дисперсия наград, нестабильность при малых группах, зависимость от sampling; - используй вики-формат и математические формулы, совместимые с MachineLearning.ru; - в конце добавь разделы «См. также» и «Литература». Избегай выдуманных исторических деталей. Если формулировки в литературе различаются, подавай их осторожно и нейтрально. Оформление http://www.machinelearning.ru/wiki/index.php?title=MachineLearning:Инструктаж |
