L2-регуляризация

Материал из MachineLearning.

Статья написана с использованием LLM ChatGPT 5.6 Sol - xhigh и проверена участником Юхарев Роман Андреевич 19:11 14 июля 2026 (MSD).

Содержание

1 Определение
2 Гребневая регрессия
3 Затухание весов
4 Байесовская интерпретация
5 Отличие от L1- и L0-регуляризации
6 Нейронные сети
7 Выбор коэффициента
8 Типичные ошибки интерпретации
9 См. также
10 Примечания
11 Литература

L2-регуляризация — добавление к оптимизируемому критерию штрафа, пропорционального сумме квадратов параметров модели. Она ограничивает рост параметров, уменьшает чувствительность оценки к данным и в линейной регрессии приводит к гребневой регрессии (англ. ridge regression). В задачах решения некорректно поставленных линейных систем тот же принцип известен как регуляризация Тихонова.^[1]^[1]

Для нейронных сетей L2-штраф часто связывают с затуханием весов (англ. weight decay). Эти процедуры дают одинаковое обновление при обычном градиентном спуске после согласования коэффициентов, но в общем случае не являются синонимами: при адаптивном масштабировании градиента, например в Adam, добавление L2-штрафа к функции потерь отличается от отдельного уменьшения весов.^[1]

Определение

Пусть $\theta=(\theta_1,\ldots,\theta_p)$ — вектор параметров, а $L(\theta;D)$ — функция потерь на обучающей выборке $D$ . Регуляризованный критерий можно записать как

$L_\lambda(\theta;D)=L(\theta;D)+\frac{\lambda}{2}\|\theta\|_2^2,\qquad \lambda\geq 0,$

где

$\|\theta\|_2^2=\sum_{j=1}^{p}\theta_j^2.$

Коэффициент $1/2$ вводят для удобства, поскольку

$\nabla_\theta\frac{\lambda}{2}\|\theta\|_2^2=\lambda\theta.$

В литературе и программных библиотеках используются также штрафы $\lambda\|\theta\|_2^2$ , $\lambda\|\theta\|_2^2/n$ и другие нормировки. Поэтому численные значения параметра регуляризации нельзя переносить между реализациями, не проверив определение функции потерь, усреднение по объектам и наличие множителя $1/2$ . Например, реализация Ridge в scikit-learn минимизирует $\|y-Xw\|_2^2+\alpha\|w\|_2^2$ , а L2-регуляризатор Keras добавляет $\lambda\sum_j w_j^2$ к функции потерь.^[1]^[1]

L2-регуляризация имеет две эквивалентные формы. Штрафная задача

$\min_\theta\left\{L(\theta;D)+\frac{\lambda}{2}\|\theta\|_2^2\right\}$

при подходящем соответствии между $\lambda$ и $c$ связана с задачей с ограничением

$\min_\theta L(\theta;D),\qquad \|\theta\|_2^2\leq c.$

Точное соответствие требует стандартных условий двойственности и может быть неоднозначным, если решение не единственно. Геометрически допустимая область во второй задаче является евклидовым шаром.

Гребневая регрессия

Замкнутое решение

Для матрицы признаков $X\in\mathbb R^{n\times p}$ , вектора ответов $y\in\mathbb R^n$ и линейной модели $Xw$ рассмотрим критерий

$J(w)=\frac{1}{2}\|y-Xw\|_2^2+\frac{\lambda}{2}\|w\|_2^2.$

Условие стационарности имеет вид

$(X^{\mathsf T}X+\lambda I)w=X^{\mathsf T}y.$

При $\lambda>0$ матрица $X^{\mathsf T}X+\lambda I$ положительно определена, поэтому решение единственно:

$\hat w_\lambda=(X^{\mathsf T}X+\lambda I)^{-1}X^{\mathsf T}y.$

На практике обратную матрицу явно обычно не вычисляют: линейную систему решают с помощью разложения Холецкого, QR-разложения, сингулярного разложения или итерационного метода. Свободный член, как правило, не штрафуют; этого можно добиться центрированием $X$ и $y$ либо отдельным исключением параметра сдвига из штрафа.

Спектральная интерпретация

Пусть сингулярное разложение матрицы признаков имеет вид

$X=U\,\mathrm{diag}(s_1,\ldots,s_r)V^{\mathsf T}.$

Тогда

$\hat w_\lambda=V\,\mathrm{diag}\left(\frac{s_i}{s_i^2+\lambda}\right)U^{\mathsf T}y.$

В предсказаниях компонента вдоль $i$ -го левого сингулярного вектора умножается на коэффициент

$h_i(\lambda)=\frac{s_i^2}{s_i^2+\lambda}.$

Направления с малыми $s_i$ , которые хуже определяются данными и сильнее усиливают шум в обычном методе наименьших квадратов, подавляются сильнее. Добавление $\lambda I$ также улучшает обусловленность нормальных уравнений:

$\kappa(X^{\mathsf T}X+\lambda I)=\frac{s_{\max}^2+\lambda}{s_{\min}^2+\lambda}$

для полного столбцового ранга. Если ранг неполный, в знаменателе появляется $\lambda$ .

Смещение и дисперсия

В линейной модели $y=Xw_*+\varepsilon$ гребневая оценка при $\lambda>0$ обычно смещена:

$\mathbb E[\hat w_\lambda\mid X]=(X^{\mathsf T}X+\lambda I)^{-1}X^{\mathsf T}Xw_*.$

Взамен уменьшается дисперсия оценки, особенно в почти коллинеарных направлениях. Поэтому средняя квадратичная ошибка параметров или предсказаний может быть меньше, чем у несмещённой оценки наименьших квадратов.^[1] Это пример компромисса между смещением и дисперсией; само по себе уменьшение нормы параметров не гарантирует улучшения качества на любой выборке.

Эффективное число степеней свободы линейного сглаживателя можно определить как

$\mathrm{df}(\lambda)=\mathrm{tr}\left(X(X^{\mathsf T}X+\lambda I)^{-1}X^{\mathsf T}\right)=\sum_{i=1}^{r}\frac{s_i^2}{s_i^2+\lambda}.$

Оно непрерывно уменьшается при росте $\lambda$ , хотя число ненулевых коэффициентов обычно остаётся прежним.

Затухание весов

Пусть $g_t=\nabla L(w_t)$ , а $\eta_t$ — скорость обучения. Один шаг обычного градиентного спуска по критерию с L2-штрафом равен

$w_{t+1}=w_t-\eta_t(g_t+\lambda w_t)=(1-\eta_t\lambda)w_t-\eta_t g_t.$

То есть перед или после шага по исходной функции потерь веса умножаются на коэффициент, близкий к единице. Для обычного SGD это и есть эквивалентность L2-регуляризации и multiplicative weight decay после согласования $\lambda$ , скорости обучения и принятой нормировки.

В адаптивном методе шаг можно условно представить как

$w_{t+1}=w_t-\eta_t P_t(g_t+\lambda w_t),$

где диагональная матрица $P_t$ зависит от истории градиентов. Здесь регуляризующий градиент $\lambda w_t$ также масштабируется координатно. При развязанном затухании весов используется другое обновление:

$w_{t+1}=(1-\eta_t\lambda)w_t-\eta_t P_t g_t.$

Именно этот принцип лежит в основе AdamW.^[1] Различие существенно: одинаковое имя параметра weight_decay не гарантирует одинакового алгоритма. Следует проверять документацию оптимизатора и выяснять, добавляется ли штраф к функции потерь либо затухание применяется отдельным шагом.

Эквивалентность может нарушаться и при дополнительных преобразованиях обновления: координатном предобусловливании, некоторых вариантах импульса, ограничениях параметров или ручном изменении весов. Поэтому безопаснее различать:

L2-штраф — член $\lambda\|w\|_2^2/2$ в целевой функции;
weight decay — явно заданное уменьшение параметров в правиле оптимизации;
AdamW — адаптивный оптимизатор с развязанным затуханием весов.

Байесовская интерпретация

Рассмотрим линейную регрессию с гауссовским шумом

$y\mid X,w\sim\mathcal N(Xw,\sigma^2 I)$

и изотропным гауссовским априорным распределением параметров

$w\sim\mathcal N(0,\tau^2 I).$

Отрицательный логарифм апостериорной плотности с точностью до не зависящей от $w$ константы равен

$-\log p(w\mid X,y)=\frac{1}{2\sigma^2}\|y-Xw\|_2^2+\frac{1}{2\tau^2}\|w\|_2^2+\mathrm{const}.$

Следовательно, оценка максимума апостериорной плотности (MAP) совпадает с гребневой оценкой, если отношение коэффициентов согласовано, например $\lambda=\sigma^2/\tau^2$ для критерия без деления ошибки на $n$ . Меньшая априорная дисперсия означает более сильное стягивание параметров к нулю.

Эта интерпретация имеет границы. L2-регуляризированная оптимизация выдаёт точечную MAP-оценку, а не полное апостериорное распределение и не байесовское усреднение предсказаний. Значение $\lambda$ , выбранное кросс-валидацией, также не обязано буквально быть отношением известных дисперсий. Кроме того, независимый гауссовский prior в пространстве весов может задавать нетривиальное и зависящее от параметризации распределение функций нейронной сети.

Неизотропная гауссовская априорная плотность приводит к обобщённой регуляризации Тихонова. Если $w\sim\mathcal N(w_0,\Sigma_0)$ , то штраф имеет вид

$\frac{1}{2}(w-w_0)^{\mathsf T}\Sigma_0^{-1}(w-w_0).$

Он позволяет по-разному штрафовать направления и стягивать параметры не обязательно к нулю.

Отличие от L1- и L0-регуляризации

Свойство	L2	L1	L0
Штраф	$\lambda\sum_j\theta_j^2$	$\lambda\sum_j\|\theta_j\|$	$\lambda\sum_j\mathbf 1[\theta_j\ne 0]$
Поведение коэффициентов	Плавно стягивает к нулю; точные нули нетипичны	Часто даёт точные нули	Непосредственно ограничивает число ненулевых коэффициентов
Гладкость	Гладкий выпуклый штраф	Выпуклый, но негладкий в нуле	Дискретный и невыпуклый
Типичная вычислительная задача	Гладкая оптимизация; у ridge есть замкнутое решение	Проксимальные и координатные методы	Комбинаторный выбор подмножества
Простейшая MAP-интерпретация	Гауссовское априорное распределение	Лапласовское априорное распределение	Априорная модель выбора включённых признаков

L1-регуляризация лежит в основе лассо и одновременно выполняет стягивание и отбор признаков.^[1] L2-регуляризация, напротив, обычно распределяет вес между коррелированными признаками и сохраняет их коэффициенты ненулевыми.

Обозначение $\|\theta\|_0$ традиционно используют для числа ненулевых компонент, хотя математической нормой эта величина не является. Точное решение задачи разреженного приближения с L0-критерием в общем случае вычислительно трудно; для одной из стандартных постановок доказана NP-трудность.^[1]

Существуют смешанные штрафы. Например, elastic net объединяет L1- и L2-члены, сочетая разреженность с более устойчивым поведением при коррелированных признаках.

Нейронные сети

В нейронной сети L2-штраф часто применяют к матрицам весов, но не ко всем обучаемым величинам. Свободные члены, параметры сдвига и масштаба нормализационных слоёв, а иногда и эмбеддинги помещают в отдельные группы параметров. Причины зависят от архитектуры: штрафование сдвига может быть нежелательно, а в слоях с нормализацией масштаб некоторых весов не меняет вычисляемую функцию и влияет главным образом на динамику оптимизации.

Для многослойной модели малая сумма квадратов весов не равна напрямую малой сложности функции. У положительно однородных активаций масштаб одного слоя можно увеличить, а следующего уменьшить, почти не изменив предсказание. Поэтому L2-регуляризация задаёт предпочтение в конкретной параметризации, а её действие складывается с архитектурой, нормализацией, аугментацией данных, размером пакета, расписанием скорости обучения и ранней остановкой.

Практически важно различать два эффекта:

изменение оптимизируемого критерия и предпочтение параметров меньшей нормы;
изменение траектории оптимизации и эффективной длины шага.

В глубоких моделях эти эффекты трудно полностью отделить. Даже при одинаковой конечной обучающей ошибке различные сочетания скорости обучения и weight decay могут приводить к разным решениям.

Выбор коэффициента

Коэффициент $\lambda$ является гиперпараметром. Его выбирают по валидационной выборке или во внутреннем цикле кросс-валидации, не используя итоговую тестовую выборку. Обычно проверяют логарифмическую сетку, поскольку полезные значения могут отличаться на несколько порядков.

Перед выбором $\lambda$ следует зафиксировать соглашения:

суммируется или усредняется функция потерь по объектам;
присутствует ли множитель $1/2$ ;
какие группы параметров штрафуются;
используется L2-член в функции потерь или развязанный weight decay;
как меняется скорость обучения и умножается ли на неё коэффициент затухания.

В линейных моделях признаки обычно стандартизуют. Без стандартизации один и тот же L2-штраф сильнее ограничивает коэффициент признака с меньшим численным масштабом, хотя его вклад в предсказание может быть сопоставим с вкладом другого признака. Предобработку требуется оценивать только на обучающей части каждого фолда, иначе возникает утечка данных.

При $\lambda=0$ получается исходная нерегуляризованная задача. При $\lambda\to\infty$ штрафуемые параметры стремятся к нулю, но свободный член или исключённые группы могут оставаться ненулевыми. Слишком большое значение приводит к недообучению, а слишком малое может не подавить нестабильные направления.

Типичные ошибки интерпретации

«L2 всегда делает модель разреженной». В отличие от L1, гладкий квадратичный штраф обычно уменьшает коэффициенты, но не обращает их точно в ноль.
«Weight decay всегда равен L2-регуляризации». Равенство непосредственно выполняется для обычного градиентного шага после согласования коэффициентов; у адаптивных оптимизаторов L2 и развязанное затухание различаются.^[1]
«Байесовская интерпретация даёт неопределённость модели». Обычная L2-оптимизация даёт MAP-точку; для оценки неопределённости нужно аппроксимировать или вычислять апостериорное распределение.
«Значение $\lambda$ универсально». Оно зависит от масштаба признаков, нормировки потерь, размера выборки и определения регуляризатора в библиотеке.
«Все параметры нужно штрафовать одинаково». В архитектурах с нормализацией и неоднородными типами параметров часто используют отдельные группы и проверяют это решение экспериментально.
«Чем сильнее регуляризация, тем лучше обобщение». Чрезмерное стягивание увеличивает смещение и приводит к недообучению.

См. также

Примечания

Литература

Тихонов А. Н. О регуляризации некорректно поставленных задач // Доклады АН СССР. 1963. Т. 153, № 1. С. 49–52.
Hoerl A. E., Kennard R. W. Ridge Regression: Biased Estimation for Nonorthogonal Problems // Technometrics. 1970. Vol. 12, No. 1. P. 55–67.
Hanson S. J., Pratt L. Y. Comparing Biases for Minimal Network Construction with Back-Propagation // Advances in Neural Information Processing Systems 1. 1989. P. 177–185.
Tibshirani R. Regression Shrinkage and Selection via the Lasso // Journal of the Royal Statistical Society: Series B. 1996. Vol. 58, No. 1. P. 267–288.
Loshchilov I., Hutter F. Decoupled Weight Decay Regularization // International Conference on Learning Representations. 2019.
Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
Goodfellow I., Bengio Y., Courville A. Deep Learning. MIT Press, 2016. Гл. 7.

Источник — «http://recognition.su/wiki/index.php?title=L2-%D1%80%D0%B5%D0%B3%D1%83%D0%BB%D1%8F%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F»

Категории: Машинное обучение | Энциклопедия анализа данных