Перекрестная энтропия

Материал из MachineLearning.

Версия от 10:37, 15 июля 2026; Oleg Aleksandrov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM DeepSeek-V4 и проверена участником Oleg Aleksandrov 14:37, 15 июля 2026 (MSD)

Перекрестная энтропия (англ. cross-entropy) — фундаментальное понятие теории информации, широко используемое в машинном обучении в качестве функции потерь для задач классификации и вероятностного моделирования. Она количественно измеряет расхождение между двумя распределениями вероятностей: истинным $P$ и модельным $Q$ . Минимизация перекрёстной энтропии эквивалентна максимизации правдоподобия данных, а также минимизации дивергенции Кульбака–Лейблера между эмпирическим распределением и предсказаниями модели.

Содержание

1 Интуитивное определение
2 Формальное определение
3 Связь с энтропией и расстоянием Кульбака–Лейблера
4 Перекрёстная энтропия как функция потерь
5 Градиенты и поведение при оптимизации
6 Численная устойчивость
7 Информационно-теоретическая интерпретация
8 Модификации и расширения
9 Сравнение с другими функциями потерь
10 Литература

Интуитивное определение

Если события порождаются распределением $P$ , а для кодирования используется код, оптимальный для $Q$ , средняя длина сообщения (в битах при двоичном логарифме) равна перекрёстной энтропии $H(P,Q)$ . Совпадение $Q = P$ даёт минимальную среднюю длину — собственную энтропию $H(P)$ . Любое отклонение $Q$ от $P$ создаёт избыточность, которую и фиксирует перекрёстная энтропия.

В машинном обучении $P$ обычно задано one-hot-вектором метки класса, а $Q$ — выходом модели. Штраф, пропорциональный логарифмической вероятности, назначенной истинному классу, поощряет калиброванные вероятностные выходы и сильнее наказывает за уверенные, но ошибочные предсказания.

Формальное определение

Для дискретных распределений $P$ и $Q$ на общем пространстве $\mathcal{X}$ $H(P,Q) = -\sum_{x \in \mathcal{X}} P(x) \log Q(x).$ В непрерывном случае с плотностями $p(x)$ и $q(x)$ используется $H(P,Q) = -\int_{\mathcal{X}} p(x) \log q(x)\,dx,$ при условии существования интеграла. Основание логарифма определяет единицы: биты (основание 2) или наты (натуральный логарифм). В машинном обучении применяют натуральный логарифм, связывая перекрёстную энтропию с отрицательным логарифмическим правдоподобием.

Перекрёстная энтропия неотрицательна, несимметрична и достигает минимума $H(P)$ тогда и только тогда, когда $Q = P$ почти всюду.

Связь с энтропией и расстоянием Кульбака–Лейблера

Справедливо тождество $H(P,Q) = H(P) + D_{\text{KL}}(P \parallel Q),$ где $H(P) = -\sum_x P(x) \log P(x)$ — энтропия $P$ , а $D_{\text{KL}}$ — Дивергенция Кульбака–Лейблера. Поскольку $H(P)$ фиксирована, минимизация $H(P,Q)$ по параметрам модели $Q$ эквивалентна минимизации дивергенции Кульбака–Лейблера. Это свойство делает перекрёстную энтропию естественной целевой функцией при обучении вероятностных моделей.

Перекрёстная энтропия как функция потерь

Бинарная классификация

При бинарной метке $y \in \{0,1\}$ истинное распределение вырождено: $P(1)=y,\; P(0)=1-y$ . Модель предсказывает $\hat{y} \in [0,1]$ — вероятность класса 1. Бинарная перекрёстная энтропия (Binary Cross-Entropy, BCE) для одного примера: $\mathcal{L}_{\text{BCE}} = -\bigl[ y \log \hat{y} + (1-y) \log (1-\hat{y}) \bigr].$ Для выборки из $N$ независимых примеров средняя потеря $\mathcal{L} = -\frac{1}{N} \sum_{i=1}^{N} \bigl[ y_i \log \hat{y}_i + (1-y_i) \log (1-\hat{y}_i) \bigr]$ есть отрицательное логарифмическое правдоподобие в модели Бернулли. Минимизация BCE эквивалентна обучению логистической регрессии или нейронной сети с сигмоидой на выходе методом максимального правдоподобия.

Многоклассовая классификация

Для $K$ взаимоисключающих классов истинная метка представлена one-hot вектором $\mathbf{y} = (y_1,\ldots,y_K)$ . Модель выдаёт вероятностный вектор $\hat{\mathbf{y}} = (\hat{y}_1,\ldots,\hat{y}_K)$ , обычно полученный через softmax. Категориальная перекрёстная энтропия (Categorical Cross-Entropy) для одного объекта: $\mathcal{L}_{\text{CCE}} = -\sum_{c=1}^{K} y_c \log \hat{y}_c.$ Из-за one-hot представления сумма сводится к $-\log \hat{y}_{c^*}$ для истинного класса $c^*$ . Модель штрафуется исключительно за логарифм вероятности правильного класса. Усреднение по обучающей выборке даёт оценку перекрёстной энтропии между эмпирическим распределением меток и предсказаниями.

Связь с правдоподобием

Обе формы — BCE и CCE — представляют собой отрицательное логарифмическое правдоподобие для соответствующих параметрических семейств (Бернулли и категориального). Для многоклассового случая: $\mathcal{L} = -\frac{1}{N} \sum_{i=1}^{N} \log P(y_i \mid \mathbf{x}_i; \theta) = -\frac{1}{N} \sum_{i=1}^{N} \sum_{c=1}^{K} y_{i,c} \log \hat{y}_{i,c},$ где $\theta$ — параметры модели. Обучение перекрёстной энтропией реализует принцип максимума правдоподобия.

Градиенты и поведение при оптимизации

В бинарном случае производная BCE по логиту $z$ (до сигмоиды $\hat{y} = \sigma(z)$ ) имеет простой вид: $\frac{\partial \mathcal{L}_{\text{BCE}}}{\partial z} = \hat{y} - y.$ В многоклассовом случае с softmax $\hat{y}_c = e^{z_c} / \sum_j e^{z_j}$ градиент по логиту $z_c$ : $\frac{\partial \mathcal{L}_{\text{CCE}}}{\partial z_c} = \hat{y}_c - y_c.$ Линейная зависимость градиента от ошибки выгодно отличает перекрёстную энтропию от квадратичной функции потерь (MSE). Среднеквадратичная ошибка $\frac12(y-\hat{y})^2$ с сигмоидой даёт градиент, пропорциональный $(\hat{y}-y)\,\hat{y}(1-\hat{y})$ , который экспоненциально затухает при приближении предсказания к 0 или 1. Перекрёстная энтропия лишена этого эффекта насыщения сигмоиды, обеспечивая стабильное обучение даже при крайне неправильных или самоуверенных предсказаниях. Это свойство — одна из главных причин доминирования перекрёстной энтропии в глубоких нейросетях для классификации.

Численная устойчивость

Прямое вычисление $\log(\text{softmax}(z))$ или $\log(\sigma(z))$ может приводить к переполнению или исчезновению порядка. Стандартная практика — работа с логитами и численно устойчивые реализации:

бинарная кросс-энтропия с логитами: $\mathcal{L} = \max(z,0) - z \cdot y + \log(1 + e^{-|z|})$ ;
категориальная кросс-энтропия с логитами использует трюк log-sum-exp:

$\log \hat{y}_c = z_c - \bigl( \max_j z_j + \log\sum_j e^{z_j - \max_k z_k} \bigr).$ Современные фреймворки (PyTorch, TensorFlow) предоставляют функции типа cross_entropy с параметром from_logits=True или softmax_cross_entropy_with_logits, которые реализуют подобные приёмы.

Информационно-теоретическая интерпретация

В кодировании источников $H(P,Q)$ — среднее число натов (или битов), необходимое для представления события, порождённого $P$ , кодом, оптимальным для $Q$ . Кодовая длина $-\log Q(x)$ соответствует идеальному коду Шеннона для $Q$ . Минимизация перекрёстной энтропии на тренировочных данных строит вероятностную модель $Q$ , требующую наименьшего количества информации для «описания» истинной структуры данных. Отсюда естественное применение в языковых моделях: перплексия $e^{H(P,Q)}$ измеряет, насколько модель «удивлена» тестовыми данными.

Модификации и расширения

Взвешенная перекрёстная энтропия (Weighted Cross-Entropy). При дисбалансе классов вводится вес $\alpha_c$ для каждого класса: $-\sum_c \alpha_c y_c \log \hat{y}_c$ . Это смещает фокус модели в пользу редких классов.
Label smoothing (сглаживание меток). Жёсткие метки заменяются на $y_c^{\text{LS}} = (1-\varepsilon)y_c + \varepsilon/K$ . Эквивалентно регуляризации, препятствующей излишней уверенности модели, и улучшает калибровку и обобщение.
Focal loss. Предложен для задач детекции объектов (Lin et al., 2017): $\mathcal{L}_{\text{focal}} = -(1-\hat{y}_{c^*})^\gamma \log \hat{y}_{c^*}$ . Множитель $(1-\hat{y}_{c^*})^\gamma$ снижает вклад хорошо классифицированных примеров, фокусируя обучение на трудных случаях и решая проблему крайнего дисбаланса фона и объектов.
Непрерывные распределения. В регрессии, где модель параметризует гауссово распределение $q(\cdot)=\mathcal{N}(\mu(x),\sigma^2)$ , перекрёстная энтропия с целевым распределением сводится к сумме квадратичной ошибки и константы, показывая, что MSE — частный случай перекрёстной энтропии при фиксированной дисперсии.
Генеративные модели. В вариационных автоэнкодерах (VAE) перекрёстная энтропия (или её непрерывный аналог) входит в нижнюю вариационную границу (ELBO) как мера качества восстановления данных.

Сравнение с другими функциями потерь

Функция потерь	Сильные стороны	Недостатки в задачах вероятностной классификации
Перекрёстная энтропия	Хорошие градиенты, статистическая обоснованность (MLE), естественная калибровка	Чувствительность к выбросам и неверным уверенным меткам (без сглаживания)
Hinge loss (SVM)	Разреженное решение, ориентация на границу решений	Не даёт вероятностных оценок, градиенты менее информативны
MSE	Гладкость, интерпретация как гауссово правдоподобие	Насыщение градиентов с сигмоидой, не подходит для распределений Бернулли

Перекрёстная энтропия остаётся стандартным выбором в нейросетевых классификаторах — от логистической регрессии до больших языковых моделей — благодаря сочетанию теоретической строгости и численных преимуществ.

Литература

Shannon C. E. A Mathematical Theory of Communication // Bell System Technical Journal. — 1948. — Т. 27. — № 3. — С. 379–423.
Kullback S., Leibler R. A. On Information and Sufficiency // Annals of Mathematical Statistics. — 1951. — Т. 22. — № 1. — С. 79–86.
Goodfellow I., Bengio Y., Courville A. Deep Learning. — MIT Press, 2016.
Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006.
Lin T.-Y., Goyal P., Girshick R., He K., Dollár P. Focal Loss for Dense Object Detection // Proceedings of the IEEE International Conference on Computer Vision (ICCV). — 2017. — С. 2980–2988.
Szegedy C., Vanhoucke V., Ioffe S., Shlens J., Wojna Z. Rethinking the Inception Architecture for Computer Vision // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2016. — С. 2818–2826.
Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — 2-е. — Springer, 2009.

Источник — «http://recognition.su/wiki/index.php?title=%D0%9F%D0%B5%D1%80%D0%B5%D0%BA%D1%80%D0%B5%D1%81%D1%82%D0%BD%D0%B0%D1%8F_%D1%8D%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F»