Теория информации

Материал из MachineLearning.

Статья написана с использованием LLM Claude Sonnet 4.5 и проверена участником Artem Abdulmanov 18:52, 15 июля 2026 (MSD)

Промпт приводится полностью в Обсуждение:Теория информации

Содержание

1 Введение
2 Мотивировка и историческая справка
3 Математический аппарат
4 Применение в машинном обучении
5 Современные подходы и State-of-the-Art (SOTA)
6 См. также
7 Примечания
8 Литература

Введение

Теория информации (англ. information theory) — раздел прикладной математики и теории вероятностей, изучающий количественные закономерности хранения, преобразования и передачи информации, а также предоставляющий строгий вероятностный аппарат для измерения неопределённости случайных величин и степени их взаимосвязи. Центральная идея теории заключается в том, что количество информации, содержащееся в сообщении о некотором событии, обратно связано с вероятностью этого события: чем менее ожидаемо событие, тем больше информации несёт сообщение о его наступлении. Для современного машинного обучения теория информации является одной из ключевых математических опор. Практически все стандартные функции потерь — в частности, кросс-энтропия, используемая при обучении классификаторов и нейронных сетей, — представляют собой прямое следствие информационно-теоретических принципов. Понятия энтропии и взаимной информации лежат в основе критериев построения деревьев решений, методов снижения размерности, вариационных автоэнкодеров и современных подходов к самообучению без учителя (Self-Supervised Learning). Таким образом, теория информации задаёт язык, на котором формулируется сама задача обучения: как найти вероятностную модель, наименее «удивляющуюся» наблюдаемым данным.

Мотивировка и историческая справка

Возникновение теории информации связано с фундаментальной работой американского математика и инженера Клода Шеннона «A Mathematical Theory of Communication», опубликованной в 1948 году^[1]. Работая в Bell Labs, Шеннон решал сугубо инженерную задачу: как надёжно и эффективно передавать сообщения по каналу связи, подверженному шуму, минимизируя избыточность кодирования. В рамках этой работы он ввёл строгую вероятностную меру неопределённости источника сообщений — энтропию, а также доказал фундаментальные теоремы о предельно достижимой степени сжатия данных (теорема о кодировании источника) и о максимальной пропускной способности зашумлённого канала (теорема о кодировании канала). Изначально теория информации формировалась как раздел теории связи, однако её математический аппарат оказался универсальным описанием неопределённости произвольной случайной величины, независимо от физической природы источника. Ключевой концептуальный переход для машинного обучения состоит в следующем: если рассматривать обучающую выборку как реализацию некоторого истинного, но неизвестного распределения $p(x)$ , а модель — как приближающее его распределение $q(x)$ , то задача обучения сводится к минимизации информационного «расстояния» между $p$ и $q$ . Максимизация правдоподобия (Maximum Likelihood Estimation) оказывается математически эквивалентна минимизации кросс-энтропии между эмпирическим и модельным распределениями, что и объясняет повсеместное использование информационно-теоретических величин в качестве функций потерь.

Математический аппарат

Ниже приведены базовые метрики теории информации в порядке возрастания сложности — от неопределённости одного события до сопоставления двух распределений.

Собственная информация

Собственная информация (self-information, или surprisal) события $x$ с вероятностью $p(x)$ определяется как

$I(x) = -\log p(x) = \log \frac{1}{p(x)}$

Величина $I(x)$ тем больше, чем менее вероятно событие: достоверное событие ( $p(x)=1$ ) несёт нулевую информацию, тогда как крайне редкое событие несёт информацию, стремящуюся к бесконечности. При использовании логарифма по основанию 2 единицей измерения служит бит, при использовании натурального логарифма — нат; в машинном обучении, как правило, применяется натуральный логарифм.

Энтропия Шеннона

Энтропия случайной величины $X$ с распределением $p(x)$ — это математическое ожидание собственной информации, то есть средняя неопределённость источника:

$H(X) = -\sum_{x \in \mathcal{X}} p(x) \log p(x) = \mathbb{E}_{x \sim p}\left[-\log p(x)\right]$

Энтропия максимальна для равномерного распределения (максимальная непредсказуемость) и равна нулю для вырожденного распределения (полная определённость).

Совместная и условная энтропия

Совместная энтропия пары случайных величин $X, Y$ измеряет суммарную неопределённость их совместного распределения:

$H(X, Y) = -\sum_{x, y} p(x, y) \log p(x, y)$

Условная энтропия $H(Y \mid X)$ отражает неопределённость, остающуюся в $Y$ после того, как значение $X$ уже известно:

$H(Y \mid X) = -\sum_{x, y} p(x, y) \log p(y \mid x) = H(X, Y) - H(X)$

Взаимная информация

Взаимная информация (Mutual Information) количественно выражает, насколько знание одной случайной величины уменьшает неопределённость другой:

$I(X; Y) = \sum_{x, y} p(x, y) \log \frac{p(x, y)}{p(x), p(y)} = H(X) - H(X \mid Y) = H(Y) - H(Y \mid X)$

Взаимная информация симметрична, неотрицательна и обращается в ноль тогда и только тогда, когда $X$ и $Y$ независимы.

Дивергенция Кульбака–Лейблера

Дивергенция Кульбака–Лейблера (KL Divergence)^[1] измеряет несходство между двумя распределениями $p(x)$ и $q(x)$ , заданными на одном и том же пространстве событий:

$D_{KL}(p \parallel q) = \sum_{x} p(x) \log \frac{p(x)}{q(x)}$

Важно, что $D_{KL}(p \parallel q) \neq D_{KL}(q \parallel p)$ , то есть эта величина не является метрикой в строгом смысле (не симметрична и не удовлетворяет неравенству треугольника), но всегда неотрицательна ( $D_{KL} \geq 0$ , лемма Гиббса) и равна нулю только при $p \equiv q$ .

Перекрёстная энтропия

Перекрестная энтропия (Cross-Entropy) измеряет среднее число бит (или нат), необходимое для кодирования событий, порождённых распределением $p$ , при использовании кода, оптимального для распределения $q$ :

$H(p, q) = -\sum_{x} p(x) \log q(x)$

Между кросс-энтропией, энтропией и KL-дивергенцией существует прямая связь:

$H(p, q) = H(p) + D_{KL}(p \parallel q)$

Поскольку в задачах обучения $H(p)$ (энтропия истинного распределения данных) является константой относительно параметров модели, минимизация кросс-энтропии эквивалентна минимизации KL-дивергенции между истинным и модельным распределениями.

$H(p, q) = H(p) + D_{KL}(p \parallel q)$

Рекомендую для дополнительного чтения: для визуальной интуиции энтропии и KL-дивергенции см. эссе Кристофера Ола «Visual Information Theory» (colah.github.io, 2015) — один из самых наглядных разборов темы с интерактивными иллюстрациями.Также есть перевод на русский «Визуальная теория информации (часть 1)»

Применение в машинном обучении

Кросс-энтропия как функция потерь

В задачах классификации кросс-энтропия является стандартной функцией потерь. Для логистической регрессии (бинарная классификация) минимизируемая величина имеет вид

$\mathcal{L} = -\frac{1}{N}\sum_{i=1}^{N}\left[y_i \log \hat{y}_i + (1-y_i)\log(1-\hat{y}_i)\right]$

где $y_i$ — истинная метка, а $\hat{y}_i$ — предсказанная моделью вероятность. Для многоклассовой классификации в нейронных сетях выход последнего слоя преобразуется функцией softmax в распределение вероятностей, после чего минимизируется кросс-энтропия между one-hot вектором истинного класса и предсказанным распределением. Как показано выше, это эквивалентно максимизации логарифмического правдоподобия модели.

KL-дивергенция в VAE и снижении размерности

В вариационных автоэнкодерах (VAE) KL-дивергенция регуляризует латентное распределение, приближая апостериорное распределение $q(z \mid x)$ , порождаемое энкодером, к заданному априорному распределению $p(z)$ (как правило, стандартному нормальному). Итоговая функция потерь — вариационная нижняя граница обоснованности (ELBO) — имеет вид

$\mathcal{L}{ELBO} = \mathbb{E}{q(z|x)}\left[\log p(x \mid z)\right] - D_{KL}\big(q(z \mid x) \parallel p(z)\big)$

где первое слагаемое отвечает за качество реконструкции, а второе — за регуляризацию латентного пространства. В алгоритме t-SNE, применяемом для визуализации многомерных данных, KL-дивергенция минимизируется между совместным распределением сходств точек в исходном многомерном пространстве и аналогичным распределением в низкоразмерном отображении, что позволяет сохранить локальную структуру данных при проекции.

Энтропия и Information Gain в деревьях решений

При построении деревьев решений (алгоритмы ID3, C4.5) критерий выбора признака для разбиения узла основан на приросте информации (Information Gain) — уменьшении энтропии целевой переменной после разбиения:

$IG(S, A) = H(S) - \sum_{v \in \text{Values}(A)} \frac{|S_v|}{|S|} H(S_v)$

где $S$ — множество примеров в узле, $A$ — признак, а $S_v$ — подмножество, соответствующее значению $v$ признака $A$ . Алгоритм выбирает признак, максимизирующий прирост информации, добиваясь наибольшего уменьшения неопределённости целевой переменной на каждом шаге.

Современные подходы и State-of-the-Art (SOTA)

Принцип Information Bottleneck (информационное узкое горлышко), предложенный Тишби и соавторами, формализует задачу глубокого обучения как поиск компактного представления $Z$ входных данных $X$ , которое максимально информативно относительно целевой переменной $Y$ , но при этом минимально сохраняет избыточную информацию о самом $X$ . Формально решается компромиссная задача оптимизации:

$\min_{p(z|x)} I(X; Z) - \beta, I(Z; Y)$

где параметр $\beta$ регулирует баланс между сжатием и предсказательной способностью представления. Эта концепция используется как теоретическая рамка для объяснения обобщающей способности глубоких нейронных сетей. Поскольку точное вычисление взаимной информации для многомерных непрерывных величин, порождаемых нейронными сетями, вычислительно неразрешимо, был предложен ряд методов её нейросетевой оценки — в частности, MINE (Mutual Information Neural Estimation), опирающийся на принцип Донскера — Варадана и позволяющий получать нижнюю оценку взаимной информации путём обучения вспомогательной сети-статистики. Оценка и максимизация взаимной информации также лежит в основе современных методов Self-Supervised Learning, в частности контрастивного обучения (Contrastive Learning). Такие методы, как InfoNCE, используемый в подходах CPC и SimCLR, обучают представления, максимизируя нижнюю оценку взаимной информации между различными аугментациями одного и того же объекта, что позволяет получать содержательные представления данных без разметки.

См. также

Энтропия Перекрестная энтропия Дивергенция Кульбака–Лейблера Дерево решений Вариационный автоэнкодер

Примечания

Литература

Shannon C. E. A Mathematical Theory of Communication // Bell System Technical Journal. — 1948. — С. 379-423. Kullback S., Leibler R. A. On Information and Sufficiency // The Annals of Mathematical Statistics. — 1951. — С. 79-86. Cover T. M., Thomas J. A. Elements of Information Theory. — New York: Wiley, 2006. MacKay D. J. C. Information Theory, Inference, and Learning Algorithms. — Cambridge: Cambridge University Press, 2003. Goodfellow I., Bengio Y., Courville A. Deep Learning. — Cambridge, MA: MIT Press, 2016.

Источник — «http://recognition.su/wiki/index.php?title=%D0%A2%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8»

Категории: Машинное обучение | Теория вероятностей и математическая статистика | Теория информации