Неравенство Рао-Крамера

Материал из MachineLearning.

Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником Mariia Shubina 23:00, 17 июля 2026 (MSD)

Содержание

1 Основные понятия
2 Формулировка неравенства Рао — Крамера
- 2.1 Идея доказательства
3 Условия применимости
4 Эффективные оценки
5 Связь с методом максимального правдоподобия
6 Классические примеры
7 Многопараметрическая форма
8 Применения в машинном обучении и анализе данных
9 Ограничения
10 Типичные ошибки
11 Резюме
12 Литература

Неравенство Рао — Крамера (также граница Крамера — Рао, информационная граница) — фундаментальный результат математической статистики, задающий нижнюю границу дисперсии несмещённых оценок параметра регулярной вероятностной модели. Граница выражается через информацию Фишера: чем больше информации о параметре содержится в наблюдениях, тем меньшая дисперсия в принципе возможна у несмещённой статистической оценки.

Неравенство решает задачу сравнения процедур оценивания без необходимости перебирать все возможные оценки. Если дисперсия некоторой несмещённой оценки совпадает с границей Рао — Крамера, то никакая другая несмещённая оценка не может иметь меньшую дисперсию в данной точке параметра. Если граница не достигается, она всё равно служит эталоном точности и позволяет измерять, насколько конкретная оценка далека от теоретически возможного уровня.

Результат был получен в работах К. Р. Рао и Х. Крамера в 1940-х годах и основан на введённом Р. Фишером понятии информации о параметре.^[1]^[1]^[1]

Основные понятия

Статистическая модель и функция правдоподобия

Пусть наблюдение $X$ имеет распределение из параметрического семейства

$\mathcal{P}=\{P_\theta:\theta\in\Theta\}.$

Здесь $\theta$ — неизвестный параметр, а $\Theta$ — пространство параметров. Если распределение имеет плотность или функцию вероятностей $p_\theta(x)$ , то при фиксированном наблюдении $x$ выражение

$L(\theta;x)=p_\theta(x)$

называется функцией правдоподобия. Для независимой выборки $X_1,\ldots,X_n$

$L(\theta;X_1,\ldots,X_n)=\prod_{i=1}^{n}p_\theta(X_i).$

Часто удобнее использовать логарифмическую функцию правдоподобия

$\ell(\theta;X)=\log L(\theta;X).$

Её производная по параметру

$U_\theta(X)=\frac{\partial}{\partial\theta}\ell(\theta;X)$

называется функцией вклада, или скор-функцией.

Статистическая оценка и несмещённость

Статистическая оценка параметра или функции параметра — измеримая функция наблюдений

$T=T(X_1,\ldots,X_n).$

После подстановки реализованной выборки она даёт численное приближение неизвестной величины.

Оценка $T$ функции $g(\theta)$ называется несмещённой, если

$\mathsf{E}_\theta T=g(\theta)$

для всех $\theta\in\Theta$ . В частности, для оценки самого параметра требуется $\mathsf{E}_\theta T=\theta$ .

Несмещённость характеризует математическое ожидание оценки, но сама по себе не гарантирует малую ошибку. Среди несмещённых оценок обычно предпочтительна оценка с меньшей дисперсией

$\mathsf{Var}_\theta(T)=\mathsf{E}_\theta\left(T-\mathsf{E}_\theta T\right)^2.$

Для несмещённой оценки функции $g(\theta)$ её среднеквадратичная ошибка совпадает с дисперсией:

$\mathsf{E}_\theta\left(T-g(\theta)\right)^2=\mathsf{Var}_\theta(T).$

Для смещённой оценки это равенство неверно: среднеквадратичная ошибка дополнительно содержит квадрат смещения.

Информация Фишера

Фишеровская информация в одном наблюдении определяется как

$I_1(\theta)=\mathsf{E}_\theta\left[\left(\frac{\partial}{\partial\theta}\log p_\theta(X)\right)^2\right],$

если математическое ожидание существует. При стандартных условиях регулярности справедлива эквивалентная формула

$I_1(\theta)=-\mathsf{E}_\theta\left[\frac{\partial^2}{\partial\theta^2}\log p_\theta(X)\right].$

Для независимых одинаково распределённых наблюдений информация складывается:

$I_n(\theta)=nI_1(\theta).$

Информация Фишера измеряет локальную чувствительность распределения наблюдений к изменению параметра. Большая информация означает, что близкие значения параметра порождают лучше различимые распределения.

Формулировка неравенства Рао — Крамера

Пусть $T(X)$ — несмещённая оценка дифференцируемой функции $g(\theta)$ , то есть

$\mathsf{E}_\theta T=g(\theta).$

При выполнении условий регулярности и при $0<I_n(\theta)<\infty$ справедливо неравенство

$\mathsf{Var}_\theta(T)\geq\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.$

Для несмещённой оценки самого параметра, когда $g(\theta)=\theta$ и $g'(\theta)=1$ , формула принимает вид

$\mathsf{Var}_\theta(T)\geq\frac{1}{I_n(\theta)}.$

Здесь:

$\mathsf{Var}_\theta(T)$ — дисперсия оценки при истинном значении параметра $\theta$ ;
$g'(\theta)$ — чувствительность оцениваемой функции к изменению параметра;
$I_n(\theta)$ — информация Фишера во всей выборке;
правая часть — нижняя граница Рао — Крамера.

Граница является поточечной: она может зависеть от $\theta$ . Неравенство не утверждает, что оценка с дисперсией, равной правой части, обязательно существует.

Идея доказательства

В регулярной модели математическое ожидание скор-функции равно нулю:

$\mathsf{E}_\theta U_\theta(X)=0.$

Дифференцирование равенства $\mathsf{E}_\theta T=g(\theta)$ по $\theta$ даёт

$\mathsf{E}_\theta\left[\left(T-g(\theta)\right)U_\theta(X)\right]=g'(\theta).$

Левая часть является ковариацией оценки и скор-функции. По неравенству Коши — Буняковского

$\left(g'(\theta)\right)^2\leq\mathsf{Var}_\theta(T)\,\mathsf{Var}_\theta\left(U_\theta(X)\right).$

Поскольку

$\mathsf{Var}_\theta\left(U_\theta(X)\right)=I_n(\theta),$

получается неравенство Рао — Крамера.^[1]

Условия применимости

Классическая формулировка требует регулярности статистической модели. В прикладных задачах обычно проверяют следующие условия.

Плотность или функция вероятностей $p_\theta(x)$ достаточно гладко зависит от $\theta$ .
Область возможных значений наблюдения не зависит от параметра либо граничные члены при дифференцировании исчезают.
Допустимо менять местами дифференцирование по параметру и интегрирование или суммирование по наблюдениям.
Скор-функция имеет конечный второй момент.
Информация Фишера существует, конечна и положительна.
Оцениваемая функция $g(\theta)$ дифференцируема.
Для многопараметрической версии информационная матрица должна быть невырожденной либо требуется специальная формулировка с ограничениями или обобщённой обратной матрицей.

Эти условия нарушаются, например, в модели равномерного распределения на $[0,\theta]$ , поскольку носитель распределения зависит от $\theta$ . Формальное применение стандартной формулы в такой задаче может дать неверный вывод.

Эффективные оценки

Несмещённая оценка $T$ называется эффективной в точке $\theta$ , если её дисперсия достигает границы Рао — Крамера:

$\mathsf{Var}_\theta(T)=\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.$

Если равенство выполняется для всех $\theta\in\Theta$ , оценка эффективна на всём пространстве параметров.

Равенство в неравенстве Коши — Буняковского достигается тогда и только тогда, когда центрированная оценка пропорциональна скор-функции. Поэтому необходимое и, при регулярности, достаточное условие эффективности имеет вид

$T(X)-g(\theta)=a(\theta)U_\theta(X),$

где

$a(\theta)=\frac{g'(\theta)}{I_n(\theta)}.$

Это условие достаточно жёсткое. Точная эффективность при конечном размере выборки характерна прежде всего для некоторых регулярных экспоненциальных семейств. Во многих моделях граница недостижима ни одной несмещённой оценкой.

Иногда вводят относительную эффективность несмещённой оценки:

$e_\theta(T)=\frac{\left(g'(\theta)\right)^2/I_n(\theta)}{\mathsf{Var}_\theta(T)}.$

При выполнении условий неравенства $0<e_\theta(T)\leq 1$ . Это отношение нельзя смешивать со среднеквадратичной ошибкой смещённой оценки или с асимптотической эффективностью.

Связь с методом максимального правдоподобия

Метод максимального правдоподобия выбирает значение

$\widehat{\theta}_{\mathrm{ML}}\in\operatorname*{arg\,max}_{\theta\in\Theta}L(\theta;X).$

Оценка максимального правдоподобия не обязана быть несмещённой и не обязана достигать границы Рао — Крамера при конечном $n$ . Поэтому из самого определения метода максимального правдоподобия эффективность не следует.

Однако в регулярных идентифицируемых моделях при стандартных условиях оценка максимального правдоподобия является состоятельной и асимптотически нормальной:

$\sqrt{n}\left(\widehat{\theta}_{\mathrm{ML}}-\theta\right)\xrightarrow{d}\mathcal{N}\left(0,I_1(\theta)^{-1}\right).$

Следовательно,

$\mathsf{Var}_\theta\left(\widehat{\theta}_{\mathrm{ML}}\right)\approx\frac{1}{nI_1(\theta)}=\frac{1}{I_n(\theta)}$

при больших $n$ . В этом смысле оценка максимального правдоподобия часто асимптотически эффективна: её предельная дисперсия совпадает с информационной границей. Это утверждение относится к асимптотике и не означает точного равенства дисперсий для конечной выборки.^[1]

Наблюдаемая отрицательная матрица вторых производных логарифма правдоподобия,

$-\frac{\partial^2}{\partial\theta^2}\ell(\theta;X),$

служит выборочным аналогом информации Фишера. Её обратная величина или обратная матрица часто используется для приближённого вычисления стандартных ошибок оценок максимального правдоподобия.

Классические примеры

Во всех примерах наблюдения независимы и одинаково распределены.

Нормальное распределение с известной дисперсией

Пусть

$X_1,\ldots,X_n\sim\mathcal{N}(\mu,\sigma^2),$

где $\sigma^2$ известно, а $\mu$ неизвестно. Для одного наблюдения

$\ell(\mu;X)=-\frac{1}{2}\log(2\pi\sigma^2)-\frac{(X-\mu)^2}{2\sigma^2}.$

Скор-функция равна

$\frac{\partial}{\partial\mu}\ell(\mu;X)=\frac{X-\mu}{\sigma^2}.$

Поэтому

$I_1(\mu)=\frac{1}{\sigma^2},\qquad I_n(\mu)=\frac{n}{\sigma^2}.$

Граница Рао — Крамера для любой несмещённой оценки $T$ параметра $\mu$ равна

$\mathsf{Var}_\mu(T)\geq\frac{\sigma^2}{n}.$

Естественная оценка — выборочное среднее

$\overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_i.$

Она несмещённа, и

$\mathsf{Var}_\mu(\overline{X})=\frac{\sigma^2}{n}.$

Следовательно, $\overline{X}$ достигает границы и является эффективной оценкой $\mu$ .

Распределение Бернулли

Пусть

$X_1,\ldots,X_n\sim\operatorname{Bernoulli}(p),\qquad 0<p<1.$ Для одного наблюдения $p_p(x)=p^x(1-p)^{1-x},\qquad x\in\{0,1\}.$ Логарифм правдоподобия и его производная имеют вид $\ell(p;X)=X\log p+(1-X)\log(1-p),$ $\frac{\partial}{\partial p}\ell(p;X)=\frac{X-p}{p(1-p)}.$ Так как $\mathsf{Var}_p(X)=p(1-p)$ , $I_1(p)=\frac{1}{p(1-p)},\qquad I_n(p)=\frac{n}{p(1-p)}.$ Поэтому для любой несмещённой оценки $T$ вероятности успеха $\mathsf{Var}_p(T)\geq\frac{p(1-p)}{n}.$ Естественная оценка доли успехов $\widehat{p}=\overline{X}$ несмещённа и имеет дисперсию $\mathsf{Var}_p(\widehat{p})=\frac{p(1-p)}{n}.$ Таким образом, выборочная доля эффективна.

Распределение Пуассона

Пусть

$X_1,\ldots,X_n\sim\operatorname{Poisson}(\lambda),\qquad \lambda>0.$

Для одного наблюдения

$p_\lambda(x)=\frac{e^{-\lambda}\lambda^x}{x!},\qquad x=0,1,2,\ldots$

Логарифм правдоподобия и скор-функция равны

$\ell(\lambda;X)=-\lambda+X\log\lambda-\log(X!),$

$\frac{\partial}{\partial\lambda}\ell(\lambda;X)=\frac{X-\lambda}{\lambda}.$

Поскольку $\mathsf{Var}_\lambda(X)=\lambda$ ,

$I_1(\lambda)=\frac{1}{\lambda},\qquad I_n(\lambda)=\frac{n}{\lambda}.$

Граница для несмещённой оценки интенсивности равна

$\mathsf{Var}_\lambda(T)\geq\frac{\lambda}{n}.$

Выборочное среднее $\overline{X}$ несмещённо и удовлетворяет

$\mathsf{Var}_\lambda(\overline{X})=\frac{\lambda}{n}.$

Следовательно, $\overline{X}$ является эффективной оценкой $\lambda$ .

Экспоненциальное распределение

Результат зависит от параметризации. Сначала параметризуем распределение средним значением, или масштабом, $\theta>0$ :

$p_\theta(x)=\frac{1}{\theta}\exp\left(-\frac{x}{\theta}\right),\qquad x\geq 0.$

Для одного наблюдения

$\ell(\theta;X)=-\log\theta-\frac{X}{\theta},$

$\frac{\partial}{\partial\theta}\ell(\theta;X)=\frac{X-\theta}{\theta^2}.$

Так как $\mathsf{Var}_\theta(X)=\theta^2$ ,

$I_1(\theta)=\frac{1}{\theta^2},\qquad I_n(\theta)=\frac{n}{\theta^2}.$

Граница Рао — Крамера равна

$\mathsf{Var}_\theta(T)\geq\frac{\theta^2}{n}.$

Естественная оценка масштаба $\overline{X}$ несмещённа, причём

$\mathsf{Var}_\theta(\overline{X})=\frac{\theta^2}{n}.$

Она достигает границы и эффективна.

Если вместо масштаба использовать интенсивность $\lambda=1/\theta$ , плотность принимает вид

$p_\lambda(x)=\lambda e^{-\lambda x}.$

Тогда

$I_n(\lambda)=\frac{n}{\lambda^2},\qquad\mathsf{Var}_\lambda(T)\geq\frac{\lambda^2}{n}.$

Оценка максимального правдоподобия

$\widehat{\lambda}_{\mathrm{ML}}=\frac{1}{\overline{X}}$

смещена при конечном $n$ , поэтому стандартная граница для несмещённых оценок к ней напрямую неприменима. Несмещённая оценка

$\widetilde{\lambda}=\frac{n-1}{\sum_{i=1}^{n}X_i}$

при $n>2$ имеет дисперсию

$\mathsf{Var}_\lambda(\widetilde{\lambda})=\frac{\lambda^2}{n-2},$

которая строго больше $\lambda^2/n$ . Следовательно, в параметризации интенсивностью точная нижняя граница не достигается этой естественной несмещённой оценкой, хотя оценка максимального правдоподобия асимптотически эффективна.

Многопараметрическая форма

Пусть параметр является вектором

$\theta=(\theta_1,\ldots,\theta_d)^{\mathsf T}.$

Информационная матрица Фишера определяется как

$I(\theta)=\mathsf{E}_\theta\left[\nabla_\theta\ell(\theta;X)\nabla_\theta\ell(\theta;X)^{\mathsf T}\right].$

Для несмещённой оценки вектора $g(\theta)$ справедливо матричное неравенство

$\operatorname{Cov}_\theta(T)\succeq G(\theta)I(\theta)^{-1}G(\theta)^{\mathsf T},$

где $G(\theta)$ — матрица Якоби функции $g$ , а знак $\succeq$ означает, что разность левой и правой частей неотрицательно определена. Для оценки самого вектора параметров

$\operatorname{Cov}_\theta(T)\succeq I(\theta)^{-1}.$

Матричная форма особенно важна в машинном обучении, где параметры моделей обычно многомерны.

Применения в машинном обучении и анализе данных

Оценивание параметров вероятностных моделей

Граница Рао — Крамера позволяет определить минимально возможную ковариацию несмещённых оценок параметров вероятностной модели. Она применяется при анализе моделей шума, смесей распределений, временных рядов, моделей выживания, систем идентификации и статистической обработки сигналов.

Практический смысл состоит в разделении двух источников неточности:

ограниченности информации, содержащейся в данных;
неэффективности выбранного алгоритма оценивания.

Если дисперсия оценки близка к информационной границе, существенное улучшение возможно главным образом за счёт увеличения объёма или качества данных, а не замены алгоритма другой несмещённой процедурой.

Анализ метода максимального правдоподобия

В регулярных моделях обратная информационная матрица описывает предельную ковариацию оценки максимального правдоподобия:

$\operatorname{Cov}\left(\widehat{\theta}_{\mathrm{ML}}\right)\approx I_n(\theta)^{-1}.$

Это соотношение используется для:

вычисления стандартных ошибок параметров;
построения приближённых доверительных интервалов;
сравнения различных планов сбора данных;
диагностики слабой идентифицируемости параметров;
анализа влияния размера выборки на точность оценивания.

Малое собственное значение информационной матрицы соответствует направлению в пространстве параметров, которое плохо определяется данными. Обратная матрица тогда содержит большие элементы, указывая на высокую неопределённость оценки.

Логистическая регрессия

В логистической регрессии

$\mathsf{P}(Y_i=1\mid x_i)=\sigma(x_i^{\mathsf T}\beta),\qquad\sigma(z)=\frac{1}{1+e^{-z}}.$

Обозначим

$p_i=\sigma(x_i^{\mathsf T}\beta).$

Для независимых наблюдений информационная матрица параметра $\beta$ имеет вид

$I(\beta)=X^{\mathsf T}WX,$

где $X$ — матрица признаков, а

$W=\operatorname{diag}\left(p_1(1-p_1),\ldots,p_n(1-p_n)\right).$

При регулярности асимптотическая ковариация оценки максимального правдоподобия приближённо равна

$\operatorname{Cov}(\widehat{\beta})\approx\left(X^{\mathsf T}WX\right)^{-1}.$

Формула показывает, что точность зависит не только от числа объектов, но и от геометрии матрицы признаков и значений предсказанных вероятностей. Сильная мультиколлинеарность делает информационную матрицу плохо обусловленной. Почти полное разделение классов может приводить к несуществованию конечной оценки максимального правдоподобия, поэтому стандартная асимптотическая интерпретация нарушается.

Регуляризация изменяет задачу: оценка становится смещённой, а обратный гессиан регуляризованной целевой функции нельзя без дополнительных оговорок считать классической границей Рао — Крамера для несмещённых оценок.

Ограничения

Требование несмещённости. Классическая граница относится к несмещённым оценкам. Смещённая оценка может иметь меньшую дисперсию и меньшую среднеквадратичную ошибку.
Недостижимость границы. Нижняя граница может не совпадать с дисперсией ни одной оценки.
Нерегулярные модели. При зависящем от параметра носителе, недифференцируемом правдоподобии или невозможности переставить интегрирование и дифференцирование стандартная формула неприменима.
Сингулярная информация. Невырожденность информационной матрицы связана с локальной идентифицируемостью. При сингулярности обычная обратная матрица не существует.
Конечная выборка и асимптотика. Асимптотическая эффективность оценки максимального правдоподобия не гарантирует хорошей точности при малом $n$ .
Параметризация. Численный вид информации Фишера и границы меняется при замене параметра, хотя корректно преобразуется по правилу производной.
Параметры на границе. Если истинный параметр лежит на границе пространства параметров, стандартная асимптотическая нормальность и классическая граница могут нарушаться.
Наличие мешающих параметров. Нельзя вычислять границу для одного параметра, игнорируя неизвестные сопутствующие параметры. Требуется соответствующий элемент обратной полной информационной матрицы.

Для смещённой оценки $T$ параметра $\theta$ со смещением

$b(\theta)=\mathsf{E}_\theta T-\theta$

при подходящих условиях существует модифицированная граница

$\mathsf{Var}_\theta(T)\geq\frac{\left(1+b'(\theta)\right)^2}{I_n(\theta)}.$

Но даже эта формула ограничивает дисперсию, а не полную среднеквадратичную ошибку:

$\operatorname{MSE}_\theta(T)=\mathsf{Var}_\theta(T)+b(\theta)^2.$

Типичные ошибки

Подстановка дисперсии смещённой оценки в классическую формулу для несмещённых оценок.
Отождествление дисперсии и среднеквадратичной ошибки.
Вычисление информации по всей выборке как $I_1(\theta)$ вместо $nI_1(\theta)$ .
Использование формулы через вторую производную без проверки регулярности.
Игнорирование того, что носитель распределения зависит от параметра.
Вывод об эффективности только из равенства оценки максимального правдоподобия некоторой привычной статистике.
Сравнение границы для одной параметризации с дисперсией оценки другого параметра.
Использование диагонального элемента $1/I_{jj}(\theta)$ вместо элемента $(I(\theta)^{-1})_{jj}$ при наличии неизвестных мешающих параметров.
Утверждение, что оценка с минимальной дисперсией среди несмещённых обязательно достигает границы Рао — Крамера.
Интерпретация сингулярной информационной матрицы только как численной проблемы, хотя она может указывать на неидентифицируемость модели.

Резюме

Неравенство Рао — Крамера связывает точность несмещённого оценивания с количеством информации о параметре, содержащейся в данных:

$\mathsf{Var}_\theta(T)\geq\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.$

Оно наиболее полезно, когда модель регулярна, информация Фишера вычисляется аналитически или численно, а требуется:

установить теоретический предел точности оценивания;
доказать эффективность конкретной несмещённой оценки;
сравнить дисперсию оценки с информационным эталоном;
исследовать асимптотическую эффективность метода максимального правдоподобия;
оценить стандартные ошибки в многопараметрических вероятностных моделях;
выявить слабую идентифицируемость или неудачный план эксперимента.

Граница не заменяет анализ смещения, среднеквадратичной ошибки и поведения оценки при конечной выборке. Её следует применять только после проверки параметризации и условий регулярности.

Литература

Casella G., Berger R. L. Statistical Inference. — 2-е. — Pacific Grove: Duxbury, 2002.
Cramér H. Mathematical Methods of Statistics. — Princeton: Princeton University Press, 1946.
Fisher R. A. On the Mathematical Foundations of Theoretical Statistics // Philosophical Transactions of the Royal Society of London. Series A. — 1922. — Т. 222. — С. 309–368.
Lehmann E. L., Casella G. Theory of Point Estimation. — 2-е. — New York: Springer, 1998.
Rao C. R. Information and the Accuracy Attainable in the Estimation of Statistical Parameters // Bulletin of the Calcutta Mathematical Society. — 1945. — Т. 37. — С. 81–91.
van der Vaart A. W. Asymptotic Statistics. — Cambridge: Cambridge University Press, 1998.

Источник — «http://recognition.su/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%A0%D0%B0%D0%BE-%D0%9A%D1%80%D0%B0%D0%BC%D0%B5%D1%80%D0%B0»

Категории: Математическая статистика | Теория оценивания | Машинное обучение | Энциклопедия анализа данных

Неравенство Рао-Крамера

Материал из MachineLearning.

Содержание

Основные понятия

Статистическая модель и функция правдоподобия

Статистическая оценка и несмещённость

Информация Фишера

Формулировка неравенства Рао — Крамера

Идея доказательства

Условия применимости

Эффективные оценки

Связь с методом максимального правдоподобия

Классические примеры

Нормальное распределение с известной дисперсией

Распределение Бернулли

Распределение Пуассона

Экспоненциальное распределение

Многопараметрическая форма

Применения в машинном обучении и анализе данных

Оценивание параметров вероятностных моделей

Анализ метода максимального правдоподобия

Логистическая регрессия

Ограничения

Типичные ошибки

Резюме

Литература

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты