Критерий Акаике

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Текущая версия

Статья написана с использованием LLM DeepSeek-V3 и проверена участником ~~Ilia Vdovin~~

Содержание

1 Критерий Акаике (AIC)

Критерий Акаике (AIC)

Критерий Акаике (AIC — от англ. Akaike Information Criterion) — один из наиболее распространённых информационных критериев для выбора статистических моделей по принципу максимума правдоподобия с учётом их сложности. AIC оценивает, насколько хорошо модель будет предсказывать новые данные, и штрафует за излишнее количество параметров, предотвращая переобучение.

Определение и мотивация

При построении статистических моделей возникает фундаментальная проблема: увеличение числа параметров всегда улучшает качество подгонки на обучающей выборке, но может ухудшить предсказания на новых данных. Классические подходы (проверка гипотез) не дают единой меры для сравнения невложенных моделей, а кросс-валидация вычислительно затратна.

AIC решает эту проблему, предлагая теоретически обоснованную оценку расстояния Кульбака–Лейблера между истинным распределением данных и оцениваемой моделью. Ключевая идея: Акаике показал, что максимизация логарифмического правдоподобия эквивалентна минимизации информационной потери при предсказании новых наблюдений.

Историческая справка

Критерий был предложен японским статистиком Хиротогу Акаике в 1974 году в работе «A new look at the statistical model identification» (IEEE Transactions on Automatic Control) [1]. Акаике исходил из идей теории информации Клода Шеннона и использовал энтропию как меру неопределённости.

В своём подходе Акаике соединил две области — теорию информации и математическую статистику, показав, что максимизация логарифмического правдоподобия на обучающей выборке даёт смещённую оценку предсказательной способности модели, и это смещение можно скорректировать.

Теоретические основы

Вывод через KL-дивергенцию

Пусть $g(x)$ — истинное распределение данных (неизвестное), а $f(x \mid \theta)$ — кандидатная модель с вектором параметров $\theta$ размерности $K$ . Расстояние Кульбака–Лейблера (KL-дивергенция) между ними определяется как:

$D_{KL}(g \parallel f) = \int g(x) \ln \frac{g(x)}{f(x \mid \theta)} \, dx = \mathbb{E}_g[\ln g(x)] - \mathbb{E}_g[\ln f(x \mid \theta)].$

Важное замечание: KL-дивергенция $D_{KL}(g \parallel f)$ несимметрична: $D_{KL}(g \parallel f) \neq D_{KL}(f \parallel g)$ , поэтому она не является метрическим расстоянием в строгом смысле. Однако она служит естественной мерой того, насколько модель $f$ «удалена» от истинного распределения $g$ .

Первое слагаемое $\mathbb{E}_g[\ln g(x)]$ одинаково для всех моделей, поэтому минимизация $D_{KL}$ эквивалентна максимизации $\mathbb{E}_g[\ln f(x \mid \theta)]$ — среднего логарифма правдоподобия по истинному распределению.

Основная идея Акаике

Акаике рассуждал следующим образом. Если бы мы знали истинное распределение $g(x)$ , то лучшая модель соответствовала бы максимуму $\mathbb{E}_g[\ln f(x \mid \theta)]$ . Однако $g(x)$ неизвестна, и мы можем лишь оценить параметры $\theta$ по обучающей выборке $y = (y_1, \dots, y_n)$ , получая оценку $\hat{\theta}$ .

Логарифм правдоподобия на обучающей выборке $\ln L(\hat{\theta} \mid y)$ является смещённой оценкой величины $\mathbb{E}_g[\ln f(x \mid \theta)]$ : он систематически завышает качество модели, так как параметры подгонялись под те же данные. Акаике показал, что величина смещения асимптотически равна числу параметров $K$ :

$\mathbb{E}_y\left[ \ln L(\hat{\theta} \mid y) - \mathbb{E}_g[\ln f(x \mid \theta)] \right] \approx K.$

Отсюда получается несмещённая оценка ожидаемого логарифма правдоподобия на новых данных:

$\widehat{\mathbb{E}_g[\ln f]} = \ln L(\hat{\theta} \mid y) - K.$

Умножив на $-2$ (по историческим причинам, чтобы согласовать с распределением $\chi^2$ ), получают итоговую формулу:

$AIC = -2 \ln L(\hat{\theta} \mid y) + 2K.$

Интерпретация формулы

Первое слагаемое $-2 \ln L(\hat{\theta} \mid y)$ — характеризует качество подгонки модели на обучающих данных (чем меньше, тем лучше).
Второе слагаемое $2K$ — штраф за сложность модели (каждый дополнительный параметр увеличивает AIC на 2).

Таким образом, AIC балансирует между точностью подгонки и сложностью модели. Добавление нового параметра оправдано только в том случае, если оно уменьшает $-2 \ln L$ более чем на 2.

Интерпретация и применение

AIC является относительной мерой качества модели. Абсолютное значение AIC не интерпретируется; важны лишь различия между моделями. При сравнении нескольких моделей вычисляют разности:

$\Delta_i = AIC_i - AIC_{min},$

где $AIC_{min}$ — минимальное значение среди всех рассматриваемых моделей. Эмпирическое правило:

$\Delta_i \le 2$ — модели практически эквивалентны;
$4 \le \Delta_i \le 7$ — различие заметно;
$\Delta_i > 10$ — модель существенно хуже, её можно исключить из рассмотрения.

Также вычисляют веса Акаике:

$w_i = \frac{\exp(-\Delta_i/2)}{\sum_j \exp(-\Delta_j/2)},$

которые интерпретируются как вероятности того, что модель $i$ является наилучшей среди рассматриваемых (в смысле минимизации KL-дивергенции).

Важные ограничения при применении

AIC позволяет сравнивать только модели, построенные на одной и той же выборке с одинаковым набором наблюдений.
Зависимая переменная должна быть идентичной (нельзя сравнивать модели с разными преобразованиями $y$ ).
Модели должны быть оценены методом максимального правдоподобия.

Пример

Пусть для данных подбираются линейная регрессия с 2 параметрами ( $AIC=120$ ) и полиномиальная модель с 5 параметрами ( $AIC=115$ ). Разность $\Delta=5$ указывает на умеренное преимущество полиномиальной модели. Если бы $\Delta>10$ , выбор полиномиальной модели был бы однозначным.

Модификации

AICc (исправленный AIC для малых выборок)

При малых выборках стандартный AIC может давать смещённые оценки. Сугиура (1978) предложил поправку:

$AICc = AIC + \frac{2K(K+1)}{n - K - 1}.$

Рекомендуется использовать при $n/K < 40$ . При $n \to \infty$ поправка стремится к нулю, и $AICc \to AIC$ .

QAIC (Quasi-AIC)

Для данных с передисперсией (например, в экологических моделях) используется квази-правдоподобие. Вводится коэффициент дисперсии $\hat{c}$ :

$QAIC = -2 \ln L / \hat{c} + 2K.$

Применяется, когда распределение данных не соответствует стандартным семействам (например, биномиальное с избыточной вариативностью).

Ограничения

Несостоятельность: AIC не стремится к выбору истинной модели с вероятностью 1 при $n \to \infty$ (в отличие от BIC). Если истинная модель конечномерна и входит в множество кандидатов, AIC будет выбирать модели с избыточным числом параметров, дающие сколь угодно малое улучшение правдоподобия.
Неприменим для сравнения моделей с разными объёмами выборок или разными зависимыми переменными.
Чувствителен к выбору распределения; при неверной спецификации распределения выводы могут быть ошибочными.
Требует оценки методом максимального правдоподобия.

Сравнение с другими критериями

BIC (Байесовский информационный критерий)

Предложен Шварцем (1978): $BIC = -2 \ln L + K \ln n$ . Штраф растёт с объёмом выборки, поэтому BIC более консервативен и асимптотически состоятелен. При $n > 8$ BIC штрафует за параметры сильнее, чем AIC. BIC предпочтителен, когда цель — идентификация истинной структуры модели, а не прогнозирование.

DIC и WAIC

DIC (Deviance Information Criterion) — для байесовских моделей, использует апостериорное среднее отклонений.
WAIC (Widely Applicable Information Criterion) — полностью байесовский критерий, согласованный с кросс-валидацией leave-one-out.

Кросс-валидация

Даёт прямую оценку ошибки прогноза, но требует многократного переобучения. При больших данных может быть предпочтительнее AIC. Однако AIC является асимптотически эквивалентным кросс-валидации leave-one-out.

Практические рекомендации

Если цель — прогнозирование и размер выборки мал ( $n/K < 40$ ), используйте AICc.
Если цель — идентификация истинной структуры модели при большом $n$ , предпочтительнее BIC.
Всегда приводите значения AIC для всех сравниваемых моделей, а также $\Delta_i$ и веса Акаике.
Избегайте «драпировки» моделей (data dredging) — сравнение большого числа моделей без априорных гипотез повышает риск случайных находок.

Заключение

Критерий Акаике остаётся одним из самых цитируемых инструментов в статистическом моделировании благодаря своей простоте, теоретической прозрачности и универсальности. Несмотря на разработанные позднее альтернативы, AIC сохраняет актуальность в задачах прогнозирования, особенно при умеренных размерах выборки. Современные тенденции — интеграция AIC с методами регуляризации (LASSO, ридж-регрессия) и использование информационных критериев в глубоком обучении — расширяют область его применения.

Литература

Akaike, H. (1974). A new look at the statistical model identification. IEEE Transactions on Automatic Control, 19(6), 716–723.
Burnham, K. P., & Anderson, D. R. (2002). Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach. 2nd ed. Springer.
McQuarrie, A. D. R., & Tsai, C.-L. (1998). Regression and Time Series Model Selection. World Scientific.
Konishi, S., & Kitagawa, G. (2008). Information Criteria and Statistical Modeling. Springer.
Claeskens, G., & Hjort, N. L. (2008). Model Selection and Model Averaging. Cambridge University Press.

Полный промпт, использованный при создании этой статьи, доступен на странице обсуждения.

Источник — «http://recognition.su/wiki/index.php?title=%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%90%D0%BA%D0%B0%D0%B8%D0%BA%D0%B5»

Категории: Статистические критерии | Выбор модели | Теория информации

@@ Строка 1: / Строка 1: @@
-{{well|Статья написана с использованием LLM **DeepSeek-V3** и проверена участником ~~Ilia Vdovin~~}}
+{{well|Статья написана с использованием LLM '''DeepSeek-V3''' и проверена участником ~~Ilia Vdovin~~}}
 = Критерий Акаике (AIC) =
-'''Критерий Акаике''' ('''AIC''' — от англ. ''Akaike Information Criterion'') — один из наиболее распространённых [[информационный критерий|информационных критериев]] для [[выбор модели|выбора статистических моделей]] по принципу максимума [[функция правдоподобия|правдоподобия]] с учётом их сложности. AIC позволяет сравнивать модели, оценивая, насколько хорошо они описывают наблюдаемые данные, и одновременно штрафуя за излишнее количество параметров, что предотвращает [[переобучение]].
+'''Критерий Акаике''' ('''AIC''' — от англ. ''Akaike Information Criterion'') — один из наиболее распространённых [[информационный критерий|информационных критериев]] для [[выбор модели|выбора статистических моделей]] по принципу максимума [[функция правдоподобия|правдоподобия]] с учётом их сложности. AIC оценивает, насколько хорошо модель будет предсказывать новые данные, и штрафует за излишнее количество параметров, предотвращая [[переобучение]].
 == Определение и мотивация ==
-При построении статистических моделей исследователь часто сталкивается с дилеммой: увеличение числа параметров всегда повышает качество подгонки на обучающей выборке, но может ухудшить предсказательную способность на новых данных ([[генерализация|генерализующая способность]]). Традиционные подходы, такие как проверка гипотез, не дают единой меры для сравнения невложенных моделей, а [[кросс-валидация]] вычислительно затратна. AIC предлагает простую и теоретически обоснованную оценку [[расстояние Кульбака–Лейблера|расстояния Кульбака–Лейблера]] между истинной моделью и оцениваемой, что делает его удобным инструментом для выбора модели в задачах прогнозирования и объяснительного моделирования.
+При построении статистических моделей возникает фундаментальная проблема: увеличение числа параметров всегда улучшает качество подгонки на обучающей выборке, но может ухудшить предсказания на новых данных. Классические подходы (проверка гипотез) не дают единой меры для сравнения невложенных моделей, а [[кросс-валидация]] вычислительно затратна.
+AIC решает эту проблему, предлагая теоретически обоснованную оценку [[расстояние Кульбака–Лейблера|расстояния Кульбака–Лейблера]] между истинным распределением данных и оцениваемой моделью. Ключевая идея: Акаике показал, что максимизация логарифмического правдоподобия эквивалентна минимизации информационной потери при предсказании новых наблюдений.
 == Историческая справка ==
-Критерий был предложен японским статистиком [[Хиротогу Акаике]] в 1974 году в работе «A new look at the statistical model identification» (IEEE Transactions on Automatic Control). Акаике исходил из идей [[теория информации|теории информации]] и [[энтропия|энтропии]] Шеннона, показав, что максимизация логарифмического правдоподобия эквивалентна минимизации информационного расхождения между истинным распределением и оцениваемой моделью.
+Критерий был предложен японским статистиком [[Хиротогу Акаике]] в 1974 году в работе «A new look at the statistical model identification» (IEEE Transactions on Automatic Control) [1]. Акаике исходил из идей [[теория информации|теории информации]] Клода Шеннона и использовал [[энтропия|энтропию]] как меру неопределённости.
+В своём подходе Акаике соединил две области — теорию информации и математическую статистику, показав, что максимизация логарифмического правдоподобия на обучающей выборке даёт смещённую оценку предсказательной способности модели, и это смещение можно скорректировать.
 == Теоретические основы ==
-Пусть имеется истинная модель <tex>g(\mathbf{x})</tex> и кандидатная модель <tex>f(\mathbf{x} \mid \boldsymbol{\theta})</tex> с <tex>K</tex> параметрами. [[Расстояние Кульбака–Лейблера]] между ними:
+=== Вывод через KL-дивергенцию ===
-<tex>D_{KL}(g \parallel f) = \int g(\mathbf{x}) \ln \frac{g(\mathbf{x})}{f(\mathbf{x} \mid \boldsymbol{\theta})} \, d\mathbf{x} = \mathbb{E}_g[\ln g(\mathbf{x})] - \mathbb{E}_g[\ln f(\mathbf{x} \mid \boldsymbol{\theta})].</tex>
+Пусть <tex>g(x)</tex> — истинное распределение данных (неизвестное), а <tex>f(x \mid \theta)</tex> — кандидатная модель с вектором параметров <tex>\theta</tex> размерности <tex>K</tex>. [[Расстояние Кульбака–Лейблера]] (KL-дивергенция) между ними определяется как:
-Первое слагаемое одинаково для всех моделей, поэтому минимизация <tex>D_{KL}</tex> эквивалентна максимизации <tex>\mathbb{E}_g[\ln f(\mathbf{x} \mid \boldsymbol{\theta})]</tex> — среднего логарифма правдоподобия по истинному распределению. Акаике показал, что [[метод максимального правдоподобия|максимум логарифмического правдоподобия]] <tex>\ln L(\hat{\boldsymbol{\theta}} \mid \mathbf{y})</tex> является смещённой оценкой этого математического ожидания, и смещение примерно равно числу параметров <tex>K</tex>. Отсюда получается несмещённая оценка:
+<tex>D_{KL}(g \parallel f) = \int g(x) \ln \frac{g(x)}{f(x \mid \theta)} \, dx = \mathbb{E}_g[\ln g(x)] - \mathbb{E}_g[\ln f(x \mid \theta)].</tex>
-<tex>\widehat{\mathbb{E}_g[\ln f]} = \ln L(\hat{\boldsymbol{\theta}} \mid \mathbf{y}) - K.</tex>
+'''Важное замечание:''' KL-дивергенция <tex>D_{KL}(g \parallel f)</tex> несимметрична: <tex>D_{KL}(g \parallel f) \neq D_{KL}(f \parallel g)</tex>, поэтому она не является метрическим расстоянием в строгом смысле. Однако она служит естественной мерой того, насколько модель <tex>f</tex> «удалена» от истинного распределения <tex>g</tex>.
-Умножив на <tex>-2</tex> (по историческим причинам, чтобы согласовать с [[хи-квадрат|распределением <tex>\chi^2</tex>]]), получают:
+Первое слагаемое <tex>\mathbb{E}_g[\ln g(x)]</tex> одинаково для всех моделей, поэтому минимизация <tex>D_{KL}</tex> эквивалентна максимизации <tex>\mathbb{E}_g[\ln f(x \mid \theta)]</tex> — среднего логарифма правдоподобия по истинному распределению.
-<tex>AIC = -2 \ln L(\hat{\boldsymbol{\theta}} \mid \mathbf{y}) + 2K.</tex>
+=== Основная идея Акаике ===
-'''Штраф <tex>2K</tex>''' — это плата за неопределённость оценки параметров; каждый дополнительный параметр увеличивает AIC на 2, что эквивалентно требованию улучшения логарифмического правдоподобия как минимум на 1 (поскольку <tex>-2\Delta \ln L > 2</tex> означает <tex>\Delta \ln L > 1</tex>).
+Акаике рассуждал следующим образом. Если бы мы знали истинное распределение <tex>g(x)</tex>, то лучшая модель соответствовала бы максимуму <tex>\mathbb{E}_g[\ln f(x \mid \theta)]</tex>. Однако <tex>g(x)</tex> неизвестна, и мы можем лишь оценить параметры <tex>\theta</tex> по обучающей выборке <tex>y = (y_1, \dots, y_n)</tex>, получая оценку <tex>\hat{\theta}</tex>.
+Логарифм правдоподобия на обучающей выборке <tex>\ln L(\hat{\theta} \mid y)</tex> является ''смещённой'' оценкой величины <tex>\mathbb{E}_g[\ln f(x \mid \theta)]</tex>: он систематически завышает качество модели, так как параметры подгонялись под те же данные. Акаике показал, что величина смещения асимптотически равна числу параметров <tex>K</tex>:
+<tex>\mathbb{E}_y\left[ \ln L(\hat{\theta} \mid y) - \mathbb{E}_g[\ln f(x \mid \theta)] \right] \approx K.</tex>
+Отсюда получается несмещённая оценка ожидаемого логарифма правдоподобия на новых данных:
+<tex>\widehat{\mathbb{E}_g[\ln f]} = \ln L(\hat{\theta} \mid y) - K.</tex>
+Умножив на <tex>-2</tex> (по историческим причинам, чтобы согласовать с [[хи-квадрат|распределением <tex>\chi^2</tex>]]), получают итоговую формулу:
+<tex>AIC = -2 \ln L(\hat{\theta} \mid y) + 2K.</tex>
+=== Интерпретация формулы ===
+* Первое слагаемое <tex>-2 \ln L(\hat{\theta} \mid y)</tex> — характеризует качество подгонки модели на обучающих данных (чем меньше, тем лучше).
+* Второе слагаемое <tex>2K</tex> — штраф за сложность модели (каждый дополнительный параметр увеличивает AIC на 2).
+Таким образом, AIC балансирует между точностью подгонки и сложностью модели. Добавление нового параметра оправдано только в том случае, если оно уменьшает <tex>-2 \ln L</tex> более чем на 2.
 == Интерпретация и применение ==
-AIC является относительной мерой качества модели. '''Чем меньше значение AIC, тем лучше модель'''. При сравнении нескольких моделей вычисляют разности <tex>\Delta_i = AIC_i - AIC_{min}</tex>. Эмпирическое правило:
+AIC является ''относительной'' мерой качества модели. Абсолютное значение AIC не интерпретируется; важны лишь различия между моделями. При сравнении нескольких моделей вычисляют разности:
+<tex>\Delta_i = AIC_i - AIC_{min},</tex>
+где <tex>AIC_{min}</tex> — минимальное значение среди всех рассматриваемых моделей. Эмпирическое правило:
 * <tex>\Delta_i \le 2</tex> — модели практически эквивалентны;
@@ Строка 37: / Строка 64: @@
 * <tex>\Delta_i > 10</tex> — модель существенно хуже, её можно исключить из рассмотрения.
-Важно, что AIC позволяет сравнивать только модели, построенные на '''одной и той же''' выборке и с одинаковым набором наблюдений (зависимая переменная должна быть идентичной). При сравнении моделей с разным числом параметров предпочтение отдаётся модели с меньшим AIC.
+Также вычисляют '''веса Акаике''':
+<tex>w_i = \frac{\exp(-\Delta_i/2)}{\sum_j \exp(-\Delta_j/2)},</tex>
+которые интерпретируются как вероятности того, что модель <tex>i</tex> является наилучшей среди рассматриваемых (в смысле минимизации KL-дивергенции).
+=== Важные ограничения при применении ===
+* AIC позволяет сравнивать только модели, построенные на '''одной и той же''' выборке с одинаковым набором наблюдений.
+* Зависимая переменная должна быть идентичной (нельзя сравнивать модели с разными преобразованиями <tex>y</tex>).
+* Модели должны быть оценены [[метод максимального правдоподобия|методом максимального правдоподобия]].
 === Пример ===
-Пусть для данных подбираются линейная регрессия с 2 параметрами (<tex>AIC=120</tex>) и полиномиальная модель с 5 параметрами (<tex>AIC=115</tex>). Разность <tex>\Delta=5</tex> указывает на умеренное преимущество полиномиальной модели; если <tex>\Delta>10</tex>, выбор был бы очевидным.
+Пусть для данных подбираются линейная регрессия с 2 параметрами (<tex>AIC=120</tex>) и полиномиальная модель с 5 параметрами (<tex>AIC=115</tex>). Разность <tex>\Delta=5</tex> указывает на умеренное преимущество полиномиальной модели. Если бы <tex>\Delta>10</tex>, выбор полиномиальной модели был бы однозначным.
 == Модификации ==
-* '''AICc''' (исправленный AIC для малых выборок) — вводит дополнительный штраф, зависящий от объёма выборки <tex>n</tex>:
+=== AICc (исправленный AIC для малых выборок) ===
-  <tex>AICc = AIC + \frac{2K(K+1)}{n - K - 1}.</tex>
-  Рекомендуется использовать при <tex>n/K < 40</tex>. Разработан Сугиурой (1978).
+При малых выборках стандартный AIC может давать смещённые оценки. Сугиура (1978) предложил поправку:
-* '''QAIC''' (Quasi-AIC) — для данных с [[передисперсия|передисперсией]] (например, в экологических моделях). Заменяет логарифмическое правдоподобие на квази-правдоподобие и вводит коэффициент дисперсии <tex>\hat{c}</tex>:
-  <tex>QAIC = -2 \ln L / \hat{c} + 2K.</tex>
+<tex>AICc = AIC + \frac{2K(K+1)}{n - K - 1}.</tex>
-  Используется, когда распределение данных не соответствует стандартным семействам (например, [[биномиальное распределение|биномиальное]] с избыточной вариативностью).
+Рекомендуется использовать при <tex>n/K < 40</tex>. При <tex>n \to \infty</tex> поправка стремится к нулю, и <tex>AICc \to AIC</tex>.
+=== QAIC (Quasi-AIC) ===
+Для данных с [[передисперсия|передисперсией]] (например, в экологических моделях) используется квази-правдоподобие. Вводится коэффициент дисперсии <tex>\hat{c}</tex>:
+<tex>QAIC = -2 \ln L / \hat{c} + 2K.</tex>
+Применяется, когда распределение данных не соответствует стандартным семействам (например, [[биномиальное распределение|биномиальное]] с избыточной вариативностью).
 == Ограничения ==
-* '''Несостоятельность''': AIC не стремится к выбору истинной модели с вероятностью 1 при <tex>n \to \infty</tex> (в отличие от [[байесовский информационный критерий|BIC]]), а склонен выбирать модели с избыточным числом параметров, если они дают сколь угодно малое улучшение правдоподобия. Это свойство называют асимптотической неэффективностью в смысле состоятельности.
+* '''Несостоятельность''': AIC не стремится к выбору истинной модели с вероятностью 1 при <tex>n \to \infty</tex> (в отличие от [[байесовский информационный критерий|BIC]]). Если истинная модель конечномерна и входит в множество кандидатов, AIC будет выбирать модели с избыточным числом параметров, дающие сколь угодно малое улучшение правдоподобия.
-* Неприменим для сравнения моделей с разными объёмами данных или разными [[зависимая переменная|зависимыми переменными]] (например, с логарифмическим преобразованием).
+* Неприменим для сравнения моделей с разными объёмами выборок или разными зависимыми переменными.
-* Чувствителен к выбору [[распределение вероятностей|распределения]]; если оно специфицировано неверно, выводы могут быть ошибочными.
+* Чувствителен к выбору распределения; при неверной спецификации распределения выводы могут быть ошибочными.
-* Требует, чтобы модели были оценены методом максимального правдоподобия; для других методов оценки (например, [[метод моментов|метод моментов]]) использование AIC не обосновано.
+* Требует оценки методом максимального правдоподобия.
 == Сравнение с другими критериями ==
-* '''[[Байесовский информационный критерий|BIC]]''' (Bayesian Information Criterion, Шварц, 1978): <tex>BIC = -2 \ln L + K \ln n</tex>. Штраф растёт с объёмом выборки, поэтому BIC более консервативен и асимптотически состоятелен. При <tex>n > 8</tex> BIC сильнее штрафует за параметры, чем AIC. BIC предпочтителен, когда истинная модель предполагается конечномерной и входит в множество кандидатов.
+=== BIC (Байесовский информационный критерий) ===
-* '''[[DIC]]''' (Deviance Information Criterion) — для байесовских моделей, использует [[апостериорное распределение|апостериорное]] среднее отклонений.
+Предложен Шварцем (1978): <tex>BIC = -2 \ln L + K \ln n</tex>. Штраф растёт с объёмом выборки, поэтому BIC более консервативен и асимптотически состоятелен. При <tex>n > 8</tex> BIC штрафует за параметры сильнее, чем AIC. BIC предпочтителен, когда цель — идентификация истинной структуры модели, а не прогнозирование.
+=== DIC и WAIC ===
+* '''[[DIC]]''' (Deviance Information Criterion) — для байесовских моделей, использует апостериорное среднее отклонений.
 * '''[[WAIC]]''' (Widely Applicable Information Criterion) — полностью байесовский критерий, согласованный с [[кросс-валидация|кросс-валидацией]] leave-one-out.
-* '''[[Кросс-валидация]]''' — даёт прямую оценку ошибки прогноза, но требует многократного переобучения; при больших данных может быть предпочтительнее AIC.
+=== Кросс-валидация ===
+Даёт прямую оценку ошибки прогноза, но требует многократного переобучения. При больших данных может быть предпочтительнее AIC. Однако AIC является асимптотически эквивалентным кросс-валидации leave-one-out.
 == Практические рекомендации ==
 * Если цель — прогнозирование и размер выборки мал (<tex>n/K < 40</tex>), используйте AICc.
-* Если цель — идентификация истинной структуры модели (например, отбор значимых предикторов) при большом <tex>n</tex>, предпочтительнее BIC.
+* Если цель — идентификация истинной структуры модели при большом <tex>n</tex>, предпочтительнее BIC.
-* Всегда приводите значения AIC для всех сравниваемых моделей, а также <tex>\Delta_i</tex> и веса Акаике <tex>w_i = \frac{\exp(-\Delta_i/2)}{\sum_j \exp(-\Delta_j/2)}</tex>, которые интерпретируются как вероятности того, что модель <tex>i</tex> является лучшей среди рассматриваемых (в смысле KL-расстояния).
+* Всегда приводите значения AIC для всех сравниваемых моделей, а также <tex>\Delta_i</tex> и веса Акаике.
-* Избегайте «драпировки» моделей (data dredging) — сравнение большого числа моделей без априорных гипотез повышает риск случайных находок; используйте коррекцию на множественное тестирование.
+* Избегайте «драпировки» моделей (data dredging) — сравнение большого числа моделей без априорных гипотез повышает риск случайных находок.
 == Заключение ==
-Критерий Акаике остаётся одним из самых цитируемых инструментов в статистическом моделировании благодаря своей простоте, теоретической прозрачности и универсальности. Несмотря на разработанные позднее альтернативы, AIC сохраняет актуальность в задачах, где приоритетом является предсказательная точность, особенно при умеренных размерах выборки. Современные тенденции — интеграция AIC с методами регуляризации ([[LASSO]], [[ридж-регрессия]]) и использование информационных критериев в глубоком обучении для выбора архитектур — расширяют область его применения.
+Критерий Акаике остаётся одним из самых цитируемых инструментов в статистическом моделировании благодаря своей простоте, теоретической прозрачности и универсальности. Несмотря на разработанные позднее альтернативы, AIC сохраняет актуальность в задачах прогнозирования, особенно при умеренных размерах выборки. Современные тенденции — интеграция AIC с методами регуляризации ([[LASSO]], [[ридж-регрессия]]) и использование информационных критериев в глубоком обучении — расширяют область его применения.
 == Литература ==
@@ Строка 83: / Строка 138: @@
 # Konishi, S., & Kitagawa, G. (2008). ''Information Criteria and Statistical Modeling''. Springer.
 # Claeskens, G., & Hjort, N. L. (2008). ''Model Selection and Model Averaging''. Cambridge University Press.
+Полный промпт, использованный при создании этой статьи, доступен на [[Обсуждение:Критерий Акаике|странице обсуждения]].
 [[Категория:Статистические критерии]]
 [[Категория:Выбор модели]]
 [[Категория:Теория информации]]