Обсуждение:Критерий Акаике

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: Марина, мое почтение. Вы не разобрались до конца с описанием Критерия Акаике, поэтому ряд пунктов изл...)
 
(1 промежуточная версия не показана)
Строка 1: Строка 1:
-
Марина, мое почтение.
+
Ты – эксперт по статистическому моделированию. Переработай статью «Критерий Акаике» (AIC) для MachineLearning.ru. Исходная статья содержит формулы, но слишком короткая и не раскрывает тему.
-
Вы не разобрались до конца с описанием Критерия Акаике, поэтому ряд пунктов изложен некорректно.
+
**Недостатки, которые нужно устранить:**
 +
- Нет мотивации и исторической справки (автор, 1974 год).
 +
- Формулы приведены без пояснений, неясно их происхождение и связь с дивергенцией Кульбака–Лейблера. Важно: дивергенция KL несимметрична и не является расстоянием.
 +
- Суть критерия описана неверно. Нужно объяснить, что Акаике оценивал, насколько ухудшится качество на тестовой выборке, если модель обучена по обучающей. Он использовал матожидание по всем возможным выборкам и KL-дивергенцию, чтобы выразить это через правдоподобие на обучающей выборке.
 +
- Не описаны практические шаги: как сравнивать модели, интерпретировать разницу значений.
 +
- Не указаны ограничения (несостоятельность, невозможность сравнения на разных выборках).
 +
- Модификации (AICc, QAIC) описаны бегло, без областей применения.
 +
**Требования к новой статье:**
 +
Структура: определение и мотивация, история, теоретический вывод (через KL-дивергенцию, с корректными обозначениями и пояснением несимметричности), формула и её интерпретация, практическое применение, модификации (AICc, QAIC), ограничения, сравнение с BIC и кросс-валидацией, практические рекомендации, заключение.
 +
Стиль: строгий, но доступный. Привести минимум 5 источников (включая оригинальную работу Акаике).
-
1. Дивергенция Кульбака-Лейблера ни в коем случае не является расстоянием между распределением, хотя бы потому, что она несимметрична.
+
Объём: около 700–900 слов.
-
2. Величина L(\theta|x) не является функцией правдоподобия. Исходя из обозначений это апостериорная плотность на тета. Чтобы сохранить корректность обозначений, необходимо писать L(x|\theta) - в этом случае мы имеем распределение на иксы, а относительно тета это действительно функция правдоподобия.
 
-
3. Наконец, сама идея введения критерия описана невнятно и не совсем правильно. Я Вам настоятельно рекомендую в этом вопросе разобраться самостоятельно. Дам Вам подсказку: задача Акаике состояла в том, чтобы посмотреть как ухудшится качество работы алгоритма на тестовой выборке, если мы его с помощью метода максимального правдоподобия обучили по обучающей выборбке. Соответственно, у нас есть тестовая выборка Z и мы на ней считаем величину L(Z|\theta_ML (X)), т.е. пытаемся считать плотность (качество описания) тестовой выборки, используя вероятностную модель с параметрами, настроенными по обучающей выборке (поэтому я специально поставил индекс Х у теты). Ясно, что для разных обучающих и тестовых выборок эта велчина будет меняться, но вот если взять мат. ожидание по всем возможным выборбкам Z и Х, то мы получим как раз критерий Акаике. Проблема, естественно, заключается в том, что ан момент обучения (а именно тогда нам важно знать насколько у нас адекватная модель), нам тестовая выборка неизвестна (иначе мы бы просто на ней запустили обученный алгоритм и посмотрели бы качество). Поэтому задача оценить качество на тестовой выборке через качество на обучающей выборке, т.е. через L(X|\theta_ML (X)). Ясно, что на обучении качество будет выше (мы же паарметры по этой же выборке настраиваем), вопрос насколько выше. Вот тут как раз Акаике используя теорию информации (и дивергенцию КЛ, в частности), смог для ряда частный случаев оценку получить.
 
-
Если будут вопросы, буду рад Вам помочь.
+
**Исходная статья для переработки:**
-
С уважением,
+
{{Задание|Mordasova|Константин Воронцов|15 февраля 2010}}
-
[[Участник:Dmitry Vetrov|Дмитрий Ветров]].
+
'''Критерий Акаике''' ('''Akaike's information criterion''', '''AIC''') - критерий выбора из класса параметризованных [[Регрессионная модель|регрессионных моделей]]. Акаике (Akaike) предложил критерий выбора, оценивающий модели с разным числом параметров. Критерий связан с понятием '''расстояния Кульбака — Лейблера''' (Kullback–Leibler), при помощи которого можно оценить расстояние между моделями. При применении критерия в соответствии с [[Бритва Оккама|принципом Оккама]] лучшей считается модель, в достаточной мере полно описывающая данные с наименьшим количеством параметров. Тесно связан с [[Байесовский информационный критерий|байесовским информационным критерием]], но в отличие от него содержит функцию штрафа, линейно зависящую от числа параметров.
 +
==Описание критерия==
 +
Расстояние Кульбака-Лейблера между двумя непрерывными функциями есть интеграл <tex>I(f,g)=\int{f(x)\ln{\frac{f(x)}{g(x|\theta)}}d(x)}</tex>.
 +
Акаике показал, что для оценки расстояния между моделями можно оценить величину <tex>E_{\hat{\theta}}\[I(f,\hat{g})\]</tex>, где <tex>\hat{\theta}</tex> - оценка вектора параметров, в который входят параметры модели и случайные величины; <tex>\hat{g}=g(\cdot|\hat{\theta})</tex>. При этом максимум логарифмической функции правдоподобия и оценка матожидания связаны следующим выражением: <tex>\log(\mathcal{L}(\hat{\theta}|y))-K=Const-\hat{E}_{\hat{\theta}}\[I(f,\hat{g})\]</tex>,
 +
где <tex>K</tex> - число параметров модели, а <tex>\mathcal{L}</tex> -максимум логарифмической [[Метод наибольшего правдоподобия|функции правдоподобия]].
 +
Таким образом вместо вычисления расстояния между моделями можно ввести оценивающий критерий.<br />
 +
 
 +
<tex>AIC = 2K-2\log(\mathcal{L}(\hat{\theta}|y))</tex><br />
 +
 
 +
В случае задачи [[Линейная регрессия|линейной регрессии]] можно записать критерий Акаике через SSE (Sum of Squared Errors) - сумму квадратов остатков.<br />
 +
 
 +
<tex>AIC = 2K+n\[\ln(\hat{\sigma}^2)\]</tex> <br />
 +
 
 +
<tex>SSE=\|f(x_i)-y_i\|_2=\sum_{i=1}^N(y_i-f(w,x_i))^2</tex>;<br />
 +
 
 +
<tex>\hat{\sigma}^2=\frac{SSE}{N-2}</tex> — дисперсия остатков;<br />
 +
Лучшая модель соответствует минимальному значению критерия Акаике. Абсолютное значение критерия не несет в себе полезной информации.
 +
 
 +
==Особенности применения критерия==
 +
*Штрафование числа параметров ограничивает значительный рост сложности модели.
 +
*Проверка критерия является трудоемкой операцией.
 +
*Может сравнивать модели только с выборками равного размера.
 +
*Порядок выбора моделей неважен.
 +
 
 +
==Модификации критерия==
 +
*'''AIC<sub>c</sub>''' был предложен для использования в задач маленькой размерности, когда <tex>\frac{n}{K}\leq 40</tex>. При решении более общих задач большей размерности рекомендуется использовать AIC. В то же время, при больших значениях <tex>\frac{n}{K}</tex> использование двух критериев равно возможно. Особенность критерия AIC<sub>c</sub> заключается в том, что функция штрафа умножается на поправочный коэффициент. <br />
 +
<tex>AIC_c=AIC+\frac{2K(K+1)}{n-K-1}</tex> <br /><br />
 +
<tex>AIC_c=\ln\frac{SSE}{n}+\frac{n+K}{n-K-2}</tex>
 +
*'''QAIC''' следует использовать для моделей, в которых часть переменных является случайными величинами с простыми дискретными распределениями (биномиальное, пуассоновское и т.д.). В таких случаях используется более общая модель, которая получается из рассматриваемой добавлением параметра обобщенного распределения. Оценка параметра определяется как распределение <tex>\chi^2</tex>. Обычно значение параметра лежит на отрезке <tex>c\in\[1;4\]</tex>.
 +
Если <tex>\hat{c}<1</tex>, то следует заменить <tex>c = 1</tex>. При <tex>c=1</tex> QAIC сводится к AIC.<br />
 +
<tex>QAIC = 2K-\frac{\ln(L)}{\hat{c}}</tex><br /><br />
 +
<tex>QAIC_c = QAIC+\frac{2K(K+1)}{n-K-1}</tex>
 +
 
 +
==См. также==
 +
*[[Байесовский информационный критерий]]
 +
*[[Многомерная линейная регрессия]]
 +
*[[Линейная регрессия]]
 +
==Литература==
 +
#[http://en.wikipedia.org/wiki/Akaike_information_criterion Akaike's information criterion on Wikipedia]
 +
 
 +
#{{книга
 +
|автор = Akaike, H.
 +
|заглавие = A new look at the statistical model identification
 +
|ссылка = http://ieeexplore.ieee.org/search/wrapper.jsp?arnumber=1100705
 +
|издание = IEEE Transactions on Automatic Control
 +
|год = 1974
 +
|том = 19
 +
|страниц = 716--723
 +
}}
 +
#{{книга
 +
|автор = Liddle A. R.
 +
|заглавие = Information criteria for astrophysical model selection
 +
|ссылка = http://xxx.adelaide.edu.au/PS_cache/astro-ph/pdf/0701/0701113v2.pdf
 +
|издание = Advances in Neural Information Processing Systems
 +
|издательство = Astronomy Centre, University of Sussex
 +
|год = 2008
 +
}}
 +
#{{книга
 +
|автор = Burnham K. P., Anderson D.R.
 +
|заглавие = Model selection and multimodel inference: a practical information-theoretic approach
 +
|издание = 2-е изд
 +
|издательство = Springer
 +
|год = 2002
 +
|страниц = 488
 +
|ссылка = http://books.google.ru/books?id=BQYR6js0CC8C&dq=Model+selection+and+multimodel+inference&source=gbs_navlinks_s
 +
|isbn = 0387953647
 +
}}
 +
#{{книга
 +
|автор = McQuarrie A. D. R., Tsai C. L.
 +
|заглавие = Regression and time series model selection
 +
|издательство = World Scientific
 +
|год = 1998
 +
|страниц = 455
 +
|ссылка = http://books.google.ru/books?id=INw5s0jA14wC&printsec=frontcover&dq=Regression+and+time+series+model+selectio&ei=6dVyS8jKI5C8yQTHy8WlBQ&cd=1#v=onepage&q=&f=false
 +
|isbn = 981023242X
 +
}}
 +
#{{книга
 +
|автор = Бидюк П.И., Зворыгина Т.Ф.
 +
|заглавие = Cтруктурный анализ методик построения регрессионных моделей по временным рядам наблюдений
 +
|ссылка = http://www.gmdh.net/articles/usim/Bidyuk.pdf
 +
}}

Текущая версия

Ты – эксперт по статистическому моделированию. Переработай статью «Критерий Акаике» (AIC) для MachineLearning.ru. Исходная статья содержит формулы, но слишком короткая и не раскрывает тему.

    • Недостатки, которые нужно устранить:**

- Нет мотивации и исторической справки (автор, 1974 год). - Формулы приведены без пояснений, неясно их происхождение и связь с дивергенцией Кульбака–Лейблера. Важно: дивергенция KL несимметрична и не является расстоянием. - Суть критерия описана неверно. Нужно объяснить, что Акаике оценивал, насколько ухудшится качество на тестовой выборке, если модель обучена по обучающей. Он использовал матожидание по всем возможным выборкам и KL-дивергенцию, чтобы выразить это через правдоподобие на обучающей выборке. - Не описаны практические шаги: как сравнивать модели, интерпретировать разницу значений. - Не указаны ограничения (несостоятельность, невозможность сравнения на разных выборках). - Модификации (AICc, QAIC) описаны бегло, без областей применения.

    • Требования к новой статье:**

Структура: определение и мотивация, история, теоретический вывод (через KL-дивергенцию, с корректными обозначениями и пояснением несимметричности), формула и её интерпретация, практическое применение, модификации (AICc, QAIC), ограничения, сравнение с BIC и кросс-валидацией, практические рекомендации, заключение. Стиль: строгий, но доступный. Привести минимум 5 источников (включая оригинальную работу Акаике).

Объём: около 700–900 слов.


    • Исходная статья для переработки:**
Данная статья является непроверенным учебным заданием.
Студент: Участник:Mordasova
Преподаватель: Участник:Константин Воронцов
Срок: 15 февраля 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Критерий Акаике (Akaike's information criterion, AIC) - критерий выбора из класса параметризованных регрессионных моделей. Акаике (Akaike) предложил критерий выбора, оценивающий модели с разным числом параметров. Критерий связан с понятием расстояния Кульбака — Лейблера (Kullback–Leibler), при помощи которого можно оценить расстояние между моделями. При применении критерия в соответствии с принципом Оккама лучшей считается модель, в достаточной мере полно описывающая данные с наименьшим количеством параметров. Тесно связан с байесовским информационным критерием, но в отличие от него содержит функцию штрафа, линейно зависящую от числа параметров.

Содержание

Описание критерия

Расстояние Кульбака-Лейблера между двумя непрерывными функциями есть интеграл I(f,g)=\int{f(x)\ln{\frac{f(x)}{g(x|\theta)}}d(x)}. Акаике показал, что для оценки расстояния между моделями можно оценить величину E_{\hat{\theta}}\[I(f,\hat{g})\], где \hat{\theta} - оценка вектора параметров, в который входят параметры модели и случайные величины; \hat{g}=g(\cdot|\hat{\theta}). При этом максимум логарифмической функции правдоподобия и оценка матожидания связаны следующим выражением: \log(\mathcal{L}(\hat{\theta}|y))-K=Const-\hat{E}_{\hat{\theta}}\[I(f,\hat{g})\], где K - число параметров модели, а \mathcal{L} -максимум логарифмической функции правдоподобия. Таким образом вместо вычисления расстояния между моделями можно ввести оценивающий критерий.

AIC = 2K-2\log(\mathcal{L}(\hat{\theta}|y))

В случае задачи линейной регрессии можно записать критерий Акаике через SSE (Sum of Squared Errors) - сумму квадратов остатков.

AIC = 2K+n\[\ln(\hat{\sigma}^2)\]

SSE=\|f(x_i)-y_i\|_2=\sum_{i=1}^N(y_i-f(w,x_i))^2;

\hat{\sigma}^2=\frac{SSE}{N-2} — дисперсия остатков;
Лучшая модель соответствует минимальному значению критерия Акаике. Абсолютное значение критерия не несет в себе полезной информации.

Особенности применения критерия

  • Штрафование числа параметров ограничивает значительный рост сложности модели.
  • Проверка критерия является трудоемкой операцией.
  • Может сравнивать модели только с выборками равного размера.
  • Порядок выбора моделей неважен.

Модификации критерия

  • AICc был предложен для использования в задач маленькой размерности, когда \frac{n}{K}\leq 40. При решении более общих задач большей размерности рекомендуется использовать AIC. В то же время, при больших значениях \frac{n}{K} использование двух критериев равно возможно. Особенность критерия AICc заключается в том, что функция штрафа умножается на поправочный коэффициент.

AIC_c=AIC+\frac{2K(K+1)}{n-K-1}

AIC_c=\ln\frac{SSE}{n}+\frac{n+K}{n-K-2}

  • QAIC следует использовать для моделей, в которых часть переменных является случайными величинами с простыми дискретными распределениями (биномиальное, пуассоновское и т.д.). В таких случаях используется более общая модель, которая получается из рассматриваемой добавлением параметра обобщенного распределения. Оценка параметра определяется как распределение \chi^2. Обычно значение параметра лежит на отрезке c\in\[1;4\].

Если \hat{c}<1, то следует заменить c = 1. При c=1 QAIC сводится к AIC.
QAIC = 2K-\frac{\ln(L)}{\hat{c}}

QAIC_c = QAIC+\frac{2K(K+1)}{n-K-1}

См. также

Литература

  1. Akaike's information criterion on Wikipedia
  1. Akaike, H. A new look at the statistical model identification. — IEEE Transactions on Automatic Control. — 1974 T. 19. — 716--723 с.
  2. Liddle A. R. Information criteria for astrophysical model selection. — Advances in Neural Information Processing Systems. — Astronomy Centre, University of Sussex, 2008.
  3. Burnham K. P., Anderson D.R. Model selection and multimodel inference: a practical information-theoretic approach. — 2-е изд. — Springer, 2002. — 488 с. — ISBN 0387953647
  4. McQuarrie A. D. R., Tsai C. L. Regression and time series model selection. — World Scientific, 1998. — 455 с. — ISBN 981023242X
  5. Бидюк П.И., Зворыгина Т.Ф. Cтруктурный анализ методик построения регрессионных моделей по временным рядам наблюдений.
Источник — «http://recognition.su/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%90%D0%BA%D0%B0%D0%B8%D0%BA%D0%B5»
Личные инструменты