Проверка статистических гипотез
Материал из MachineLearning.
(Новая: {{TOCright}} '''Статистическая гипотеза''' (statistical hypothesys) — определённое предположение о распределении вероя...) |
|||
Строка 1: | Строка 1: | ||
{{TOCright}} | {{TOCright}} | ||
- | '''Статистическая гипотеза''' (statistical hypothesys) — определённое предположение о распределении вероятностей, лежащем в основе наблюдаемой [[выборка|выборки данных]]. | + | '''Статистическая гипотеза''' (statistical hypothesys) — это определённое предположение о распределении вероятностей, лежащем в основе наблюдаемой [[выборка|выборки данных]]. |
- | '''Проверка | + | '''Проверка статистической гипотезы''' (testing statistical hypotheses) — это процесс принятия решения о том, что рассматриваемая статистическая гипотеза не противоречит наблюдаемой [[выборка|выборке данных]]. |
- | + | ||
- | + | ||
- | + | ||
- | + | '''Статистический тест''' или '''статистический критерий''' — строгое математическое правило, по которому принимается или отвергается ''статистическая гипотеза''. | |
- | + | ||
- | + | == Методика проверки статистических гипотез == | |
+ | Пусть задана случайная [[выборка]] <tex>x^m = (x_1,\ldots,x_m)</tex> — последовательность <tex>m</tex> объектов из множества <tex>X</tex>. | ||
+ | Предполагается, что на множестве <tex>X</tex> существует некоторая неизвестная вероятностная мера <tex>\mathbb{P}</tex>. | ||
- | + | Методика состоит в следующем. | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | {{UnderConstruction|[[Участник:Vokov|К.В.Воронцов]] | + | # Формулируется ''нулевая'' гипотеза <tex>H_0</tex> о распределении вероятностей на множестве <tex>X</tex>. Гипотеза формулируется исходя из требований прикладной задачи. Чаще всего рассматриваются две гипотезы — ''основная'' или ''нулевая'' <tex>H_0</tex> и альтернативная <tex>H_1</tex>. Иногда альтернатива не формулируется в явном виде; тогда предполагается, что <tex>H_1</tex> означает «не <tex>H_0</tex>». Иногда рассматривается сразу несколько альтернатив. В математической статистике хорошо изучено несколько десятков «наиболее часто встречающихся» типов гипотез, и известны ещё сотни специальных вариантов и разновидностей. Примеры приводятся ниже. |
+ | # Задаётся некоторая [[статистика (функция выборки)]] <tex>T:\: X^m \to \mathbb{R}</tex>, для которой в условиях справедливости гипотезы <tex>H_0</tex> выводится [[функция распределения]] <tex>F(T)</tex> и/или [[плотность распределения]] <tex>p(T)</tex>. Вопрос о том, какую статистику надо взять для проверки той или иной гипотезы, часто не имеет однозначного ответа. Есть целый ряд требований, которым должна удовлетворять «хорошая» статистика <tex>T</tex>. Вывод функции распределения <tex>F(T)</tex> при заданных <tex>H_0</tex> и <tex>T</tex> является строгой математической задачей, которая решается методами теории вероятностей; в справочниках приводятся готовые формулы для <tex>F(T)</tex>; в статистических пакетах имеются готовые вычислительные процедуры. | ||
+ | # Фиксируется ''[[уровень значимости]]'' — допустимая для данной задачи вероятность ''ошибки первого рода'', то есть того, что гипотеза на самом деле верна, но будет отвергнута процедурой проверки. Это должно быть достаточно малое число <tex>\alpha \in [0,1]</tex>. На практике часто полагают <tex>\alpha=0.05</tex>. | ||
+ | # На множестве допустимых значений статистики <tex>T</tex> выделяется ''критическое множество'' <tex>\Omega</tex> наименее вероятных значений статистики <tex>T</tex>, такое, что <tex>\mathbb{P}\{T\in\Omega\} = \alpha</tex>. Вычисление границ критического множества является строгой математической задачей, которая в большинстве практических случаев имеет готовое простое решение. | ||
+ | # Собственно ''статистический тест'' (''статистический критерий'') заключается в проверке условия: | ||
+ | #* если <tex>T(X^m)\in\Omega</tex>, то делается вывод «данные противоречат нулевой гипотезе при уровне значимости <tex>\alpha</tex>». | ||
+ | #* если <tex>T(X^m)\notin\Omega</tex>, то делается вывод «данные не противоречат нулевой гипотезе при уровне значимости <tex>\alpha</tex>». | ||
+ | |||
+ | '''Замечание.''' | ||
+ | Если данные не противоречат нулевой гипотезе, это ещё не значит, что гипотеза верна. | ||
+ | Тому есть две причины. | ||
+ | * По мере увеличения длины выборки нулевая гипотеза может сначала приниматься, но потом выявятся более тонкие несоответствия данных гипотезе, и она будет отвергнута. | ||
+ | * Выбранная статистика <tex>T</tex> может отражать не всю информацию, содержащуюся в гипотезе <tex>H_0</tex>. В таком случае увеличивается вероятность ошибки второго рода — нулевая гипотеза может быть принята, хотя на самом деле она не верна. Допустим, например, что <tex>H_0</tex> = «распределение нормально»; <tex>T(X^m)</tex> = [[коэффициент асимметрии]]; тогда выборка с любым симметричным распределением будет признана нормальной. Чтобы избегать таких ошибок, следует пользоваться более [[Мощность критерия|мощными критериями]]. | ||
+ | |||
+ | == Ошибки первого и второго рода == | ||
+ | * Ошибка первого рода или «ложная тревога» (англ. type I error, <tex>\alpha</tex> error, false positive) — когда нулевая гипотеза отвергается, хотя на самом деле она верна. | ||
+ | * Ошибка второго рода или «пропуск цели» (англ. type II error, <tex>\beta</tex> error, false negative) — когда нулевая гипотеза принимается, хотя на самом деле она не верна. | ||
+ | |||
+ | {| class = "standard" | ||
+ | |+ | ||
+ | ! colspan=2 rowspan=2| | ||
+ | ! colspan=2 |Верная гипотеза | ||
+ | |- | ||
+ | ! | <tex>H_0</tex> | ||
+ | ! | <tex>H_1</tex> | ||
+ | |- | ||
+ | ! rowspan=2 |Результат<br/> применения <br/>критерия | ||
+ | ! | <tex>H_0</tex> | ||
+ | | style="background: #ddffdd;" | <tex>H_0</tex> верно принята | ||
+ | | style="background: #ffdddd;" | <tex>H_1</tex> неверно отвергнута <br/>(Ошибка ''второго'' рода) | ||
+ | |- | ||
+ | ! | <tex>H_1</tex> | ||
+ | | style="background: #ffdddd;" | <tex>H_0</tex> неверно отвергнута <br/>(Ошибка ''первого'' рода) | ||
+ | | style="background: #ddffdd;" | <tex>H_1</tex> верно принята | ||
+ | |} | ||
+ | |||
+ | == Свойства статистических критериев == | ||
+ | |||
+ | Несмещённый критерий | ||
+ | |||
+ | Состоятельный критерий | ||
+ | |||
+ | Мощность критерия | ||
+ | |||
+ | Равномерно более мощный критерий | ||
+ | |||
+ | == Типы статистических критериев == | ||
+ | |||
+ | Критерии согласия | ||
+ | |||
+ | Критерии нормальности | ||
+ | |||
+ | Критерии равномерности | ||
+ | |||
+ | Критерии симметрии | ||
+ | |||
+ | Критерии однородности | ||
+ | |||
+ | Критерии случайности | ||
+ | |||
+ | Критерии стационарности | ||
+ | |||
+ | |||
+ | {{UnderConstruction|[[Участник:Vokov|К.В.Воронцов]] 20:52, 7 августа 2008 (MSD)}} | ||
== Литература == | == Литература == | ||
# Вероятность и математическая статистика: Энциклопедия / Под ред. Ю.В.Прохорова. — М.: Большая российская энциклопедия, 2003. — 912 с. | # Вероятность и математическая статистика: Энциклопедия / Под ред. Ю.В.Прохорова. — М.: Большая российская энциклопедия, 2003. — 912 с. | ||
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006. | # ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006. | ||
+ | |||
+ | == Ссылки == | ||
+ | * [http://en.wikipedia.org/wiki/Statistical_hypothesis_testing Statistical hypothesis testing] — статья в англоязычной Википедии. | ||
[[Категория:Математическая статистика]] | [[Категория:Математическая статистика]] | ||
[[Категория:Прикладная статистика]] | [[Категория:Прикладная статистика]] | ||
+ | [[Категория:Популярные и обзорные статьи]] |
Версия 16:52, 7 августа 2008
|
Статистическая гипотеза (statistical hypothesys) — это определённое предположение о распределении вероятностей, лежащем в основе наблюдаемой выборки данных.
Проверка статистической гипотезы (testing statistical hypotheses) — это процесс принятия решения о том, что рассматриваемая статистическая гипотеза не противоречит наблюдаемой выборке данных.
Статистический тест или статистический критерий — строгое математическое правило, по которому принимается или отвергается статистическая гипотеза.
Методика проверки статистических гипотез
Пусть задана случайная выборка — последовательность
объектов из множества
.
Предполагается, что на множестве
существует некоторая неизвестная вероятностная мера
.
Методика состоит в следующем.
- Формулируется нулевая гипотеза
о распределении вероятностей на множестве
. Гипотеза формулируется исходя из требований прикладной задачи. Чаще всего рассматриваются две гипотезы — основная или нулевая
и альтернативная
. Иногда альтернатива не формулируется в явном виде; тогда предполагается, что
означает «не
». Иногда рассматривается сразу несколько альтернатив. В математической статистике хорошо изучено несколько десятков «наиболее часто встречающихся» типов гипотез, и известны ещё сотни специальных вариантов и разновидностей. Примеры приводятся ниже.
- Задаётся некоторая статистика (функция выборки)
, для которой в условиях справедливости гипотезы
выводится функция распределения
и/или плотность распределения
. Вопрос о том, какую статистику надо взять для проверки той или иной гипотезы, часто не имеет однозначного ответа. Есть целый ряд требований, которым должна удовлетворять «хорошая» статистика
. Вывод функции распределения
при заданных
и
является строгой математической задачей, которая решается методами теории вероятностей; в справочниках приводятся готовые формулы для
; в статистических пакетах имеются готовые вычислительные процедуры.
- Фиксируется уровень значимости — допустимая для данной задачи вероятность ошибки первого рода, то есть того, что гипотеза на самом деле верна, но будет отвергнута процедурой проверки. Это должно быть достаточно малое число
. На практике часто полагают
.
- На множестве допустимых значений статистики
выделяется критическое множество
наименее вероятных значений статистики
, такое, что
. Вычисление границ критического множества является строгой математической задачей, которая в большинстве практических случаев имеет готовое простое решение.
- Собственно статистический тест (статистический критерий) заключается в проверке условия:
- если
, то делается вывод «данные противоречат нулевой гипотезе при уровне значимости
».
- если
, то делается вывод «данные не противоречат нулевой гипотезе при уровне значимости
».
- если
Замечание. Если данные не противоречат нулевой гипотезе, это ещё не значит, что гипотеза верна. Тому есть две причины.
- По мере увеличения длины выборки нулевая гипотеза может сначала приниматься, но потом выявятся более тонкие несоответствия данных гипотезе, и она будет отвергнута.
- Выбранная статистика
может отражать не всю информацию, содержащуюся в гипотезе
. В таком случае увеличивается вероятность ошибки второго рода — нулевая гипотеза может быть принята, хотя на самом деле она не верна. Допустим, например, что
= «распределение нормально»;
= коэффициент асимметрии; тогда выборка с любым симметричным распределением будет признана нормальной. Чтобы избегать таких ошибок, следует пользоваться более мощными критериями.
Ошибки первого и второго рода
- Ошибка первого рода или «ложная тревога» (англ. type I error,
error, false positive) — когда нулевая гипотеза отвергается, хотя на самом деле она верна.
- Ошибка второго рода или «пропуск цели» (англ. type II error,
error, false negative) — когда нулевая гипотеза принимается, хотя на самом деле она не верна.
Верная гипотеза | |||
---|---|---|---|
| | ||
Результат применения критерия | | | (Ошибка второго рода) |
| (Ошибка первого рода) | |
Свойства статистических критериев
Несмещённый критерий
Состоятельный критерий
Мощность критерия
Равномерно более мощный критерий
Типы статистических критериев
Критерии согласия
Критерии нормальности
Критерии равномерности
Критерии симметрии
Критерии однородности
Критерии случайности
Критерии стационарности
![]() | Статья в настоящий момент дорабатывается. К.В.Воронцов 20:52, 7 августа 2008 (MSD) |
Литература
- Вероятность и математическая статистика: Энциклопедия / Под ред. Ю.В.Прохорова. — М.: Большая российская энциклопедия, 2003. — 912 с.
- Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.
Ссылки
- Statistical hypothesis testing — статья в англоязычной Википедии.