Участник:Slimper/Песочница

Материал из MachineLearning.

< Участник:Slimper(Различия между версиями)
Перейти к: навигация, поиск
(Примеры задач)
м (декатегоризация)
 
(10 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
'''Критерий Ван дер Вардена(Van der Waerden criteria)''' — [[непараметрический статистический критерий]], используемый для оценки различий между двумя [[выборка]]ми по признаку, измеренному в количественной [[шкала измерения|шкале]]. Критерий является ранговым, поэтому он инвариантен по отношению
+
'''Критерий Бартелса (Bartels test)''' — [[непараметрический статистический критерий]], используемый для проверки случайности последовательности наблюдаемых значений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения. Критерий Бартелса можно применять для анализа регрессионных остатков.
-
к любому монотонному преобразованию шкалы измерения.
+
Также его можно применять при анализе [[временной ряд|временных рядов]] для выявления тренда.
-
Для выявления различий между несколькими выборками существует многовыборочный критерий Ван дер Вардена.
+
== Примеры задач ==
== Примеры задач ==
-
 
'''Пример 1.'''
'''Пример 1.'''
-
Первая выборка — это пациенты, которых лечили препаратом&nbsp;А.
+
Ряд значений состоит из подсчитанного на протяжении нескольких лет количества туристов, посещавших страну в течение года.
-
Вторая выборка — пациенты, которых лечили препаратом&nbsp;Б.
+
Требуется установить, являются ли число туристов, случайным, или оно
-
Значения в выборках — это некоторая характеристика эффективности лечения (уровень метаболита в крови, температура через три дня после начала лечения, срок выздоровления, число койко-дней, и т.д.)
+
подчиняется какой-то закономерности.
-
Требуется выяснить, имеется ли значимое различие эффективности препаратов&nbsp;А&nbsp;и&nbsp;Б, или различия являются чисто случайными и объясняются «естественной» дисперсией выбранной характеристики.
+
-
 
+
-
'''Пример 2.'''
+
-
Первая выборка — это поля, обработанные агротехническим методом&nbsp;А.
+
-
Вторая выборка — поля, обработанные агротехническим методом&nbsp;Б.
+
-
Значения в выборках — это урожайность.
+
-
Требуется выяснить, является ли один из методов эффективнее другого, или различия урожайности обусловлены случайными факторами.
+
-
 
+
-
'''Пример 3.(использовнание многовыборочного критерия Ван дер Вардена)'''
+
-
Нужно проверить, как лекарство помогает в снятии соответствующего симптома. Взяты несколько групп пациентов, и каждой из них назначается определенная доза препарата. Гипотеза состоит в том, что по мере увеличения уровня дозы больные чувствуют себя лучше.
+
== Описание критерия ==
== Описание критерия ==
 +
Заданы выборка <tex>x^n = (x_1,\ldots,x_n),x_i \in \mathbb{R}</tex>.
-
Заданы две выборки <tex>x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}</tex>.
+
'''[[Нулевая гипотеза]]''' <tex>H_0:\;</tex> выборка <tex>x^n</tex> [[простая выборка|простая]], то
-
 
+
есть все наблюдения <tex>x_i</tex> — независимы и одинаково распределены.
-
'''Дополнительные предположения:'''
+
-
* обе выборки [[простая выборка|простые]], объединённая выборка [[независимая выборка|независима]];
+
-
* выборки взяты из неизвестных непрерывных распределений <tex>F(x)</tex> и <tex>G(y)</tex> соответственно.
+
-
 
+
-
'''[[Нулевая гипотеза]]''' <tex>H_0:\; F(x) = G(y)</tex>.
+
'''Статистика критерия:'''
'''Статистика критерия:'''
-
# Построить общий [[вариационный ряд]] объединённой выборки <tex>z^{(1)} \leq \cdots \leq z^{(m+n)}</tex> и найти ранги <tex>r(x_i)</tex> элементов первой выборки в общем вариационном ряду.
+
# Построить [[вариационный ряд]] выборки <tex>x^{(1)}(x_1,\ldots,x_n)</tex> и найти ранги <tex>r(x_i)</tex> всех элементов.
-
# Статистика критерия ван дер Вардена вычисляется по формуле:
+
# Статистика критерия Бартелса вычисляется по формуле:
-
<tex>X = \sum_{i = 1}^n u( \frac{r(x_i)}{ m + n + 1} )</tex>, где
+
::<tex>B = \frac{ \sum_{i = 1}^n (r(x_i) - r(x_{i + 1}) )^2 }{ \sum(R_i - \frac{n + 1}{2})^2}</tex>
-
<tex>u( \frac{r(x_i)}{ m + n + 1} )</tex> — [[квантиль]] уровня
+
-
<tex>\frac{r(x_i)}{ m + n + 1}</tex>
+
-
[[нормальное распределение| стандартного нормального распределения]]
+
-
'''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
+
Варианты критерия (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
-
* двусторонний критерий против альтернативы <tex>H_1:\; \mathbb{P} \{ x<y \} \neq 1/2</tex>
+
* двусторонний критерий (против альтернативы, что данные не случайны)
-
::если <tex> X \notin \left[ X_{\alpha/2},\, X_{1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
+
::если <tex> B \in \left[ B_{n,\alpha/2},\, B_{n,1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
-
* односторонний критерий -- против альтернативы <tex>H'_1:\; \mathbb{P} \{ x>y \} > 1/2</tex>
+
* левосторонний критерий(против альтернативы, что наблюдения положительно коррелированы)
-
::если <tex> X_> X_{1-\alpha} </tex>, то нулевая гипотеза отвергается;
+
::если <tex> B < B_{n,\alpha} </tex>, то нулевая гипотеза отвергается;
 +
* правосторонний критерий(против альтернативы, что наблюдения отрицательно коррелированы)
 +
::если <tex> B > B_{n,\alpha} </tex>, то нулевая гипотеза отвергается;
-
Здесь <tex> X_{\alpha} </tex> -- это <tex>\alpha</tex>-[[квантиль]] табличного распределения статистики Ван дер Вардена с параметрами <tex>m,\,n</tex>.
+
Здесь <tex> B_{n,\alpha} </tex> -- это <tex>\alpha</tex>-[[квантиль]] табличного распределения статистики Бартелса с параметром <tex>n</tex>.
===Асимптотический критерий ===
===Асимптотический критерий ===
-
Распределение статистики Ван дер Вардена асимптотически нормально
+
Распределение статистики Бартелса асимптотически нормально
-
с нулевым матожиданием <tex>\mathbb{E}X = 0</tex> и дисперсией
+
с матожиданием <tex>\mathbb{E}B = 2</tex> и дисперсией
-
::<tex> \mathbb{D}X = \frac{mn}{(m + n)(m + n - 1)} \sum_{i = 1}^{m + n} u^2( \frac{i}{m + n + 1} ) </tex>
+
::<tex> \mathbb{D}B = \frac{4(n - 2)(5n^2 - 2n - 9)}{5n(n + 1)(n - 1)^2} </tex>
-
Нормальную аппроксимацию статистики Ван дер Вардена можно использовать при
+
Поэтому при
-
<tex> m, n \geqslant 20</tex>.
+
<tex>n \ge 20</tex> используется нормированная статистика Бартелса
-
 
+
::<tex>B' = \frac{B - \mathbb{E}B}{\sqrt{\mathbb{D}B} } </tex>
-
В этом случае критерии (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>)
+
-
будет выглядеть следующим образом:
+
-
 
+
-
* двусторонний критерий <tex> \frac{X}{\mathbb{D}X} \notin \left[ u_{\alpha/2},\, u_{1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
+
-
 
+
-
* односторонний критерий -- против альтернативы <tex>H'_1:\; \mathbb{P} \{ x>y \} > 1/2</tex>
+
-
::если <tex> \frac{X}{\mathbb{D}X}_> u_{1-\alpha} </tex>, то нулевая гипотеза отвергается;
+
-
 
+
-
== Свойства критерия Ван дер Вардена ==
+
-
Если выборки подчиняются нормальному распределению, то критерий Ван дер Вардена асимптотически
+
-
имеет ту же мощность, что и [[критерий Стьюдента]].
+
-
 
+
-
При <tex>n + m \to \infty</tex> критерий Ван дер Вардена не уступает в эффективности [[Критерий Стьюдента | критерию Стьюдента]]
+
-
 
+
-
== Многовыборочное обобщение критерия Ван дер Вардена ==
+
-
Заданы <i>k</i> выборок:
+
-
<tex>x_1^{n_1}=\left\{x_{11},\dots,x_{1n_1}\right\}, \dots, x_k^{n_k}=\left\{x_{k1},\dots,x_{kn_k}\right\}</tex>.
+
-
Объединённая выборка: <tex>z=x_1^{n_1}\cup x_2^{n_2}\cup \dots \cup x_k^{n_k}</tex>.
+
-
 
+
-
''Дополнительные предположения:''
+
-
* все выборки [[Простая выборка|простые]], объединённая выборка [[Независимая выборка|независима]];
+
-
* выборки взяты из неизвестных непрерывных распределений <tex>F_1(x),\dots,F_k(x)</tex>.
+
-
 
+
-
Упорядочим все <tex>N=\sum_{i=1}^k n_i</tex> элементов выборок по возрастанию и обозначим <tex>R_{ij}</tex> ранг <i>j</i>-го элемента <i>i</i>-й выборки в полученном [[вариационный ряд|вариационном ряду]].
+
-
 
+
-
Статистика Ван дер Вардена имеет вид <br />
+
-
:: <tex>T = \left(\sum_{i = 1}^N u^2( \frac{i}{N + 1} ) \right)^{-1} (N - 1) \sum_{i = 1}^{k} \frac{1}{n_i} \left( \sum_{j=1}^{n_i} u^2( \frac{R_{ij}}{N + 1} ) \right)^2</tex> <br/>
+
-
 
+
-
Проверяется [[нулевая гипотеза]] <tex>H_0:\; F_1(x)=\dots=F_k(x)</tex> против альтернативы <tex>H_1:\; F_1(x)=F_2(x-\Delta_1)=\dots=F_k(x-\Delta_{k-1})</tex>.
+
-
 
+
-
Если нулевая гипотеза выполнена, то поведение статистики <tex>T</tex> хорошо описывается
+
-
распределением [[распределение хи-квадрат|хи-квадарат]] с <tex>k - 1</tex> степенью свободы.
+
-
 
+
-
Нулевая гипотеза отвергается, если <tex>T > \chi^2_{\alpha, k - 1}</tex>, где
+
-
<tex>chi^2_{\alpha, k - 1}</tex> — [[квантиль]] уровня <tex>\alpha</tex> с <tex>k - 1</tex> степенью свободы.
+
 +
== Свойства критерия Бартелса==
 +
Бартелс с помошью численного моделирования показал , что во многих случаях критерий Бартелса имеет большую мощность, чем [[Критерий Вальда-Вольфовица|критерий серий]].
== История ==
== История ==
-
Критерий был предложен Ван дер Варденом в 1953 году.
+
Критерий был предложен Бартелсом в 1982 году.
== Литература ==
== Литература ==
-
# ''Ван дер Варден Б.Л.'' Математическая статистика/Пер.с нем. — М.:&nbsp; Иностранная литература,1960 450&nbsp;c.
+
 
 +
# ''Gibbons J. D., Chakraborti S.'' Nonparametric Statistical Inference, 4th Ed. — CRC, 2003 608&nbsp;с.
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
Строка 103: Строка 54:
* [[Проверка статистических гипотез]] — о методологии проверки статистических гипотез.
* [[Проверка статистических гипотез]] — о методологии проверки статистических гипотез.
* [[Статистика (функция выборки)]]
* [[Статистика (функция выборки)]]
-
* [[Критерий Стьюдента]]
+
* [[Критерий Вальда-Вольфовица|Критерий серий]] — другой критерий для проверки случайности ряда наблюдений
-
* [[Критерий Уилкоксона-Манна-Уитни]] — другой непараметрический критерий для оценки
+
 
-
различия между двумя выборками
+
-
* [[Критерий Краскела-Уоллиса]] — критерий для проверки равенства средних нескольких выборок
+
== Ссылки ==
== Ссылки ==
-
[http://en.wikipedia.org/wiki/Van_der_Waerden_test| Van_der_Waerden_test ] - статья в Википедии
 
-
о многовыборочном критерии Ван дер Вардена
 
-
[[Категория:Статистические тесты]]
 
-
[[Категория:Непараметрические статистические тесты]]
 
{{Задание|Slimper|Vokov|08 января 2010}}
{{Задание|Slimper|Vokov|08 января 2010}}

Текущая версия

Критерий Бартелса (Bartels test)непараметрический статистический критерий, используемый для проверки случайности последовательности наблюдаемых значений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения. Критерий Бартелса можно применять для анализа регрессионных остатков. Также его можно применять при анализе временных рядов для выявления тренда.

Содержание

[убрать]

Примеры задач

Пример 1. Ряд значений состоит из подсчитанного на протяжении нескольких лет количества туристов, посещавших страну в течение года. Требуется установить, являются ли число туристов, случайным, или оно подчиняется какой-то закономерности.

Описание критерия

Заданы выборка x^n = (x_1,\ldots,x_n),x_i \in \mathbb{R}.

Нулевая гипотеза H_0:\; выборка x^n простая, то есть все наблюдения x_i — независимы и одинаково распределены.

Статистика критерия:

  1. Построить вариационный ряд выборки x^{(1)}(x_1,\ldots,x_n) и найти ранги r(x_i) всех элементов.
  2. Статистика критерия Бартелса вычисляется по формуле:
B = \frac{ \sum_{i = 1}^n (r(x_i) - r(x_{i + 1}) )^2 }{ \sum(R_i - \frac{n + 1}{2})^2}

Варианты критерия (при уровне значимости \alpha):

  • двусторонний критерий (против альтернативы, что данные не случайны)
если  B \in \left[ B_{n,\alpha/2},\, B_{n,1-\alpha/2} \right] , то нулевая гипотеза отвергается;
  • левосторонний критерий(против альтернативы, что наблюдения положительно коррелированы)
если  B < B_{n,\alpha} , то нулевая гипотеза отвергается;
  • правосторонний критерий(против альтернативы, что наблюдения отрицательно коррелированы)
если  B > B_{n,\alpha} , то нулевая гипотеза отвергается;

Здесь  B_{n,\alpha} -- это \alpha-квантиль табличного распределения статистики Бартелса с параметром n.

Асимптотический критерий

Распределение статистики Бартелса асимптотически нормально с матожиданием \mathbb{E}B = 2 и дисперсией

 \mathbb{D}B = \frac{4(n - 2)(5n^2 - 2n - 9)}{5n(n + 1)(n - 1)^2}

Поэтому при n \ge 20 используется нормированная статистика Бартелса

B' = \frac{B - \mathbb{E}B}{\sqrt{\mathbb{D}B} }

Свойства критерия Бартелса

Бартелс с помошью численного моделирования показал , что во многих случаях критерий Бартелса имеет большую мощность, чем критерий серий.

История

Критерий был предложен Бартелсом в 1982 году.

Литература

  1. Gibbons J. D., Chakraborti S. Nonparametric Statistical Inference, 4th Ed. — CRC, 2003 — 608 с.
  2. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

См. также

Ссылки

Данная статья является непроверенным учебным заданием.
Студент: Участник:Slimper
Преподаватель: Участник:Vokov
Срок: 08 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Личные инструменты