Метод Белсли
Материал из MachineLearning.
м (→Анализ коллинеарности) |
м (→Анализ коллинеарности) |
||
Строка 41: | Строка 41: | ||
что обеспечивает возможность ортогонального разложения <tex>X</tex> :<br/> | что обеспечивает возможность ортогонального разложения <tex>X</tex> :<br/> | ||
<tex>X=X_{S}+X_{N}</tex><br/> | <tex>X=X_{S}+X_{N}</tex><br/> | ||
- | Здесь все матрицы имеют размер <tex>n \times p</tex> и полагая что <tex>X</tex> имеет ранг p, <tex>X_{S}</tex> и <tex>X_{N}</tex> имеють ранг s и (p-s) соответственно. | + | Здесь все матрицы имеют размер <tex>n \times p</tex> и полагая что <tex>X</tex> имеет ранг p, <tex>X_{S}</tex> и <tex>X_{N}</tex> имеють ранг s и (p-s) соответственно. Тогда для разложения (2) :<br/> |
+ | <tex>X(V_{S} V_{N})=(U_{S} U_{N}) \begin{pmatrix} | ||
+ | D_{S} & O \\ | ||
+ | O & D_{N} \\ | ||
+ | \end{pmatrix}</tex><br/> | ||
+ | Далее мы получаем <br/> | ||
+ | <tex>X V_{S}=X_{S} V_{S}=U_{S} D_{S}</tex><br/> | ||
+ | и <br/> | ||
+ | <tex>X V_{N}=X_{N} V_{N}=U_{N} D_{N} \approx O</tex><br/> | ||
==Анализ полученных данных== | ==Анализ полученных данных== |
Версия 17:33, 28 июня 2010
Линейные регрессионные модели часто используются для исследования зависимости между ответом и признаками, однако результаты часто сомнительны, так как данные не всегда подходящие. Например, при большом количестве признаков часто многие из них сильно зависимы друг от друга, и эта зависимость уменьшает вероятность получения адекватных результатов. Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).
Содержание |
Анализ коллинеарности
Линейная регрессионная модель:
(1)
где - n-мерный ветор ответа(зависимой переменной),
- n x p (n>p) матрица признаков
- p-мерный вектор неизвестных коэффициентов,
- p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей
, где
это n x n единичная матрица, а
. Будем считать что
имеет ранг p.
Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения
определяется как:
(2)
Где - n x p ортогональная матрица,
- p x p верхняя диагональная матрица, чьи неотрицательные элементы являются сингулярными значениями
,
- p x p ортогональная матрица, чьи колонки это собственные вектора
. Если существует коллинеарная зависимоть, то
будут какие-либо сингулярные значения, скажем, (р - s), которые близки к нулю.
Предположим, что
, или просто
, элементы матрицы
упорядочены так, что
И рассмотрим разбиение
где
и
диогональные, и недиогональнык блоки нулевые.
, или просто
, содержит достаточно большие сингулярные значения, а
, или
, содержит близкие к нулю.
Теперь разделим
и
соответственно:
где и
соответствуют первым s наибольших сингулярных значений, а
и
содержат
веторов соответствующих малым сингулярным значениям.
Матрица
ортогональна, т.е
, так же как и
и
. Таким образом :
Т.к V тоже ортогональна, то
Таким образом разложение нам дает:
Обозначим слагаемые в правой части как
Заметим что получившиеся матрицы ортогональны, т.е :
что обеспечивает возможность ортогонального разложения :
Здесь все матрицы имеют размер и полагая что
имеет ранг p,
и
имеють ранг s и (p-s) соответственно. Тогда для разложения (2) :
Далее мы получаем
и