Метод Белсли
Материал из MachineLearning.
м (→Анализ коллинеарности) |
м (→Анализ коллинеарности) |
||
Строка 2: | Строка 2: | ||
==Анализ коллинеарности== | ==Анализ коллинеарности== | ||
Линейная регрессионная модель: <br /> | Линейная регрессионная модель: <br /> | ||
- | <tex>y=X \beta + \varepsilon</tex><br /> | + | <tex>y=X \beta + \varepsilon</tex><br /> |
где <tex>y</tex> - n-мерный ветор ответа(зависимой переменной), <tex>X</tex> - n x p (n>p) матрица признаков <tex>\beta</tex> - p-мерный вектор неизвестных коэффициентов, <tex>\varepsilon</tex> - p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей <tex>{\sigma}^2 I</tex>, где <tex>I</tex> это n x n единичная матрица, а <tex>{\sigma}^2>0</tex>. Будем считать что <tex>X</tex> имеет ранг p. | где <tex>y</tex> - n-мерный ветор ответа(зависимой переменной), <tex>X</tex> - n x p (n>p) матрица признаков <tex>\beta</tex> - p-мерный вектор неизвестных коэффициентов, <tex>\varepsilon</tex> - p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей <tex>{\sigma}^2 I</tex>, где <tex>I</tex> это n x n единичная матрица, а <tex>{\sigma}^2>0</tex>. Будем считать что <tex>X</tex> имеет ранг p. | ||
Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения <tex>X</tex> определяется как: <br/> | Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения <tex>X</tex> определяется как: <br/> | ||
Строка 32: | Строка 32: | ||
<tex>V^{T}_{S} V_{N}=O_{s \times (p-s)}</tex> <br/> <br/> | <tex>V^{T}_{S} V_{N}=O_{s \times (p-s)}</tex> <br/> <br/> | ||
<tex>V^{T}_{N} V_{S}=O_{(p-s) \times s}</tex> <br/><br/> | <tex>V^{T}_{N} V_{S}=O_{(p-s) \times s}</tex> <br/><br/> | ||
+ | Таким образом разложение нам дает: <br/> | ||
+ | <tex>X=UDV^T=U_{S} D_{S} V_{S}^T + U_{N} D_{N} V_{N}^T</tex><br/> | ||
+ | Обозначим слагаемые в правой части как <br/> | ||
+ | <tex>X_{S}=U_{S} D_{S} V_{S}^T</tex><br/><br/> | ||
+ | <tex>X_{N}=U_{N} D_{N} V_{N}^T</tex><br/> | ||
+ | Заметим что получившиеся матрицы ортогональны, т.е :<br/> | ||
+ | <tex>X_{S}^{T} X_{N} = O </tex> <br/> | ||
+ | что обеспечивает возможность ортогонального разложения tex>X</tex> :<br/> | ||
+ | <tex>X=X_{S}+X_{N}</tex><br/> | ||
+ | Здесь все матрицы имеют размер <tex>n \times p</tex> и полагая что <tex>X</tex> имеет ранг p, <tex>X_{S}</tex> и <tex>X_{N}</tex> имеють ранг s и (p-s) соответственно. | ||
==Анализ полученных данных== | ==Анализ полученных данных== |
Версия 17:25, 28 июня 2010
Линейные регрессионные модели часто используются для исследования зависимости между ответом и признаками, однако результаты часто сомнительны, так как данные не всегда подходящие. Например, при большом количестве признаков часто многие из них сильно зависимы друг от друга, и эта зависимость уменьшает вероятность получения адекватных результатов. Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).
Содержание |
Анализ коллинеарности
Линейная регрессионная модель:
где - n-мерный ветор ответа(зависимой переменной),
- n x p (n>p) матрица признаков
- p-мерный вектор неизвестных коэффициентов,
- p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей
, где
это n x n единичная матрица, а
. Будем считать что
имеет ранг p.
Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения
определяется как:
Где - n x p ортогональная матрица,
- p x p верхняя диагональная матрица, чьи неотрицательные элементы являются сингулярными значениями
,
- p x p ортогональная матрица, чьи колонки это собственные вектора
. Если существует коллинеарная зависимоть, то
будут какие-либо сингулярные значения, скажем, (р - s), которые близки к нулю.
Предположим, что
, или просто
, элементы матрицы
упорядочены так, что
И рассмотрим разбиение
где
и
диогональные, и недиогональнык блоки нулевые.
, или просто
, содержит достаточно большие сингулярные значения, а
, или
, содержит близкие к нулю.
Теперь разделим
и
соответственно:
где и
соответствуют первым s наибольших сингулярных значений, а
и
содержат
веторов соответствующих малым сингулярным значениям.
Матрица
ортогональна, т.е
, так же как и
и
. Таким образом :
Т.к V тоже ортогональна, то
Таким образом разложение нам дает:
Обозначим слагаемые в правой части как
Заметим что получившиеся матрицы ортогональны, т.е :
что обеспечивает возможность ортогонального разложения tex>X</tex> :
Здесь все матрицы имеют размер и полагая что
имеет ранг p,
и
имеють ранг s и (p-s) соответственно.