Метод Белсли
Материал из MachineLearning.
м (→Анализ коллинеарности) |
м (→Анализ коллинеарности) |
||
Строка 22: | Строка 22: | ||
V=(U_{p\times s} V_{p \times (p-s)}) = (V_{S} V_{N}), | V=(U_{p\times s} V_{p \times (p-s)}) = (V_{S} V_{N}), | ||
</tex> | </tex> | ||
+ | где <tex>U_{S}</tex> и <tex>V_{S}</tex> соответствуют первым s наибольших сингулярных значений, а <tex>U_{N}</tex> и <tex>V_{N}</tex> содержат <tex>(p-s)</tex> веторов соответствующих малым сингулярным значениям. | ||
==Анализ полученных данных== | ==Анализ полученных данных== |
Версия 14:47, 27 июня 2010
Линейные регрессионные модели часто используются для исследования зависимости между ответом и признаками, однако результаты часто сомнительны, так как данные не всегда подходящие. Например, при большом количестве признаков часто многие из них сильно зависимы друг от друга, и эта зависимость уменьшает вероятность получения адекватных результатов. Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).
Содержание |
Анализ коллинеарности
Линейная регрессионная модель:
где - n-мерный ветор ответа(зависимой переменной),
- n x p (n>p) матрица признаков
- p-мерный вектор неизвестных коэффициентов,
- p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей
, где
это n x n единичная матрица, а
. Будем считать что
имеет ранг p.
Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения
определяется как:
Где - n x p ортогональная матрица,
- p x p верхняя диагональная матрица, чьи неотрицательные элементы являются сингулярными значениями
,
- p x p ортогональная матрица, чьи колонки это собственные вектора
. Если существует коллинеарная зависимоть, то
будут какие-либо сингулярные значения, скажем, (р - s), которые близки к нулю.
Предположим, что
, или просто
, элементы матрицы
упорядочены так, что
И рассмотрим разбиение
где
и
диогональные, и недиогональнык блоки нулевые.
, или просто
, содержит достаточно большие сингулярные значения, а
, или
, содержит близкие к нулю.
Теперь разделим
и
соответственно:
где
и
соответствуют первым s наибольших сингулярных значений, а
и
содержат
веторов соответствующих малым сингулярным значениям.