МЛР
Материал из MachineLearning.
Строка 24: | Строка 24: | ||
:<tex>F\ =\ VDU^T</tex>. | :<tex>F\ =\ VDU^T</tex>. | ||
В таких обозначениях:<br /> | В таких обозначениях:<br /> | ||
- | :<tex>F^+\ =\ (F^TF)^{-1}F^T\ =\ (UDV^TVDU^T)^{-1}UDV^T\ =\ (UDDU^T)^{-1}UDV^T\ =\ U^{-T}D^{-2}U^{-1}UDV^T\ =\ U^{-T}D^{-2}DV^T</tex>, а так как <tex>U^{-1}\ =\ U^T</tex>, то <tex>F^+\ =\ UD^{-1}V^T</tex>. | + | :<tex>F^+\ =\ (F^TF)^{-1}F^T\ =\ (UDV^TVDU^T)^{-1}UDV^T\ =\ (UDDU^T)^{-1}UDV^T\ =\ U^{-T}D^{-2}U^{-1}UDV^T\ =\ U^{-T}D^{-2}DV^T</tex>, а так как <tex>U^{-1}\ =\ U^T</tex>, то <tex>F^+\ =\ UD^{-1}V^T\ =\ \sum_{j=1}^{n}{ \frac{1}{\sqrt{\lambda _j}}u_j v_j^T }</tex> в силу диагональности матрицы ''D''. |
== Сингулярное разложение == | == Сингулярное разложение == |
Версия 08:04, 5 января 2010
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Многомерная линейная регрессия
Имеется множество объектов и множество ответов
. Также имеется набор
вещественнозначных признаков
. Введём матричные обозначения: матрицу информации
, целевой вектор
и вектор параметров
:
Алгоритм:
.
Оценим качество его работы на выборке методом наименьших квадратов:
, или, в матричных обозначениях,
.
Найдём минимум по α:
.
Если , то можно обращать матрицу
, где введено обозначение
.
В таком случае функционал качества записывается в более удобной форме:
, где
— проекционная матрица:
— вектор, являющийся проекцией
на
.
как нарисовать значок проекционной матрицы, чтобы его можно было отличить от того, на что матрица умножается?!
Теперь рассмотрим сингулярное разложение матрицы F:
.
В таких обозначениях:
, а так как
, то
в силу диагональности матрицы D.
Сингулярное разложение
Пусть , тогда F представима в виде
, где:
-
— собственные значения матрицы
.[1]
-
— собственные вектора
, причём
.
-
— собственные вектора
, причём
.