Метод наименьших квадратов
Материал из MachineLearning.
м |
(→Постановка задачи) |
||
Строка 3: | Строка 3: | ||
== Постановка задачи == | == Постановка задачи == | ||
- | Задача метода наименьших квадратов состоит выборе вектора <tex>\mathbf{w}</tex>, минимизирующего ошибку (длину [[регрессионный анализ|вектора невязки]]) <tex>S=\|A\mathbf{w}-\mathbf{y}\|^2</tex>. | + | Задача метода наименьших квадратов состоит в выборе вектора <tex>\mathbf{w}</tex>, минимизирующего ошибку (длину [[регрессионный анализ|вектора невязки]]) <tex>S=\|A\mathbf{w}-\mathbf{y}\|^2</tex>. |
Эта ошибка есть расстояние от вектора <tex>\mathbf{y}</tex> до вектора <tex>A\mathbf{w}</tex>. | Эта ошибка есть расстояние от вектора <tex>\mathbf{y}</tex> до вектора <tex>A\mathbf{w}</tex>. | ||
Вектор <tex>A\mathbf{w}</tex> лежит в простанстве столбцов матрицы <tex>A</tex>, | Вектор <tex>A\mathbf{w}</tex> лежит в простанстве столбцов матрицы <tex>A</tex>, |
Версия 09:57, 1 июня 2008
Метод наименьших квадратов метод нахождения оптимальных параметров линейной регрессии, таких, что невязка регрессионных остатков минимальна. Метод заключается в минимизации евклидова расстояния между двумя векторами.
Содержание |
Постановка задачи
Задача метода наименьших квадратов состоит в выборе вектора , минимизирующего ошибку (длину вектора невязки) . Эта ошибка есть расстояние от вектора до вектора . Вектор лежит в простанстве столбцов матрицы , так как есть линейная комбинация столбцов этой матрицы коэффициентами . Отыскание решения по методу наименьших квадратов эквивалентно задаче отыскания такой точки , которая лежит ближе всего к и находится при этом в пространстве столбцов матрицы . Таким образом, вектор должен быть проекцией на пространство столбцов и вектор невязки должен быть ортогонелен этому пространству. Ортогональность состоит в том, что каждый вектор в пространстве столбцов есть линейная комбинация столбцов с некоторыми коэффициентами , то есть это вектор . Для всех в пространстве , эти векторы должны быть перпендикулярны невязке :
Так как это равентсво должно быть справедливо для произвольного вектора , то
Решение по методу наименьших квадратов несовместной системы , состоящей из уравнений с неизвестными, есть уравнение
которое называется нормальным уравнением. Если столбцы матрицы линейно независимы, то матрица обратима и единственное решение
Проекция вектора на пространство столбцов матрицы имеет вид
Матрица называется матрицей проектирования вектора на пространство столбцов матрицы . Эта матрица имеет два основных свойства: она идемпотентна, , и симметрична, . Обратное также верно: матрица, обладающая этими двумя свойствами есть матрица проектирования на свое пространство столбцов.
Пример постоения линейной регрессии
Задана выборка таблица
Задана регрессионная модель квадратичный полином
Назначенная модель является линейной. Для нахождения оптимального значения вектора параметров выполняется следующая подстановка:
Тогда матрица значений подстановок свободной переменной будет иметь вид
Задан критерий качества модели: функця ошибки
Здесь вектор . Требуется найти такие параметры , которые бы доставляли минимум этому функционалу,
Требуется найти такие параметры , которые доставляют минимум норме вектора невязок .
Для того, чтобы найти минимум функции невязки, требуется приравнять ее производные к нулю. Производные данной функции по составляют
Это выражение также называется нормальным уравнением. Решение этой задачи должно удовлетворять системе линейных уравнений
После получения весов можно построить график найденной функции.
При обращении матрицы предполагается, что эта матрица невырождена и не плохо обусловлена. О том, как работать с плохо обусловленными матрицами см. в статье Сингулярное разложение.
Смотри также
Литература
- Стренг Г. Линейная алгебра и ее применения. М.: Мир. 1980.
- Каханер Д., Моулер К., Нэш С. Численные методы и программное обеспечение. М.: Мир. 1998.