Алгоритм LOWESS
Материал из MachineLearning.
(→Постановка задачи) |
(→Постановка задачи) |
||
Строка 19: | Строка 19: | ||
<tex>K: [0,\infty) \rightarrow [0,\infty)</tex>, называемую ядром: | <tex>K: [0,\infty) \rightarrow [0,\infty)</tex>, называемую ядром: | ||
- | ::<tex>w_i(x) = K\left( \frac{\ | + | ::<tex>w_i(x) = K\left( \frac{\rho(x, x_i)}{h}\right)</tex> |
+ | |||
+ | Параметр <tex>h</tex> называется ''шириной ядра'' или ''шириной окна сглаживания''. Чем меньше <tex>h</tex>, | ||
+ | тем быстрее будут убывать веса <tex>w_i(x)</tex> по мере удаления <tex>x_i(x)</tex> от <tex>x(x)</tex>. | ||
=== Вход === | === Вход === |
Версия 20:40, 28 декабря 2009
![]() | Статья плохо доработана. |
Алгоритм LOWESS (locally weighted scatter plot smoothing) - локально взвешенное сглаживание.
Содержание |
Постановка задачи
Решается задача восстановления регрессии. Задано пространство объектов и множество возможных
ответов
. Существует неизвестная целевая зависимость
,
значения которой известны только на объектах обучающей выборки
Требуется построить алгоритм
, аппроксимирующий целевую зависимость
.
Непараметрическое восстановление регрессии основано на идее, что значение вычисляется
для каждого объекта
по нескольким ближайшим к нему объектам обучающей выборки.
В формуле Надарая–Ватсона для учета близости объектов обучающей выборки к объекту
предлагалось использовать невозрастающую, гладкую, ограниченную функцию
, называемую ядром:
Параметр называется шириной ядра или шириной окна сглаживания. Чем меньше
,
тем быстрее будут убывать веса
по мере удаления
от
.
Вход
- обучающая выборка
Выход
Коэффициенты
Алгоритм
1: инициализация
2: повторять 3: вычислить оценки скользящего контроля на каждом объекте:
4: вычислить коэффициенты :
;
5: пока коэффициенты не стабилизируются
Коэффициенты , как и ошибки
, зависят от функции
, которая, в свою очередь, зависит от
. Разумеется, это не "порочный круг", а хороший повод для организации итерационного процесса. На каждой итерации строится функция
, затем уточняются весовые множители
. Как правило, этот процесс сходится довольно быстро.
Литература
- Воронцов К.В. Лекции по алгоритмам восстановления регрессии. — 2007.
См. также
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
→