Аппроксимация функции ошибки
Материал из MachineLearning.
(→Вычислительный эксперимент) |
(→Постановка задачи) |
||
Строка 8: | Строка 8: | ||
Также предполагается, что задано апостериорное распределение параметров модели <tex>p(w | D, f)</tex>, которому соответствует функция ошибки <tex>S(w)</tex>: | Также предполагается, что задано апостериорное распределение параметров модели <tex>p(w | D, f)</tex>, которому соответствует функция ошибки <tex>S(w)</tex>: | ||
<center><tex>p(w | D, f) = \frac{exp(-S(w))}{Z_S}</tex>.</center> | <center><tex>p(w | D, f) = \frac{exp(-S(w))}{Z_S}</tex>.</center> | ||
- | Пусть <tex>w_{MP} = \arg\max_w p(w | D, f)</tex> - наиболее вероятные параметры модели. Требуется найти аппроксимацию Лапласа для функции <tex>p(w | D, f)</tex> в точке <tex>w_{MP}</tex>. Заметим, что в данной работе в качестве функции ошибки берется сумма квадратов ошибок аппроксимации | + | Пусть <tex>w_{MP} = \arg\max_w p(w | D, f)</tex> - наиболее вероятные параметры модели. Требуется найти [[Аппроксимация Лапласа | аппроксимацию Лапласа]] для функции <tex>p(w | D, f)</tex> в точке <tex>w_{MP}</tex>. Заметим, что в данной работе в качестве функции ошибки берется сумма квадратов ошибок аппроксимации |
<center><tex>S(w) = \sum_{i = 1}^N (y_i - f(x_i, w))^2</tex>.</center> | <center><tex>S(w) = \sum_{i = 1}^N (y_i - f(x_i, w))^2</tex>.</center> | ||
Версия 14:05, 26 сентября 2011
|
В работе рассматривается метод аппроксимации функции ошибки функцией многомерного нормального распределения. Рассматриваются случаи матрицы ковариации общего вида, диагональной матрицы ковариации, а также диагональной матрицы ковариации с равными значениями дисперсии. Для нормировки получившихся функций распределения используется аппроксимация Лапласа.
Постановка задачи
Дана выборка , где
- вектора независимой переменной, а
- значения зависимой переменной.
Предполагается, что
Также предполагается, что задано апостериорное распределение параметров модели , которому соответствует функция ошибки
:
Пусть - наиболее вероятные параметры модели. Требуется найти аппроксимацию Лапласа для функции
в точке
. Заметим, что в данной работе в качестве функции ошибки берется сумма квадратов ошибок аппроксимации
Описание решения
Сначала находим оптимальные значения параметров модели :
Далее необходимо найти аппроксимацию Лапласа в точке :
где - матрица, обратная к ковариационной матрице нормального распределения, а
- нормирующий коэффициент. Заметим, что в силу положительной определенности матрицы
ее можно представить в соответствии с разложением Холецкого:
, где
- верхнетреугольная матрица. Параметризуем матрицу
следующим образом:
Также параметризуем нормирующий множитель .
Получаем, что
.
Построим обучающую выборку
, где точки
берутся равномерно из окрестности наиболее вероятных параметров
, в которой мы хотим построить аппроксимацию.
Для нахождения неизвестных параметров
минимизируем квадратичный критерий для точек обучающей выборки
:
После нахождения оптимальных значений параметров полученные распределения остается отнормировать в соответствии с аппроксимацией Лапласа:
Вычислительный эксперимент
В эксперименте в качестве обучающей выборки использовался временной ряд цен на хлеб из 195 точек. Для приближения использовалась модель линейной регрессии $f(x, w) = w_1 + w_2 * x^2$. На картинках ниже графически представлены результаты (картинки скоро будут выложены).
Функция ошибки в рассмотренном случае хорошо аппроксимируется предложенным методом, причем качество аппроксимации возрастает с увеличением качества модели. Хорошее качество аппроксимации обусловлено тем, что функция ошибки в рассматриваемом примере принадлежит тому же классу, что и функция аппроксиматор.
Исходный код и полный текст работы
Смотри также
Литература
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |