Определение гиперпараметров для MVR

Материал из MachineLearning.

Текущая версия

Выбор регрессионных моделей и гипотез порождения данных

Общий подход к сравнению нелинейных моделей заключается в следующем. Рассмотрим набор конкурирующих моделей . Априорная вероятность модели определена как . При появлении данных апостериорная вероятность модели может быть найдена по теореме Байеса,

где - функция соответствия модели данным. Знаменатель дроби обеспечивает выполнение условия.

Вероятности моделей и , параметры которых идентифицированы по данным , сравнимы как

Отношение - есть отношение правдоподобия моделей. Отношение является априорной оценкой предпочтения одной модели другой. При моделировании отдается предпочтение наиболее простым и устойчивым моделям. Если априорные оценки моделей одинаковы, то есть, нет причины предпочитать одну модель другой, то их необходимо сравнивать по значениям :

Апостериорная плотность распределения параметров функции при заданной выборке равна

где - априорно заданная плотность вероятности параметров начального приближения, - функция правдоподобия параметров модели, а знаменатель обеспечивает выполнение условия . Он задан интегралом в пространстве параметров Вышеприведенные формулы называются формулами Байесовского вывода первого и второго уровня.

Рассмотрим регрессию с аддитивным Гауссовским шумом с дисперсией и с нулевым матожиданием. Тогда плотность вероятности появления данных

где . Нормирующий множитель задан выражением

и взвешенный функционал ошибки в пространстве данных

Введем регуляризующий параметр , который отвечает за то, насколько хорошо модель должна соответствовать зашумленным данным. Функция плотности вероятности параметров с заданным гиперпараметром имеет вид

где --- обратная дисперсии распределения параметров, , а нормирующая константа определена дисперсией распределения параметров как

Требование к малым значениям параметров предполагает Гауссовское априорное распределение с нулевым средним:

Так как переменные и являются параметрами распределения параметров модели, в дальнейшем будем называть их гиперпараметрами. Исключая нормирующую константу , которая не зависит от параметров и логарифмируя, получаем:

Эта ошибка регуляризирует параметры, начисляя штраф за их чрезмерно большие значения. При заданных значениях гиперпараметров и для фиксированной функции получаем:

Записывая функцию ошибки в виде , получаем

где - нормирующий множитель.

Нахождение параметров модели

Рассмотрим итеративный алгоритм для определения оптимальных параметров и гиперпараметров при заданной модели . Корректный подход заключается в интегрировании всех неизвестных параметров и гиперпараметров. Апостериорное распределение параметров определяется как

что требует выполнить интегрирование апостериорного распределения параметров по пространству, размерность которого равна количеству параметров. Вычислительная сложность этого интегрирования весьма велика. Интеграл может быть упрощен при подходящем выборе начальных значений гиперпараметров.

Приближение интеграла заключается в том, что апостериорная плотность распределения гиперпараметров имеет выраженный пик в окрестности наиболее правдоподобных значений гиперпараметров . Это приближение известно как аппроксимация Лапласа. При таком допущении интеграл упрощается до

Необходимо найти значения гиперпараметров, которые оптимизируют апостериорную плотность вероятности параметров, а затем выполнить все остальные расчеты, включающие при фиксированных значениях гиперпараметров.

Для нахождения функционала , который использует апостериорное распределение параметров, рассмотрим аппроксимацию ошибки на основе рядов Тейлора второго порядка:

В выражении нет слагаемого первого порядка, так как предполагается, что определяет локальный минимум функции ошибки, то есть для всех значений . Матрица - это матрица Гессе функции ошибок:

Обозначим первое слагаемое правой части через , тогда . Подставив полученное приближенное значение в уравнение и обозначив , получим

Оценим нормирующую константу , необходимую для аппроксимации кривой Гаусса, как

Максимизируем функцию , изменяя значения гиперпараметров и . Это можно выполнить, интегрируя функцию плотности вероятности данных по пространству параметров :

где второй интеграл справедлив по причине того, что распределение параметров не зависит от дисперсии шума в силу гипотезы о Гауссовском распределении шума. Для упрощения вычислений мы допускаем, что распределение является равномерным.

Запишем вероятность данных через функцию ошибки:

Из значений , и предыдущего выражения получим:

Для того, чтобы оптимизировать это выражение относительно , найдем производную:

В этом выражении - собственные значения матрицы . Так как функция ошибки на данных не является квадратичной функцией параметров, как при линейной или RBF регрессии, то непосредственно оптимизировать величину невозможно, гессиан не является константой, а зависит от параметров . Так как мы принимаем для вектора , который зависит от выбора , то собственные значения косвенным образом зависят от . Таким образом, формула (\ref{dda}) игнорирует параметры модели.

С использованием этого приближения, производная с учетом равна

Приравнивая последнее выражение к нулю и преобразовывая, получаем выражение для

Обозначим вычитаемое правой части через

Те компоненты суммы, в которых привносят вклад, близкий к единице, а те компоненты суммы, в которых , привносят вклад, близкий к нулю. Таким образом, может быть интерпретирована как мера числа хорошо обусловленных параметров модели.

Для нахождения гиперпараметра рассмотрим задачу оптимизации. Обозначим через собственные значение матрицы . Так как , то и следовательно, Отсюда,

Дифференцируя, как и в случае нахождения , мы находим, что оптимальное значение определено как

Таким образом, на каждом шаге для модели определены гиперпараметры . При этом определена для всей модели, а и для каждой функции из суперпозиции. Так как оптимизация параметров дает нам положительно определенную форму гессиана, его собственные значения больше нуля, и, таким образом, меньше .

Мы имеем следующий итерационный процесс пересчета и :

Процесс сходится, так как увеличение ведет к увеличению , что на следующем шаге ведет к уменьшению .

   for m=1:100
   gamma(m)=0;
   for i=1:size(Model.wFound,2)
       gamma(m)=gamma(m)+max(alpha)/(lambda(i)+max(alpha));
   end
   for i=1:size(Model.wFound,2)
       alpha(i,m)=(size(Model.wFound,2)-gamma(m))/Model.wFound(i)^2;
   end
   Model.alpha=alpha(:,m);
   beta(m)=(size(y,1)-gamma(m))/Model.errTest;
   Model.beta=beta(m);
   Model.wFound = fminsearch(@qualitySSEhyper,Model.wFound,[] ,x,y,Model.Handle,Model.alpha,Model.beta); 
   weights(:,m)=Model.wFound;
   Hessian=findHessian(Model,x,y);
   lambda(:,m)=eig(Hessian);
   end