Вычисление гиперпараметров при различных гипотезах порождения данных (пример)
Материал из MachineLearning.
(Различия между версиями)
E. Urlov (Обсуждение | вклад)
(Новая: == Постановка задачи == Рассмотрим следующую модель регрессии, описывающую связь между свободной и зав...)
К следующему изменению →
Версия 18:22, 14 декабря 2010
Постановка задачи
Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными
где . Будем считать, что ошибка
это случайная величина из параметрического семейства распределений, у которого существует дважды непрерывно
дифференцируемая плотность
, с параметром
.
Относительно весов
, которые будем называть параметрами модели, сделаем аналогичные
предположения, т.е. что
, с параметром
. Гиперпараметрами модели будем называть пару параметров указанных выше распределений
. Оценивать гиперпараметры и параметры модели будем проводить следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных
: