Многомерная интерполяция и аппроксимация на основе теории случайных функций
Материал из MachineLearning.
(→Метод машинного обучения.) |
(→Метод машинного обучения.) |
||
Строка 41: | Строка 41: | ||
<center><tex>\{\begin{array}{ccccc} q_1(K_f(x_1-x_1)+S_m^2(x_1))+q_2K_f(x_1-x_2)+\;...\;+q_kK_f(x_1-x_k)=y_1\\ q_1K_f(x_2-x_1)+q_2(K_f(x_2-x_2)+S_m^2(x_2))+\;...\;+q_kK_f(x_2-x_k)=y_2\\ \vdots \\q_1K_f(x_k-x_1)+q_2K_f(x_k-x_2)+\;...\;+q_k(K_f(x_k-x_k)+S_m^2(x_k))=y_k\\\end{array}</tex><br\><br\>где <tex>S_m(x)</tex> - среднеквадратическое отклонение для шума в точке <tex>x</tex></center> | <center><tex>\{\begin{array}{ccccc} q_1(K_f(x_1-x_1)+S_m^2(x_1))+q_2K_f(x_1-x_2)+\;...\;+q_kK_f(x_1-x_k)=y_1\\ q_1K_f(x_2-x_1)+q_2(K_f(x_2-x_2)+S_m^2(x_2))+\;...\;+q_kK_f(x_2-x_k)=y_2\\ \vdots \\q_1K_f(x_k-x_1)+q_2K_f(x_k-x_2)+\;...\;+q_k(K_f(x_k-x_k)+S_m^2(x_k))=y_k\\\end{array}</tex><br\><br\>где <tex>S_m(x)</tex> - среднеквадратическое отклонение для шума в точке <tex>x</tex></center> | ||
<br\> | <br\> | ||
- | *Значения <tex>S_m(x)</tex> определяют априорно предполагаемый | + | *Значения <tex>S_m(x)</tex> определяют априорно предполагаемый уровень шума (погрешности) в данных обучения и соответственно степень приближения, с которой функция (103) воспроизведет данные обучения. <br\> |
+ | *Если <tex>S_m(x)=0</tex>, то это будет соответствовать частному случаю, когда погрешность или любая противоречивость в данных отсутствует и, искомая функция должна точно воспроизвести обучающую выборку. Т.е. задача обучения превращается в задачу многомерной интерполяции. | ||
+ | *Если <tex>S_m(x)=const>0</tex>, то это будет соответствовать случаю, когда предполагается что в данных обучения одинаково на всей выборке содержится шум, имеющий нормальное распределение со среднеквадратическим отклонением равным <tex>S_m(x)=const</tex>. Задачу обучения можно рассматривать как многомерную аппроксимацию.<br\> | ||
+ | *Если же уровень шума и его распределение в пространстве обучения неравномерно но известно, его наличие может быть задано в виде функции <tex>S_m(x)</tex> (или достаточно только ее значений в узлах интерполяции). | ||
+ | Рассмотрим теперь коэффициенты в выражении (104). | ||
== Демонстрация в среде Matlab. == | == Демонстрация в среде Matlab. == |
Версия 12:25, 28 июля 2009
Содержание |
Вступление
(в настоящий момент идет ввод и редактирование статьи, в силу того, что объем довольно значителен а опыта разметки еще нет (прошу прощения за это), сначала планирую выложить описание самого итогового метода, чтобы читатели смогли при желании с ним ознакомиться, затем примеры реализации функций и демонстрации в Matlab, а затем теоретическую часть с обоснованием)
- Данную статью условно можно поделить на две части.
- Первая часть посвящена использованию основ теории случайных функций применительно к задачам многомерной интерполяции и аппроксимации, а также машинному обучению и их теоретическому обоснованию. Цель теоретической части показать, что машинное обучение в его парадигме “обучения с учителем”, задачи многомерной интерполяции и аппроксимации, могут быть обобщены на основе теории случайных функций.
- Во второй части изложены практические выводы из положений первой части в виде законченного метода машинного обучения (метода многомерной интерполяции и аппроксимации). Если читателя интересуют сугубо практические вопросы, Вы можете перейти сразу к изложению метода.
- Предложенный метод позволяет получить точное решение задачи многомерной интерполяции или аппроксимации (“обучение с учителем”) гарантирующее оптимальность (при определенных минимальных допущениях, указанных в теоретической части). Метод достаточно прост и сводится к системе линейных уравнений, что может у читателя не знакомого с вопросом без изучения теоретической части вызвать подозрения в работоспособности или обобщающей способности метода. Но смею Вас уверить, что столь простая математическая конструкция в данном случае никак не ограничивает возможности. Если постараться объяснить кратко, то способности метода обеспечивает “специальная функция”, полученная в теоретической части, применение которой в системе линейных уравнений гарантированно обеспечивает оптимальное, с точки зрения аппарата случайных функций, решение. Использование данной функции позволяет сводить задачи многомерной интерполяции и аппроксимации или самые разнообразные задачи машинного обучения (с определенными допущениями) к решению системы линейных уравнений, гарантируя оптимальность полученного решения, отсутствие переобучения, осцилляций интерполянта и других нежелательных эффектов (если говорить более строго, то в реальных вычислениях используется лишь приближение теоретической “идеальной” функции в используемой части спектра, функция, которую можно записать алгебраически).
Подход к многомерной интерполяции и аппроксимации на основе теории случайных функций.
Введение.
Многомерная интерполяция.
Дисперсия случайной функции. Множество реализаций, удовлетворяющих узлам интерполяции.
Многомерная аппроксимация.
Выводы.
Метод машинного обучения.
Выпишем отдельно ключевые выражения, полученные в теоретической части в виде законченного метода.
- Пусть последовательность представляет собой набор входных векторов для обучения. Пусть соответствующие им представляют собой набор выходных значений. Если значения на выходе представляют собой не один, а набор значений (вектора), то представленные преобразования можно рассмотреть последовательно для каждого из выходных параметров.
- Метод позволяет определить функцию, связывающую значения на входе и на выходе (которая будет являться наиболее вероятной реализацией случайной функции, о чем шла речь в теоретической части). Метод также позволяет для произвольного входного значения определить среднеквадратическое отклонение ошибки, которую может дать полученная функция.
Функция, связывающая значения обучающей выборки на входе и на выходе будет определяться выражением (103):
Функцию из (103) определим как (104):
где - коэффициенты
Коэффициенты из (103) вычисляются из системы линейных уравнений (105):
где - среднеквадратическое отклонение для шума в точке
- Значения определяют априорно предполагаемый уровень шума (погрешности) в данных обучения и соответственно степень приближения, с которой функция (103) воспроизведет данные обучения.
- Если , то это будет соответствовать частному случаю, когда погрешность или любая противоречивость в данных отсутствует и, искомая функция должна точно воспроизвести обучающую выборку. Т.е. задача обучения превращается в задачу многомерной интерполяции.
- Если , то это будет соответствовать случаю, когда предполагается что в данных обучения одинаково на всей выборке содержится шум, имеющий нормальное распределение со среднеквадратическим отклонением равным . Задачу обучения можно рассматривать как многомерную аппроксимацию.
- Если же уровень шума и его распределение в пространстве обучения неравномерно но известно, его наличие может быть задано в виде функции (или достаточно только ее значений в узлах интерполяции).
Рассмотрим теперь коэффициенты в выражении (104).