Обсуждение:Многомерная интерполяция и аппроксимация на основе теории случайных функций

Материал из MachineLearning.

Аннотация

Здравствуйте, Юрий! Статья переименована. Разбить статью на части без создания отдельных статей можно только путем реструктуризации, путем внесения изменений в содержание статьи. Если Вы напишите краткую аннотацию (как принято при публикации журнальных статей) и приведете список литературы, Ваша статья от этого выиграет.

Всего хорошего, В.В. Стрижов. 17:29, 12 августа.

Здравствуйте, Вадим! Спасибо за помощь. Аннотацию и список литературы я напишу. Но сейчас к сожалению это сделать не могу, из-за какого-то глюка или плохой связи (где я сейчас нахожусь плохая связь) я просто физически не могу открыть страницу со статьей целиком и перейти к редактированию. Когда вернусь из отпуска, обязательно внесу коррективы. Статью писал в торопях, хотел успеть до отпуска. Уже нашел опечатки, если есть замечания к оформлению, пожалуйста пишите, я постараюсь исправить.

С Уважением, Бахвалов Юрий. 23:38, 13 августа.

Название статьи

Юрий, добрый день! Интересная у Вас тема работы. Очень хочется посмотреть на список литературы, чтобы понять какие идеи откуда пришли.

У меня следующее преложение. Сейчас название статьи довольно длинное. Его начало "Обучение с учителем" общо и может относиться к чему угодно, его конец "Вариант точного решения" специален. Предлагаю назвать статью "Многомерная интерполяция и аппроксимация на основе теории случайных функций".

Жду завершения Вашей работы. Всего хорошего, В.В. Стрижов. 14:07, 2 августа.

Здравствуйте, Вадим Викторович!

Статья в текущий момент выложена полность. Согласен, что название статьи получилось слишком длинное. Но я новичок в разметке, и не знаю как теперь его изменить. Если Вы его измените, буду благодарен. Я не совсем представлял как дать название, хотелось подчеркнуть и то что решена задача многомерной интерполяции и аппроксимации, но также и то что получился достаточно простой неитеративный метод машинного обучения.. Но думаю, что Ваш вариант названия подойдет.(к тому же в текущее название вкралась опечатка). Кроме того статья получилась достаточно большая по объему, можно ли как-то разбить ее на несколько страниц без того чтобы создавать новые статьи с названиями?

На счет темы работы, она связана была с моей диссертацией, все ключевые моменты там были изложены, я являюсь их автором. Но собрать воедино в виде некой законченной теории - решил только сейчас и выложил тут их первый раз. Литературой пользовался разной, но в основном справочного характера, могу дать ссылки, если нужно, или привести их из списка литературы в своей диссертации.

Сейчас правда (и в ближайший месяц) и нахожусь далеко за городом, имею очень ограниченные возможности для работы и доступа в интернет, поэтому если будут замечания по статье, прошу прощения что могу не сразу внести изменения или ответить с комментарием, но постараюсь.

С Уважением, Бахвалов Юрий.

***

На мой взгляд, многие утверждения звучат слишком сильно. Примеры классификации качественно похожи на решения, получаемые методом опорных векторов. Напрашивается сравнение с SVM. Nvm 20:58, 29 июля 2009 (MSD)

Здравствуйте Виктор Михайлович.

Спасибо за первый отзыв. Еще не успел выложить теоретическую часть, надеюсь, она прояснит ситуацию. Готов обсудить все свои утверждения, если Вы меня убедите, обязательно их исправлю.
С Уважением, Участник:Бахвалов Юрий. 9:25, 30 июля.

Первое утверждение статьи: <<Цель данной статьи показать, что машинное обучение в его парадигме “обучения с учителем”, задачи многомерной интерполяции и аппроксимации, могут быть обобщены на основе теории случайных функций.>> При этом нигде не сформулировано, что автор понимает под задачей машинного обучения, и нет формальной постановки этой задачи. А если задача не сформулирована, то как можно говорить о её обобщении.
Далее говорится, что <<естественным критерием для поиска требуемой функции будет вероятность ее как реализации>>. В непрерывном случае здесь, видимо, имеется в виду плотность вероятности. Однако в задачах машинного обучения естественным критерием качества решения являются ожидаемые потери. Nvm 19:11, 12 августа 2009 (MSD)

Здравствуйте, Виктор! Спасибо за проявленный интерес к статье и выявленные недочеты, постараюсь их исправить. Что касается формулировки "обучения с учителем", то я думаю подойдет его определение, данное на этом сайте обучение с учителем. Типом входных данных в этом случае будет многомерное декартово признаковое пространство (думаю можно сформулировать все и без декартового пространства - через матрицу расстояний, но в данной статье пока это не рассматривается). Тип отклика - задача регрессии.
Под обобщением понимается то, что задача многомерной интерполяции и аппроксимации, при предложенном подходе являются частными случаями одного решения (одно превращается в другое при изменении заданного уровня шума в решении), также как его можно рассматривать и как метод машинного обучения "обучения с учителем" в соответствии с сформулированным выше. Предложенный подход позволяет решать и задачи, которые непосредственно ни к аппроксимации ни к интерполяции не отнести, когда известно распределение шума в обучающей выборке на признаковом пространстве - тогда в одной области пространства будет выполнена интерполяция в другой - аппроксимация, причем все через решение одной системы уравнений.
Использование функции потерь при данном подходе теряет смысл - поскольку мы можем получить решение с такой ошибкой обучения на обучающей выборке с какой захотим (если только в данных нет явного противоречия). Речь идет об обобщающих способностях, когда оценивается не только соответствие обучающей выборке но и априорная вероятность функций как гипотез в соответствии с плотностью их вероятности в априорно заданной случайной функции.

С Уважением, Бахвалов Юрий Бахвалов Юрий 00:14, 14 августа 2009 (MSD)

Добрый день. Интерес к работе вызван в том числе тем, что подобное (использование случайных функций) я как раз недавно слышал на ASMDA-2009, но там осталась не вполне понятной содержательная интерпретация предложенного формализма (насколько он адекватен прикладным задачам). Могу предположить, что это фактически идея байесовского подхода (но не того, что называется "байесовской теорией машинного обучения"), в котором вводится распределение на статистических гипотезах.

Статья обучение с учителем на этом сайте даёт очень общее определение машинного обучения. И как раз задача аппроксимации, в том числе в Вашей постановке, является частным случаем задачи обучения в этом определении, но не наоборот. У Вас зависимость случайна, в том определении она неизвестна, а как раз случайность является частным случаем неопределённости.

Вообще, рассматриваемый Вами случай, выглядит весьма специальным, поскольку делаются два очень сильных постулата: 1) множество распределений параметризуется (т.е. переходим в область параметрических методов), 2) на множестве гипотез постулируется заданное априорное распределение. Если бы этих предположений не делалось, то, пожалуй постановка действительно была бы более общей.

Что касается функции потерь, то её задание связано не с нашим произволом, а с существом задачи машинного обучения: это те потери, которые мы объективно несём при неправильном решении. Разумеется, что нас интересуют потери не на обучающей выборке, а на генеральной совокупности - они, кстати, и характеризуют обобщающую способность метода. Nvm 09:18, 15 августа 2009 (MSD)

Добрый день.
Да, я с Вами согласен, в той формулировке обучения с учителем, которая на этом сайте - моя задача выглядит как частный случай, (хотя обычно в алгоритмах обучения с учителем понимается имеенно вариант многомерной аппроксимации). Но с другой стороны, обычно разделяют между собой задачи интерполяции, аппроксимации и алгоритмы машинного обучения (например алгоритм обратного распространения в искусственных нейронных сетях). Сдесь же видно, что при использовании понятийного аппарата случайных функций эти задачи сами выглядят как частные случаи предложенного решения. Кроме того появляется возможность не только получить решение но и оценить его точность. Отобразить все множество реализаций с соответствующим распределением, тогда когда в данной формулировке обучения с учителем на данном сайте понимается нахождение одного решения. Или вот например задача классификации - можно понимать ее как частныйй случай регрессии, ведь так? тогда она будет частным случаем предложенного решения.
Еще хочу добавить: хотя в статье об этом нигде не упоминается - но суть это идея байесовского подхода, посмотрите на (4) и (7), только тут не зачем упоминать про байесовсвий подход, если и так можно сразу перейти к плотности распределения реализаций.

Про постулаты. Да, множество реализаций параметризуется. Но смотрите, в (2) или (3) мы не уточняем какие именно используются координатные функции, какие бы мы их не взяли дальнейшие преобразованию будут справедливы. Может быть взят ряд Фурье или степени полинома или что угодно.. Также нет ограничение на их количество m. Далее мы вообще заменяем сумму на интеграл (20)-(23). Тогда множеством реализаций становятится множество всех непрерывных вещественных функций.
Далее действительно задается априорное распределение. Но, задается оно не просто так, оно может быть выведено из набора гипотез (17)-(19). Эти гипотезы связаны с возможностями преобразования систем отсчета. Если предположим Вам неизвестна заранее какая-либо информация об задаче обучения кроме наличия выборки, Вы можете априорно допустить их выполнение?
Но пожалуй я даже буду утверждать большее: Какой бы Вы мне не дали алгоритм, решающий подобную задачу - ему всегда можно поставить в соответствие аналог, но сформулированный в терминах случайных функций! А значит - неявно, но все равно будет присутствовать наличие априорно заданного распределения. Если хотите, я могу Вам привести примеры это доказывающие.

Согласен, минимизировать функцию потерь на генеральной совокупности - это главная задача. Но Вам известен хотя бы один алгоритм машинного обучения минимизирующий функцию потерь на генеральной совокупности? Есть алгоритмы минимизирующие ошибку на обучающей выборке, если мы добавим в нее часть генеральной совокупности - то она автоматически опять превращается в обучающую выборку. На генеральной совокупности можно провести тестирование полученного решения, но никто не запрещает сделать это же самое и с предложенным методом. С Уважением, Бахвалов Юрий Бахвалов Юрий 15:25, 17 августа 2009 (MSD)

Пожалуй, мои высказывания от 17 августа 2009, на счет параметризации и генеральной совокупности были слишком категоричные. По крайней мере сформулированы они должны были быть не так. Признаю, что был не прав. Участник:Бахвалов Юрий. 02.06.2013