Публикация:Воронцов 2010 Комбинаторная теория

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: <includeonly>{{Диссертация|PageName = Публикация:Воронцов 2010 Комбинаторная теория |автор = Воронцов, К. В. |наз...)
(добавил "Результаты, выносимые на защиту")
Строка 16: Строка 16:
|url = http://www.machinelearning.ru/wiki/images/b/b6/Voron10doct.pdf
|url = http://www.machinelearning.ru/wiki/images/b/b6/Voron10doct.pdf
}}
}}
 +
 +
Данная диссертационная работа является теоретическим исследованием
 +
по [[теория статистического обучения|теории статистического обучения]] (statistical learning theory, SLT).
 +
Предлагается комбинаторный подход, позволяющий получать
 +
точные оценки [[обобщающая способность|обобщающей способности]] методов обучения по прецедентам.
 +
Отличительными особенностями комбинаторного подхода являются:
 +
* использование [[слабая вероятностная аксиоматика|слабой вероятностной аксиоматики]] вместо стандартной колмогоровской;
 +
* использование функционалов вероятности [[переобучение|переобучения]] и полного [[скользящий контроль|скользящего контроля]] вместо стандартного [[принцип равномерной сходимости|принципа равномерной сходимости]];
 +
* использование экспериментальных методик анализа факторов завышенности стандартных оценок обобщающей способности;
 +
* использование свойств [[Расслоение и сходство алгоритмов (виртуальный семинар)|расслоения и связности]] в семействах алгоритмов вместо тривиального подсчёта числа различных алгоритмов в семействе;
 +
* использование свойств [[метод обучения|метода обучения]] наряду со свойствами семейства алгоритмов;
 +
* возможность получения точных оценок вероятности переобучения вместо стандартных асимптотических сильно завышенных оценок.
 +
 +
== Результаты, выносимые на защиту ==
 +
# Слабая вероятностная аксиоматика, основанная на единственном вероятностном предположении -- о независимости наблюдений в конечной выборке. Общая постановка задач эмпирического предсказания.
 +
# VC-оценки вероятности переобучения, учитывающие степень некорректности метода обучения.
 +
# Методика эмпирического измерения факторов завышенности VC-оценок вероятности переобучения.
 +
# Метод получения точных оценок вероятности переобучения, основанный на выделении множеств порождающих и запрещающих объектов для каждого алгоритма в семействе.
 +
# Рекуррентный алгоритм вычисления точных, верхних и нижних оценок вероятности переобучения.
 +
# Блочный метод вычисления точных оценок вероятности переобучения.
 +
# Точные оценки вероятности переобучения для ряда модельных семейств алгоритмов: слоя и интервала булева куба, монотонных и унимодальных цепочек, единичной окрестности.
 +
# Оценка вероятности переобучения, учитывающая профиль расслоения и связности семейства алгоритмов.
 +
# Точные оценки полного скользящего контроля для метода ближайшего соседа, выражающиеся через профиль компактности выборки.
 +
# Верхние оценки полного скользящего контроля для семейства монотонных алгоритмов, выражающиеся через профиль монотонности выборки.
 +
== См. также ==
== См. также ==
*[[Участник:Vokov|Воронцов, Константин Вячеславович]] — страница участника
*[[Участник:Vokov|Воронцов, Константин Вячеславович]] — страница участника

Версия 15:25, 4 февраля 2010

Воронцов, К. В. Комбинаторная теория надёжности обучения по прецедентам: Дис. док. физ.-мат. наук: 05-13-17. — Вычислительный центр РАН, 2010. — 271 с.

BibTeX: 
 @phdthesis{voron10doct,
   author = "Воронцов, К. В.",
   title = "Комбинаторная теория надёжности обучения по прецедентам: 
           Дис. док. физ.-мат. наук: 05-13-17",
   school = "Вычислительный центр РАН",
   pages = "271",
   url = "http://www.machinelearning.ru/wiki/images/b/b6/Voron10doct.pdf",
   year = "2010",
   language = russian
 }

Данная диссертационная работа является теоретическим исследованием по теории статистического обучения (statistical learning theory, SLT). Предлагается комбинаторный подход, позволяющий получать точные оценки обобщающей способности методов обучения по прецедентам. Отличительными особенностями комбинаторного подхода являются:

Результаты, выносимые на защиту

  1. Слабая вероятностная аксиоматика, основанная на единственном вероятностном предположении -- о независимости наблюдений в конечной выборке. Общая постановка задач эмпирического предсказания.
  2. VC-оценки вероятности переобучения, учитывающие степень некорректности метода обучения.
  3. Методика эмпирического измерения факторов завышенности VC-оценок вероятности переобучения.
  4. Метод получения точных оценок вероятности переобучения, основанный на выделении множеств порождающих и запрещающих объектов для каждого алгоритма в семействе.
  5. Рекуррентный алгоритм вычисления точных, верхних и нижних оценок вероятности переобучения.
  6. Блочный метод вычисления точных оценок вероятности переобучения.
  7. Точные оценки вероятности переобучения для ряда модельных семейств алгоритмов: слоя и интервала булева куба, монотонных и унимодальных цепочек, единичной окрестности.
  8. Оценка вероятности переобучения, учитывающая профиль расслоения и связности семейства алгоритмов.
  9. Точные оценки полного скользящего контроля для метода ближайшего соседа, выражающиеся через профиль компактности выборки.
  10. Верхние оценки полного скользящего контроля для семейства монотонных алгоритмов, выражающиеся через профиль монотонности выборки.

См. также

Источник — «http://recognition.su/wiki/index.php?title=%D0%9F%D1%83%D0%B1%D0%BB%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F:%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2_2010_%D0%9A%D0%BE%D0%BC%D0%B1%D0%B8%D0%BD%D0%B0%D1%82%D0%BE%D1%80%D0%BD%D0%B0%D1%8F_%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8F»