Алгоритм обучения

Материал из MachineLearning.

Версия от 13:35, 25 мая 2008; Vokov (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

Алгоритм обучения (learning algorithm) — в задачах обучения по прецедентам алгоритм A, который принимает на входе обучающую выборку данных D, строит и выдаёт на выходе функцию f, реализующую отображение из множества объектов X во множество ответов Y.

Построенная функция называется классификатором (в задачах классификации) или функцией регрессии (в задачах восстановления регрессии). В общем случае её называют по-разному: алгоритмом (преимущественно в русскоязычных работах), концептом (concept) или гипотезой (в некоторых зарубежных работах), реже — аппроксимирующей функцией или моделью.

На страницах Ресурса MachineLearning.RU предлагается придерживаться следующей терминологии:

  • алгоритм обучения или метод обучения — отображение A:\: D\mapsto f;
  • алгоритм, классификатор, функция регрессии — отображение f:\: X\to Y;
  • модель — семейство отображений F, из которого алгоритм обучения A выбирает функцию f.

Для задач обучения с учителем каноническим примером метода обучения является метод минимизации эмпирического риска. Он заключается в том, чтобы в заданной модели F найти функцию, минимизирующую величину средней ошибки на обучающей выборке, называемую также эмпирическим риском:

f = \mathrm{arg}\min_{f\in F} Q(f,D).

В этом случае метод обучения — это некоторый метод численной оптимизации.

Ссылки