Алгоритм обучения

Материал из MachineLearning.

Алгоритм обучения (learning algorithm) — в задачах обучения по прецедентам алгоритм , который принимает на входе обучающую выборку данных , строит и выдаёт на выходе функцию , реализующую отображение из множества объектов  во множество ответов .

Построенная функция называется классификатором (в задачах классификации) или функцией регрессии (в задачах восстановления регрессии). В общем случае её называют по-разному: алгоритмом (преимущественно в русскоязычных работах), концептом (concept) или гипотезой (в некоторых зарубежных работах), реже — аппроксимирующей функцией или моделью.

На страницах Ресурса MachineLearning.RU предлагается придерживаться следующей терминологии:

• алгоритм обучения или метод обучения — отображение ;
• алгоритм, классификатор, функция регрессии — отображение ;
• модель — семейство отображений , из которого алгоритм обучения  выбирает функцию .

Для задач обучения с учителем каноническим примером метода обучения является метод минимизации эмпирического риска. Он заключается в том, чтобы в заданной модели  найти функцию, минимизирующую величину средней ошибки на обучающей выборке, называемую также эмпирическим риском:

В этом случае метод обучения — это некоторый метод численной оптимизации.

Ссылки

• Обучение по прецедентам
• Воронцов К. В. Математические методы обучения по прецедентам. Курс лекций. МФТИ. 2006