Адаптивный линейный элемент

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 7: Строка 7:
<br>
<br>
[[Изображение:Mat_model_neirona.png|300px|thumb|модель работы нейрона<ref>[http://mechanoid.narod.ru/nns/base/index.html#SECTION00042000000000000000 Основные модели и методы теории искусственных нейронных сетей, Е.С.Борисов, 2005-10-19]</ref>]]
[[Изображение:Mat_model_neirona.png|300px|thumb|модель работы нейрона<ref>[http://mechanoid.narod.ru/nns/base/index.html#SECTION00042000000000000000 Основные модели и методы теории искусственных нейронных сетей, Е.С.Борисов, 2005-10-19]</ref>]]
-
На вход подаётся вектор импульсов '''X<sub>n</sub>''' ,состоящий из '''n''' числовых признаков. Внутри нейрона импульсы складываются с некоторыми весами '''w<sub>j</sub>, j = 1..n''' и, если суммарный импульс '''S =<tex>\textstyle\sum_{j=1}^n w_jx_j</tex>''' превысит порог активации '''w<sub>0</sub>''', то нейрон возбуждается и выдаёт некоторое значение '''Y(x) = φ(S - w<sub>0</sub>)'''.
+
На вход подаётся вектор импульсов '''x<sub>n</sub>''' ,состоящий из '''n''' числовых признаков. Внутри нейрона импульсы складываются с некоторыми весами '''w<sub>j</sub>, j = 1..n''' и, если суммарный импульс '''S(x) =<tex>\textstyle\sum_{j=1}^n w_jx_j</tex>''' превысит ''порог активации'' '''w<sub>0</sub>''', то нейрон возбуждается и выдаёт некоторое значение '''a(x) = S(x) - w<sub>0</sub>'''.
 +
<br><br>
 +
Если добавить фиктивный импульс-признак '''x<sub>0</sub> ≡ -1''' и ему сопоставить вес '''w<sub>0</sub>''' - порог активации, то формулу выхода '''Y(x)''' можно выписать более компактно:
 +
<br>
 +
'''a(x) =(w,x) ''', где '''(w,x)''' - скалярное произведение, '''w''' и '''x''' - векторы весов и импульсов-признаков соответственно.
 +
=== Схема обучения ADALINE ===
 +
Пусть дана обучающая выборка: множество входных значений '''X''' и множество выходящих значений '''Y''', такие что каждому входу '''x<sub>j</sub>''' соответствует '''y<sub>j</sub>''' - выход, '''j = 1..l'''. Необходимо по этим данным построить ADALINE, которая допускает наименьшее количество ошибок на этой обучающей выборке.
 +
Обучение ADALINE заключается в подборе "наилучших" значений вектора весов '''w'''. Какие значение весов лучше определяет
 +
''функционал потерь''.В ADALINE используется функционал, предложенный Видроу и Хоффом, '''L(a,x) = (a - y)<sup>2</sup>'''. Необходимо минимизировать
 +
 +
=== Связь обучения ADALINE с Stochastic Gradient ===
 +
Схема обучения ADALINE соответствует схеме обучения линейного классификатора методом [[Метод стохастического градиента|стохастического градиента]] c линейной функцией активации '''φ(z) = z''' и квадратичной функцией потерь '''L(a,x) = (a - y)<sup>2</sup>'''.

Версия 18:52, 5 января 2010

Данная статья является непроверенным учебным заданием.
Студент: Участник:Головин Антон
Преподаватель: Участник:Константин Воронцов
Срок: 8 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Адаптивный линейный элемент(Адаптивный линейный нейрон или ADALINE) - частный случай линейного классификатора или искусственной нейронной сети с одним слоем. Был предложен Видроу и Хоффом в 1960 году, развивая математическую модель нейрона МакКаллока–Питтса.

Общая схема работы ADALINE

Схема работы ADALINE несколько напоминает работу биологического нейрона:

модель работы нейрона
модель работы нейрона[1]

На вход подаётся вектор импульсов xn ,состоящий из n числовых признаков. Внутри нейрона импульсы складываются с некоторыми весами wj, j = 1..n и, если суммарный импульс S(x) =\textstyle\sum_{j=1}^n w_jx_j превысит порог активации w0, то нейрон возбуждается и выдаёт некоторое значение a(x) = S(x) - w0.

Если добавить фиктивный импульс-признак x0 ≡ -1 и ему сопоставить вес w0 - порог активации, то формулу выхода Y(x) можно выписать более компактно:
a(x) =(w,x) , где (w,x) - скалярное произведение, w и x - векторы весов и импульсов-признаков соответственно.

Схема обучения ADALINE

Пусть дана обучающая выборка: множество входных значений X и множество выходящих значений Y, такие что каждому входу xj соответствует yj - выход, j = 1..l. Необходимо по этим данным построить ADALINE, которая допускает наименьшее количество ошибок на этой обучающей выборке. Обучение ADALINE заключается в подборе "наилучших" значений вектора весов w. Какие значение весов лучше определяет функционал потерь.В ADALINE используется функционал, предложенный Видроу и Хоффом, L(a,x) = (a - y)2. Необходимо минимизировать

Связь обучения ADALINE с Stochastic Gradient

Схема обучения ADALINE соответствует схеме обучения линейного классификатора методом стохастического градиента c линейной функцией активации φ(z) = z и квадратичной функцией потерь L(a,x) = (a - y)2.