Символьная регрессия

Материал из MachineLearning.

(Различия между версиями)

Версия 16:39, 30 марта 2008

Символьная регрессия — метод построения регрессионных моделей] путем перебора различных произвольных суперпозиций функций из некоторого заданного набора. Суперпозиция функций при этом называется "программой", а стохастический оптимизационный алгоритм построения таких суперпозиций называется генетическим программированием.

Генетическое программирование – модификация генетического алгоритма. Различие заключается в том, что для решения задач символьной регрессии необходима изменяющаяся длина хромосом, описывающих суперпозиции.

Так как подобные алгоритмы являются переборными и требуют значительных вычислительных ресурсов, то публикации по данной теме стали появляться в 90-х годах, а значительное развитие они получили после 2000-го года. Наиболее известным исследователем является Джон Коза.

Постановка задачи

Задача отыскания оптимальной структуры регрессионной модели нескольких свободных переменных следующим образом. Задана выборка — множество $\{\mathbf{x}_1,…,\mathbf{x}_N|\mathbf{x}\in\R^M\}$ значений свободных переменных и множество $\{y_1,…,y_N| y\in\R\}$ соответствующих им значений зависимой переменной. Обозначим оба эти множества как множество исходных данных $D$ .

Также задано множество $G=\{g|g:\R\times…\times\R\longrightarrow\R\}$ гладких параметрических функций $g=g(\mathbf{b},\cdot,\cdot,…,\cdot)$ . Первый аргумент функции $g$ — вектор-строка параметров $\mathbf{b}$ , последующие — переменные из множества действительных чисел, рассматриваемые как элементы вектора свободных переменных. Рассмотрим произвольную суперпозицию, состоящую из не более чем $r$ функций $g$ . Эта суперпозиция задает параметрическую регрессионную модель $f=f(\mathbf{w},\mathbf{x})$ . Регрессионная модель $f$ зависит от вектора свободных переменных $\mathbf{x}$ и от вектора параметров $\mathbf{w}$ . Вектор $\mathbf{w}\in\R^W$ состоит из присоединенных векторов-параметров функций $g_1,…,g_r$ , то есть, $\mathbf{w}=\mathbf{b}_1\vdots\mathbf{b}_2\vdots…\vdots\mathbf{b}_r$ , где $\vdots$ — знак присоединения векторов. Обозначим $\Phi=\{f_i\}$ — множество всех суперпозиций, индуктивно порожденное элементами множества $G$ .

Требуется выбрать такую модель $f_i$ , которая доставляет максимум заданного функционала $p(\mathbf{w}|D)$ .

Это незавершённая статья. Вы поможете проекту, исправив и дополнив её.

Литература

Zelinka, I., Nolle, L., Oplatkova, Z. Analytic Programming — Symbiloc Regression by Means of Arbitrfary Evolutionary Algorithms / Journal of Simulation. Vol. 6 No 9. P. 44—56.
Koza, J. R. Genetic Programming IV: Routine Human-Competitive Machine Intelligence. Springer. 2005.
Riolo, R., Soule, T., Worzel, B. (Eds.) Genetic Programming Theory and Practice V. Series: Genetic and Evolutionary Computation. Springer. 2008.
Madar, J., Janos, A., Szeifert, F. Genetic Programming for the Identification of Nonlinear Input-Output Models. citeseer.ist.psu.edu. 2005.
Hazan, A. et al. Modelling Expressive Performance: A Regression Tree Approach Based on Strongly Typed Genetic Programming / Applications of Evolutionary Computing. Springer. Vol. 3907/2006. P. 676—687.
Kohavi, R. A study of cross-validation and bootstrap for accuracy estimation and model selection / Proceedings of 14 International Joint Conference of Artificial Intelligence. 2(12). P. 1137—1143.

Внешние ссылки

Источник — «http://recognition.su/wiki/index.php?title=%D0%A1%D0%B8%D0%BC%D0%B2%D0%BE%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F»

Категории: Незавершённые статьи | Незавершенные статьи | Регрессионный анализ | Энциклопедия анализа данных

@@ Строка 1: / Строка 1: @@
+'''Символьная регрессия''' — метод построения [[регрессионная модель|регрессионных моделей]]] путем перебора различных произвольных суперпозиций функций из некоторого заданного набора. Суперпозиция функций при этом называется "программой", а стохастический оптимизационный алгоритм построения таких суперпозиций называется [[генетическое программирование|генетическим программированием]].
+Генетическое программирование – модификация [[генетического алгоритма]]. Различие заключается в том, что для решения задач символьной регрессии необходима изменяющаяся длина хромосом, описывающих суперпозиции.
+Так как подобные алгоритмы являются переборными и требуют значительных вычислительных ресурсов, то публикации по данной теме стали появляться в 90-х годах, а значительное развитие они получили после 2000-го года. Наиболее известным исследователем является Джон Коза.
+== Постановка задачи ==
+Задача отыскания оптимальной структуры регрессионной модели нескольких свободных переменных следующим образом. Задана выборка&nbsp;— множество <tex>\{\mathbf{x}_1,…,\mathbf{x}_N|\mathbf{x}\in\R^M\}</tex> значений свободных переменных и множество <tex>\{y_1,…,y_N| y\in\R\}</tex> соответствующих им значений зависимой переменной. Обозначим оба эти множества как множество исходных данных&nbsp;<tex>D</tex>.
+Также задано множество <tex>G=\{g|g:\R\times…\times\R\longrightarrow\R\}</tex> гладких
+параметрических функций <tex>g=g(\mathbf{b},\cdot,\cdot,…,\cdot) </tex>. Первый аргумент функции&nbsp;<tex>g</tex>&nbsp;— вектор-строка параметров&nbsp;<tex>\mathbf{b}</tex>, последующие&nbsp;— переменные из множества действительных чисел, рассматриваемые как элементы вектора свободных переменных.
+Рассмотрим произвольную суперпозицию, состоящую из не более чем&nbsp;<tex>r</tex> функций&nbsp;<tex>g</tex>. Эта суперпозиция задает параметрическую регрессионную модель&nbsp;<tex>f=f(\mathbf{w},\mathbf{x}) </tex>. Регрессионная модель&nbsp;<tex>f</tex> зависит от вектора свободных переменных&nbsp;<tex>\mathbf{x}</tex> и от вектора параметров&nbsp;<tex>\mathbf{w}</tex>. Вектор&nbsp;<tex>\mathbf{w}\in\R^W</tex> состоит из присоединенных векторов-параметров
+функций&nbsp;<tex>g_1,…,g_r</tex>, то есть, <tex>\mathbf{w}=\mathbf{b}_1\vdots\mathbf{b}_2\vdots…\vdots\mathbf{b}_r</tex>, где <tex>\vdots</tex>&nbsp;— знак присоединения векторов. Обозначим&nbsp;<tex>\Phi=\{f_i\}</tex>&nbsp;— множество всех суперпозиций, индуктивно порожденное элементами множества&nbsp;<tex>G</tex>.
+Требуется выбрать такую модель&nbsp;<tex>f_i</tex>, которая доставляет максимум заданного функционала&nbsp;<tex>p(\mathbf{w}|D) </tex>.
 {{Заготовка}}
 == Литература ==
+* {{s|Zelinka, I., Nolle, L., Oplatkova, Z.}} Analytic Programming — Symbiloc Regression by Means of Arbitrfary Evolutionary Algorithms&nbsp;/ Journal of Simulation. Vol. 6 No 9. P. 44—56.
 * {{s|Koza, J. R.}} Genetic Programming IV: Routine Human-Competitive Machine Intelligence. Springer.&nbsp;2005.
 * {{s|Riolo, R., Soule, T., Worzel, B. (Eds.)}} Genetic Programming Theory and Practice V. Series: Genetic and Evolutionary Computation. Springer. 2008.
@@ Строка 11: / Строка 29: @@
 == Внешние ссылки ==
+* [http://alphard.ethz.ch/gerber/approx/default.html Simple Symbolic Regression Using Genetic Programming à la John Koza]
 * [http://gplab.sourceforge.net {{s|Silva, S.}} GPLAB&nbsp;— A Genetic Programming Toolbox for MATLAB]
 * [http://www.staff.ncl.ac.uk/d.p.searson/gptips.htm {{s|Searson, D.}} GPTIPS&nbsp;— Genetic Programming Tool for MATLAB]
 * [http://www.gepsoft.com {{s|Gepsoft}} GeneXproTools&nbsp;— Logistic Regression Analytics Platform]
+* [http://en.wikipedia.org/wiki/Genetic_programming Genetic programming, Wikipedia]
+[[Категория:Незавершенные статьи]]
 [[Категория:Регрессионный анализ]]
 [[Категория:Энциклопедия анализа данных]]

Символьная регрессия

Материал из MachineLearning.

Версия 16:39, 30 марта 2008

Постановка задачи

Литература

Внешние ссылки

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты