Порождение нелинейных регрессионных моделей (пример)
Материал из MachineLearning.
Порождение нелинейных регрессионных моделей - порождение функций, зависящих от параметров и от одной или нескольких свободных переменных. Зависимость от параметров предполагается нелинейной.
Постановка задачи
Задана выборка из пар
. Задан набор порождающих функций одного и двух аргументов
, которые зависят от параметров
и свободных переменных
. Функции гладкие параметрические. Требуется создать алгоритм, порождающий лексикографически упорядоченные суперпозиции возрастающей сложности. Каждая суперпозиция является регрессионной моделью одной независимой переменной. Сравнить качество моделей и регрессионные остатки на порожденном множестве.
Дополнительные предположения
Предполагается, что функции корректно работают в случае вызова в виде
.
Интерпретация на языке графов
Заметим вначале, что суперпозиция функций может быть задана двоичным деревом
, вершины которого
∈
, корень – самая внешняя функция суперпозиции. Под глубиной вершины будем понимать расстояние от неё до корня. Если у вершины один потомок, то соответствующая функция запишется как
, если два – то
, если ноль – то
или
.
Так, дереву А соответствует суперпозиция , а дереву Б – суперпозиция
.
Возможна и другая постановка алгоритма. Она особенно ценна, если нельзя вызвать в виде
. Изменение состоит в том, что листья дерева суперпозиции считаются не функциями, а свободными переменными. В этом случае дереву А будет соответствовать суперпозиция
дереву Б – суперпозиция
.