Материал из MachineLearning.
Аннотация
Временным рядом называется последовательность упорядоченных по времени значений некоторой вещественной переменной 
. Элемент последовательности называется отсчетом временного ряда.
Задача авторегрессионного прогноза заключается в нахождении модели $)
, где 
вектор параметров модели, которая наилучшим образом приближает следущее значение временного ряда $)
.
Свертка временного ряда возникает в случае существования на множестве подпоследовательностей временного ряда некоторого инварианта. Примером инварианта является период временного ряда, который физически может означать сезонность в данных. При этом построенная модель должна учитывать наличие инварианта и сохранять данное свойство для ряда прогнозов: 
.
Постановка задачи
Пусть задан временной ряд . Предполагается, что отсчеты 
были сделаны через равные промежутки времени, и период временного ряда равен 
, при этом 
, где 
.
Задана модель +\epsilon$)
,где случайная величина 
имеет нормальное распределение )
. Вектор параметров модели 
рассматривается как многомерная случайная величина. Пусть плотность распределения параметров имеет вид многомерного нормального распределения )
с матрицей ковариации 
. Модель некоторым образом учитывает период временного ряда.
Предполагается, модель временного ряда может меняться с течением времени, т.е. для разных подпоследовательностей длины 
оптимальные параметры модели будут отличаться. Расстояние между различными подпоследовательностями \cdot{p}})
и \cdot{p}})
измеряется как сумма квадратов отклонений:
^2})
.
Расстояние между параметрами модели , настроенной на разных подпоследовательностях, можно измерить как расстояние Кульбака-Лейблера между функциями распределения 2-ух случайных величин },{q(x)})
:
 = \sum\limits_{x\in \mathcal{X}} p(x) \ln \frac{p(x)}{q(x)}.)
Требуется исследовать зависимость расстояния между параметрами модели от расстояния между подпоследовательностями, на которых эти параметры были настроены.
Алгоритм
Для настройки параметров модели +\epsilon)
используется связный байесовский вывод
=-\frac{1}{2}\ln|A|-\frac{N}{2}\ln2\pi+\frac{N}{2}\ln\beta-S(\mathbf{w_0})-\frac{1}{2}\ln|H|,)
где =\frac{1}{2}\mathbf{w}^TA\mathbf{w}+\beta E_D)
— функция ошибки,
|_{\mathbf{w}=\mathbf{w_0}})
— матрица Гессе функции ошибок,
^2)
— функция ошибки в пространстве данных.
Настройка параметрической регрессионной модели происходит в 2 этапа, сначала настраиваются параметры при фиксированных гиперпараметрах 
, затем при вычисленных значениях параметров функция правдоподобия )
оптимизируется по гиперпараметрам. Процедура повторяется, пока настраиваемые параметры не стабилизируется.
Для простоты вычислений, считаем, что
имеет диагональный вид:
.
)
.
Вычислительный эксперимент
Вычислительный эксперимент проводился на реальных данных. Использовались временные ряды потребления электроэнергии в некотором регионе с отсчетами 1 час, период ряда равен 
.
Эксперимент состоит из этапов:
1) из множества порождающих моделей:
 = x;
f_2(x) = \sin(x);
f_3(x) = \cos(x);
f_4(x) = \exp(x);
f_5(x) = \ln(x);
f_6(x) = \tan(x);
)
была построена их суперпозиция, описывающая потребление электроэнергии за сутки:
}+w_3\cdot{\exp(-24*t)}+w_4\cdot \exp\left(w_5\cdot{\sin(t^4)} \right)+w_6\cdot \exp \left( w_7\cdot cos(24*t^{2,5})\right)+$$)
 \right)+w_{10}\cdot cos(t)+w_{11}\cdot cos(\frac{2}{15}\cdot t+\frac{1}{3}))+w_{12}\cdot t\cdot cos(t^3).$$)
2) модель настраивается на подпоследовательности
=\{x_{pn+1},\dots,x_{pn+24}\})
,
где 
- номер суток. В результате получаем набор оптимальных параметров и гиперпараметров модели, оптимальных для данной подпоследовательности:
, A(n), \beta(n))
.
3) строится зависимость расстояния между последовательностями в пространстве параметров:
, \mathbf{x}(m) \right)= D_{KL}\left(p(w), q(w) \right) = \sum\limits_{w\in \mathcal{W}} p(w) \ln \frac{p(w)}{q(w)} )
, где
,q(w))
- плотности распределений случайных величины из
,A(n)))
и
,A(m)))
соотвественно,
и расстояний в пространстве значений:
, \mathbf{x}(m) \right)=\sum_{t=1}^{24}\left( x_t(n)-x_t(m) \right)^2 )
Исходный код
Смотри также
Литература
- Стрижов В.В, Пташко Г.О. Построение инвариантов на множестве временных рядов путем динамической свертки свободной переменной. — ВЦ РАН, 2009.
- Стрижов В.В Методы выбора регрессионных моделей. — ВЦ РАН, 2010.
