Метод радиальных базисных функций

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Текущая версия

Статья написана с использованием LLM Gemini 3.1 Pro и проверена участником Artem Abdulmanov 16:49, 17 июня 2026 (MSD)

Промпт приводится полностью в Обсуждение:Метод радиальных базисных функций

Содержание

1 Введение
2 Мотивировка и историческая справка
3 Математический аппарат и Архитектура
4 Схема обучения и рекомендации
5 Современные подходы и State-of-the-Art (SOTA)
6 См. также
7 Примечания
8 Литература

Введение

Метод радиальных базисных функций (англ. Radial Basis Function Network, RBF) — это архитектура искусственных нейронных сетей, использующая радиально-симметричные функции в качестве функций активации. С геометрической точки зрения метод осуществляет нелинейное отображение входного пространства признаков в скрытое пространство более высокой размерности, где задача аппроксимации функций или разделения классов может быть решена линейными методами. Суть решаемой проблемы заключается в построении гладкой гиперповерхности в многомерном пространстве, которая интерполирует или аппроксимирует заданный набор обучающих данных, рассматривая каждый нейрон как локальный рецептор, реагирующий на близость входного вектора к определённому центру.

Мотивировка и историческая справка

Исторически RBF-сети возникли как решение задачи многомерной интерполяции. Предпосылкой к созданию метода стала необходимость преодолеть ограничения многослойных перцептронов (MLP), в частности, проблемы затухающего градиента и длительной сходимости.

Важнейшей исторической и теоретической предтечей RBF-сетей (а также ядерных методов в целом) является метод потенциальных функций, разработанный советской школой машинного обучения. В фундаментальном труде М. А. Айзермана, Э. М. Бравермана и Л. И. Розоноэра «Метод потенциальных функций в теории обучения машин» (1970)^[1] была предложена элегантная физическая аналогия: каждый прецедент обучающей выборки создаёт в пространстве признаков некое «поле» или «потенциал», убывающий по мере удаления от точки. Если выбрать функцию потенциала изотропной (зависящей исключительно от расстояния между объектами), то классификатор МПФ становится структурно и математически эквивалентен RBF-сети. Более того, в рамках этой работы были заложены концептуальные основы ядерного перехода (kernel trick): авторы показали, что вычисление функции потенциала эквивалентно вычислению скалярного произведения признаков в спрямляющем гильбертовом пространстве бесконечной размерности.

В современном виде фундаментальное обоснование метода RBF для нейронных сетей было заложено в работе D. Broomhead и D. Lowe (1988)^[1], которые первыми предложили использовать радиальные базисные функции в контексте проектирования нейронных сетей, опираясь на теорию регуляризации. Важнейшую математическую базу обеспечила теорема Миккелли (1986)^[1], строго доказавшая, что для широкого класса радиальных функций (включая гауссианы и мультиквадрики) интерполяционная матрица является невырожденной при условии уникальности точек данных. Это математически гарантирует существование точного решения задачи строгой интерполяции.

Математический аппарат и Архитектура

Архитектура RBF-сети строго структурирована и состоит из трёх слоёв:

Входной слой: передаёт входной вектор $\mathbf{x} \in \mathbb{R}^n$ на скрытый слой без преобразований.
Скрытый слой: состоит из нелинейных нейронов, каждый из которых параметризован вектором центра $\mathbf{c}_i \in \mathbb{R}^n$ и параметром ширины $\sigma_i$ .
Выходной слой: линейно комбинирует отклики скрытого слоя.

Математически отклик сети вычисляется как линейная комбинация радиальных функций:

$f(\mathbf{x}) = \sum_{i=1}^{N} w_i \phi(||\mathbf{x} - \mathbf{c}_i||)$

где:

$f(\mathbf{x})$ — выход сети;
$N$ — количество нейронов скрытого слоя;
$w_i$ — весовой коэффициент связи между $i$ -м нейроном скрытого слоя и выходным узлом;
$\phi(\cdot)$ — радиальная базисная функция;
$||\cdot||$ — евклидова норма (расстояние).

Наиболее распространённым выбором функции $\phi$ является функция Гаусса (гауссиана):

$\phi(r) = \exp\left(-\frac{r^2}{2\sigma_i^2}\right)$

где $r = ||\mathbf{x} - \mathbf{c}_i||$ — расстояние от входа до центра, а $\sigma_i$ — ширина окна, определяющая радиус влияния нейрона. Чем ближе входной вектор $\mathbf{x}$ к центру $\mathbf{c}_i$ , тем сильнее отклик активации (максимум равен 1 при $\mathbf{x} = \mathbf{c}_i$ ).

Схема обучения и рекомендации

В отличие от классического сквозного обратного распространения ошибки, для RBF-сетей предпочтителен гибридный двухэтапный подход (two-stage training):

Обучение без учителя для скрытого слоя: Расположение центров $\mathbf{c}_i$ обычно подбирается методами кластеризации (чаще всего K-Means). Ширины $\sigma_i$ задаются эвристически, например, равными среднему расстоянию до $k$ ближайших центров, что обеспечивает адекватное перекрытие базисных функций.
Обучение с учителем для выходного слоя: Поскольку выход сети линейно зависит от весов $w_i$ , после фиксации параметров скрытого слоя оптимальные веса можно вычислить аналитически в один шаг с помощью псевдообратной матрицы Мура-Пенроуза (решение задачи наименьших квадратов) или обучить стандартным градиентным спуском, что займёт минимальное количество эпох из-за выпуклости функции потерь по отношению к этим весам.

Частые ошибки инженеров:

Проклятие размерности: В пространствах высокой размерности (сотни признаков) евклидово расстояние между любыми двумя точками стремится к одной и той же величине. В результате отклики всех Гауссиан становятся неразличимы (либо все равны нулю, либо константе), и сеть теряет выразительную способность.
Неоптимальный выбор ширины окна: Слишком малые значения $\sigma$ приводят к катастрофическому переобучению (нейроны реагируют только на точечные попадания из обучающей выборки), а слишком большие — к сильному сглаживанию и недообучению, так как сеть вырождается в глобальную константу.
Избыточное количество центров: Размещение центра для каждого объекта обучающей выборки делает матрицу интерполяции громоздкой и вычислительно неэффективной (ошибка строгой интерполяции вместо сглаживающей аппроксимации).

Современные подходы и State-of-the-Art (SOTA)

Хотя классические RBF-сети уступили место глубоким MLP и трансформерам в задачах компьютерного зрения и NLP, они переживают мощный ренессанс в специфических научно-инженерных доменах:

Физико-информированные нейросети (PINNs): При решении дифференциальных уравнений в частных производных (PDE) RBF обеспечивают аналитическую гладкость производных старших порядков, в отличие от ReLU-сетей. Использование RBF-активаций позволяет существенно повысить точность аппроксимации физических процессов локально в вычислительной сетке.
Суррогатное моделирование: RBF остаются индустриальным SOTA-стандартом в задачах оптимизации дорогостоящих функций (Black-box optimization), где вычислительный бюджет ограничен десятками симуляций, и требуется построить предельно точную поверхность отклика.

См. также

Примечания

Литература

Айзерман М. А., Браверман Э. М., Розоноэр Л. И. Метод потенциальных функций в теории обучения машин. — Наука, 1970. — С. 384.
Broomhead D. S., Lowe D. Multivariable functional interpolation and adaptive networks // Complex Systems. — 1988. — Т. 2. — С. 321–355.
Micchelli C. A. Interpolation of scattered data: distance matrices and conditionally positive definite functions // Constructive Approximation. — 1986. — Т. 2. — С. 11–22.
Хайкин С. Нейронные сети: полный курс. — Вильямс, 2006. — С. 1104.

Источник — «http://recognition.su/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D1%80%D0%B0%D0%B4%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D1%85_%D0%B1%D0%B0%D0%B7%D0%B8%D1%81%D0%BD%D1%8B%D1%85_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%B9»

Категории: Машинное обучение | Искусственные нейронные сети | Регрессионный анализ

@@ Строка 10: / Строка 10: @@
 Исторически RBF-сети возникли как решение задачи многомерной интерполяции. Предпосылкой к созданию метода стала необходимость преодолеть ограничения [[Многослойный перцептрон|многослойных перцептронов]] (MLP), в частности, проблемы [[Затухание градиента|затухающего градиента]] и длительной [[Сходимость|сходимости]].
-Фундаментальное обоснование метода было заложено в работе D. Broomhead и D. Lowe (1988)<ref>Broomhead D. S., Lowe D., 1988</ref>, которые первыми предложили использовать радиальные базисные функции в контексте проектирования нейронных сетей, опираясь на [[Теория регуляризации|теорию регуляризации]]. Важнейшую математическую базу обеспечила теорема Миккелли (1986)<ref>Micchelli C. A., 1986</ref>, строго доказавшая, что для широкого класса радиальных функций (включая [[Функция Гаусса|гауссианы]] и мультиквадрики) интерполяционная матрица является [[Обратимая матрица|невырожденной]] при условии уникальности точек данных. Это математически гарантирует существование точного решения задачи строгой интерполяции.
+Важнейшей исторической и теоретической предтечей RBF-сетей (а также ядерных методов в целом) является [[Метод потенциальных функций|метод потенциальных функций]], разработанный советской школой машинного обучения. В фундаментальном труде М. А. Айзермана, Э. М. Бравермана и Л. И. Розоноэра «Метод потенциальных функций в теории обучения машин» (1970)<ref>Айзерман М. А. и др., 1970</ref> была предложена элегантная физическая аналогия: каждый прецедент обучающей выборки создаёт в пространстве признаков некое «поле» или «потенциал», убывающий по мере удаления от точки. Если выбрать функцию потенциала изотропной (зависящей исключительно от расстояния между объектами), то классификатор МПФ становится структурно и математически эквивалентен RBF-сети. Более того, в рамках этой работы были заложены концептуальные основы [[Ядерный трюк|ядерного перехода (kernel trick)]]: авторы показали, что вычисление функции потенциала эквивалентно вычислению скалярного произведения признаков в спрямляющем [[Гильбертово пространство|гильбертовом пространстве]] бесконечной размерности.
+В современном виде фундаментальное обоснование метода RBF для нейронных сетей было заложено в работе D. Broomhead и D. Lowe (1988)<ref>Broomhead D. S., Lowe D., 1988</ref>, которые первыми предложили использовать радиальные базисные функции в контексте проектирования нейронных сетей, опираясь на [[Теория регуляризации|теорию регуляризации]]. Важнейшую математическую базу обеспечила [[Теорема Миккелли|теорема Миккелли]] (1986)<ref>Micchelli C. A., 1986</ref>, строго доказавшая, что для широкого класса радиальных функций (включая [[Функция Гаусса|гауссианы]] и мультиквадрики) интерполяционная матрица является [[Обратимая матрица|невырожденной]] при условии уникальности точек данных. Это математически гарантирует существование точного решения задачи строгой интерполяции.
 == Математический аппарат и Архитектура ==
@@ Строка 19: / Строка 21: @@
 Математически отклик сети вычисляется как [[Линейная комбинация|линейная комбинация]] радиальных функций:
-::<tex> f(\mathbf{x}) = \sum_{i=1}^{N} w_i \phi(||\mathbf{x} - \mathbf{c}_i||) </ </tex>
+::<tex> f(\mathbf{x}) = \sum_{i=1}^{N} w_i \phi(||\mathbf{x} - \mathbf{c}_i||) </tex>
 где:
@@ Строка 29: / Строка 31: @@
 Наиболее распространённым выбором функции <tex>\phi</tex> является функция Гаусса (гауссиана):
-::<tex> \phi(r) = \exp\left(-\frac{r^2}{2\sigma_i^2}\right) </ </tex>
+::<tex> \phi(r) = \exp\left(-\frac{r^2}{2\sigma_i^2}\right) </tex>
 где <tex>r = ||\mathbf{x} - \mathbf{c}_i||</tex> — расстояние от входа до центра, а <tex>\sigma_i</tex> — ширина окна, определяющая радиус влияния нейрона. Чем ближе входной вектор <tex>\mathbf{x}</tex> к центру <tex>\mathbf{c}_i</tex>, тем сильнее отклик активации (максимум равен 1 при <tex>\mathbf{x} = \mathbf{c}_i</tex>).
-== Практика на PyTorch ==
-Эффективная реализация RBF-слоя в [[PyTorch]] строится на векторизованном вычислении матрицы попарных расстояний между входным [[Батч|батчем]] и центрами. Ниже представлена архитектура пользовательского модуля с подробным документированием выполняемых тензорных преобразований.
-<source lang="python">
-import torch
-import torch.nn as nn
-class RBFNetwork(nn.Module):
-    """
-    Реализация слоя радиальных базисных функций (RBF) на PyTorch.
-    """
-    def __init__(self, in_features, num_centers, out_features):
-        super(RBFNetwork, self).__init__()
-        self.in_features = in_features
-        self.num_centers = num_centers
-        self.out_features = out_features
-        # Центры RBF: обучаемые параметры, форма (num_centers, in_features)
-        self.centers = nn.Parameter(torch.empty(num_centers, in_features))
-        # Ширины (сигмы) для каждого центра: форма (num_centers,)
-        self.sigmas = nn.Parameter(torch.empty(num_centers))
-        # Выходной слой: линейная комбинация без свободного члена (обычно bias не нужен)
-        self.linear = nn.Linear(num_centers, out_features, bias=False)
-        self._reset_parameters()
-    def _reset_parameters(self):
-        # Инициализация центров из стандартного нормального распределения
-        nn.init.normal_(self.centers, mean=0.0, std=1.0)
-        # Инициализация ширин строго положительной константой
-        nn.init.constant_(self.sigmas, val=1.0)
-        # Инициализация весов выходного слоя
-        nn.init.xavier_uniform_(self.linear.weight)
-    def forward(self, x):
-        # x имеет форму (batch_size, in_features)
-        # Вычисляем попарные евклидовы расстояния
-        # Функция cdist оптимизирована и работает быстрее кастомных реализаций
-        # distances форма: (batch_size, num_centers)
-        distances = torch.cdist(x, self.centers, p=2.0)
-        # Применяем Гауссову функцию активации
-        # rbf_out форма: (batch_size, num_centers)
-        rbf_out = torch.exp(-(distances ** 2) / (2 * self.sigmas ** 2))
-        # Возвращаем линейную взвешенную сумму откликов
-        # Выходная форма: (batch_size, out_features)
-        return self.linear(rbf_out)
-</source>
 == Схема обучения и рекомендации ==
@@ Строка 97: / Строка 47: @@
 == Современные подходы и State-of-the-Art (SOTA) ==
-Хотя классические RBF-сети уступили место глубоким MLP и [[Трансформер (архитектура нейросетей)|трансформерам]] в задачах [[Компьютерное зрение|компьютерного зрения]] и [[Обработка естественного языка|NLP]], они переживают мощный ренессанс в специфических научно-инженерных доменах:
+Хотя классические RBF-сети уступили место глубоким [[Многослойный перцептрон|MLP]] и [[Трансформер (модель)|трансформерам]] в задачах [[Компьютерное зрение|компьютерного зрения]] и [[Обработка естественного языка|NLP]], они переживают мощный ренессанс в специфических научно-инженерных доменах:
-* '''Физико-информированные нейросети (PINNs):''' При решении [[Дифференциальное уравнение в частных производных|дифференциальных уравнений в частных производных]] (PDE) RBF обеспечивают аналитическую гладкость производных старших порядков, в отличие от [[ReLU|ReLU-сетей]]. Использование RBF-активаций позволяет существенно повысить точность аппроксимации физических процессов локально в вычислительной сетке.
+* '''[[Физико-информированная нейросеть|Физико-информированные нейросети]] (PINNs):''' При решении [[Дифференциальное уравнение в частных производных|дифференциальных уравнений в частных производных]] (PDE) RBF обеспечивают аналитическую гладкость производных старших порядков, в отличие от [[ReLU|ReLU-сетей]]. Использование RBF-активаций позволяет существенно повысить точность аппроксимации физических процессов локально в вычислительной сетке.
-* '''Суррогатное моделирование:''' RBF остаются индустриальным SOTA-стандартом в задачах [[Глобальная оптимизация|оптимизации дорогостоящих функций (Black-box optimization)]], где вычислительный бюджет ограничен десятками симуляций, и требуется построить предельно точную поверхность отклика.
+* '''[[Суррогатное моделирование]]:''' RBF остаются индустриальным SOTA-стандартом в задачах [[Глобальная оптимизация|оптимизации дорогостоящих функций (Black-box optimization)]], где вычислительный бюджет ограничен десятками симуляций, и требуется построить предельно точную поверхность отклика.
 == См. также ==
@@ Строка 106: / Строка 56: @@
 * [[Искусственная нейронная сеть]]
 * [[Метрический классификатор]]
+* [[Метод потенциальных функций]]
 == Примечания ==
@@ Строка 111: / Строка 62: @@
 == Литература ==
+* {{книга | автор = Айзерман М. А., Браверман Э. М., Розоноэр Л. И. | заглавие = Метод потенциальных функций в теории обучения машин | год = 1970 | издательство = Наука | страницы = 384 }}
 * {{статья | автор = Broomhead D. S., Lowe D. | заглавие = Multivariable functional interpolation and adaptive networks | издание = Complex Systems | год = 1988 | том = 2 | страницы = 321–355 }}
 * {{статья | автор = Micchelli C. A. | заглавие = Interpolation of scattered data: distance matrices and conditionally positive definite functions | издание = Constructive Approximation | год = 1986 | том = 2 | страницы = 11–22 }}