Нейронное тангенциальное ядро

Материал из MachineLearning.

Статья написана с использованием LLM GPT-5.5 и проверена участником Nikolai Agafonov 05:23, 17 июля 2026 (MSD)

Содержание

1 Определение
2 История
3 Математическое определение
- 3.1 Линеаризация нейронной сети
4 NTK и градиентный спуск
5 Предельный режим бесконечной ширины
6 Спектральный анализ
7 Связь с машинным обучением
8 Ограничения
9 Современные исследования
10 См. также
11 Литература

Определение

Нейронное тангенциальное ядро (англ. Neural Tangent Kernel, NTK) — математическая теория, связывающая нейронные сети с ядерными методами машинного обучения. NTK описывает динамику обучения нейронной сети в пространстве функций и позволяет рассматривать процесс оптимизации как ядровую регрессию при определённых предположениях о ширине сети.

Концепция была предложена Артуром Жако (Arthur Jacot), Франком Габриэлем (Franck Gabriel) и Клеманом Онглером (Clément Hongler) в 2018 году. Они показали, что при стремлении ширины сети к бесконечности нейронное тангенциальное ядро становится практически постоянным во время обучения, благодаря чему динамика градиентного спуска допускает аналитическое описание.

История

До появления NTK существовала теория, согласно которой бесконечно широкие случайно инициализированные нейронные сети эквивалентны гауссовским процессам. Однако эта теория описывала только распределение функций до начала обучения.

Работа Жако и соавторов показала, что аналогичное описание возможно и для процесса обучения. Вместо анализа миллионов параметров нейронной сети предлагается исследовать изменение функции, реализуемой сетью. Такой подход позволил применить аппарат ядерных методов, спектрального анализа и статистической теории обучения к современным моделям глубокого обучения.

Математическое определение

Пусть нейронная сеть реализует функцию $f(x;\theta)$ , где $x$ — входной объект, а $\theta \in \mathbb{R}^P$ — вектор всех параметров сети.

Градиент функции по параметрам равен

$\nabla_\theta f(x;\theta) = \left( \frac{\partial f}{\partial \theta_1}, \dots, \frac{\partial f}{\partial \theta_P} \right)^T.$

Нейронное тангенциальное ядро определяется как скалярное произведение двух таких градиентов:

$\Theta(x,x') = \nabla_\theta f(x;\theta)^T \nabla_\theta f(x';\theta).$

Интуитивно это означает, что два объекта считаются близкими, если изменение параметров сети оказывает на них похожее влияние. В отличие от классических ядер, таких как RBF-ядро, NTK строится не непосредственно по входным данным, а по производным модели.

Линеаризация нейронной сети

Одной из ключевых идей NTK является то, что при малом изменении параметров функцию сети можно разложить в ряд Тейлора:

$f(x;\theta) \approx f(x;\theta_0) + \nabla_\theta f(x;\theta_0)^T(\theta-\theta_0),$

где $\theta_0$ — параметры инициализации.

Таким образом, несмотря на сильную нелинейность нейронной сети относительно входных данных, вблизи точки инициализации она становится почти линейной относительно своих параметров. Такой режим обучения называется lazy training.

NTK и градиентный спуск

Рассмотрим задачу регрессии с квадратичной функцией потерь

$L(\theta) = \frac12 \sum_{i=1}^{n} (f(x_i;\theta)-y_i)^2.$

Обновление параметров при непрерывном градиентном спуске имеет вид

$\frac{d\theta}{dt} = -\eta \nabla_\theta L,$

где $\eta$ — скорость обучения.

Используя правило дифференцирования сложной функции, можно получить динамику непосредственно в пространстве функций:

$\frac{df(x)}{dt} = - \eta \sum_{i=1}^{n} \Theta(x,x_i) (f(x_i)-y_i).$

Эта формула является центральным результатом теории NTK. Она показывает, что процесс обучения полностью определяется ядром $\Theta$ , а не отдельными параметрами сети.

Предельный режим бесконечной ширины

Пусть число нейронов в каждом скрытом слое стремится к бесконечности.

При стандартной параметризации выполняется

$\Theta_t(x,x') \rightarrow \Theta_0(x,x'),$

то есть ядро практически перестаёт изменяться во время обучения.

В этом случае решение системы имеет аналитический вид

$f_t-y = \exp(-\eta\Theta t) (f_0-y).$

Из формулы следует, что скорость обучения определяется собственными значениями матрицы NTK.

Спектральный анализ

Пусть

$\Theta = Q\Lambda Q^T,$

где

$Q$ — матрица собственных векторов;
$\Lambda$ — диагональная матрица собственных значений.

Тогда решение можно записать как

$f_t-y = Q \exp(-\eta\Lambda t) Q^T (f_0-y).$

Каждая компонента ошибки убывает со скоростью $e^{-\eta\lambda_i t}$ , где $\lambda_i$ — соответствующее собственное значение ядра.

Поэтому компоненты функции, соответствующие большим собственным значениям, обучаются быстрее. Данное свойство используется для объяснения спектрального смещения (spectral bias) глубоких нейронных сетей.

Связь с машинным обучением

NTK объединяет несколько направлений современной теории машинного обучения.

Во-первых, оно показывает, что бесконечно широкие нейронные сети эквивалентны ядерным методам. После обучения решение можно представить в виде

$f(x) = \Theta(x,X) \Theta(X,X)^{-1} y,$

что совпадает с решением ядровой регрессии.

Во-вторых, теория объясняет влияние инициализации, функции активации, глубины сети и скорости обучения на процесс оптимизации.

Наконец, NTK позволяет исследовать обобщающую способность моделей, анализировать скорость сходимости и сравнивать различные архитектуры без проведения дорогостоящих вычислительных экспериментов.

Ограничения

Несмотря на фундаментальное значение, теория NTK имеет ограничения.

Основное предположение заключается в бесконечной ширине сети и малом изменении параметров во время обучения. На практике современные модели значительно изменяют внутренние представления данных, поэтому ядро перестаёт оставаться постоянным:

$\Theta_t \neq \Theta_0.$

Такой режим называется обучением представлений (feature learning) и является одной из причин, по которой реальные глубокие сети зачастую превосходят предсказания классической теории NTK.

Современные исследования

Современные исследования посвящены следующим направлениям:

NTK конечной ширины;
NTK для сверточных и трансформерных архитектур;
связи NTK с законами масштабирования;
анализу отклонений реальных сетей от режима lazy training;
ускоренным алгоритмам вычисления NTK.

Несмотря на ограничения, теория нейронного тангенциального ядра остаётся одним из важнейших инструментов математического анализа глубокого обучения и используется при исследовании сходимости, обобщающей способности и динамики обучения нейронных сетей.

См. также

Литература

Jacot A., Gabriel F., Hongler C. Neural Tangent Kernel: Convergence and Generalization in Neural Networks. NeurIPS, 2018
Lee J., Xiao L., Schoenholz S. et al. Wide Neural Networks of Any Depth Evolve as Linear Models Under Gradient Descent. NeurIPS, 2019.
Novak R., Sohl-Dickstein J., Schoenholz S. Fast Finite Width Neural Tangent Kernel. ICML, 2022.
Golikov E., Pokonechnyy E., Korviakov V. Neural Tangent Kernel: A Survey. 2022.
Seleznova M., Kutyniok G. Neural Tangent Kernel Beyond the Infinite-Width Limit. 2022.

Источник — «http://recognition.su/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%BE%D0%B5_%D1%82%D0%B0%D0%BD%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%8F%D0%B4%D1%80%D0%BE»