Сеть Колмогорова — Арнольда

Материал из MachineLearning.

Версия от 13:09, 26 июля 2026; Polina Khadralinova (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM Gemini 3.1 Pro Preview (с интеграцией материалов участника Iurii Zhuravlev) и проверена участником Polina Khadralinova


Промпт приводится полностью в Обсуждение:Сеть Колмогорова — Арнольда

Сеть Колмогорова — Арнольда (KAN, от англ. Kolmogorov-Arnold Network) — это архитектура искусственных нейронных сетей, предложенная в 2024 году в качестве фундаментальной альтернативы классическому многослойному перцептрону (MLP). Названа в честь выдающихся советских математиков А. Н. Колмогорова и В. И. Арнольда. С точки зрения статистики, KAN можно рассматривать как глубокое нелинейное обобщение обобщённых аддитивных моделей (GAM).

Содержание

Концепция: глобальная архитектура и смена ролей

Чтобы понять суть KAN, удобнее всего использовать подход «сверху вниз», начав с макроуровня и перейдя к микроуровню отдельного нейрона, постоянно сравнивая новую архитектуру с классическим MLP.

На макроуровне передача сигнала от слоя к слою в этих сетях организована принципиально по-разному. В классическом MLP слой — это монолитная матрица весов. Вектор входных данных умножается на эту матрицу, к результату прибавляется вектор смещений, и только после этого ко всему новому вектору поэлементно применяется фиксированная функция активации. Сигнал преобразуется глобальными линейными операциями, а нелинейность добавляется локально на узлах-нейронах. В KAN слой не имеет матрицы скалярных весов. Вместо этого сигнал, исходящий из предыдущего слоя, разбивается на отдельные потоки. Каждый такой поток (каждое ребро графа) проходит через свою собственную, уникальную обучаемую функцию активации. Лишь после того, как все сигналы нелинейно исказились на рёбрах, они собираются в узле следующего слоя простым суммированием.

На микроуровне эта разница становится очевидной при взгляде на формулы. Шаг вычислений в классическом MLP для узла с индексом j выглядит так:

y_j = \sigma \left( \sum_{i=1}^{N} w_{ji} x_i + b_j \right)

Где x_i — сигнал от предыдущего узла с индексом i, w_{ji} — скалярный вес на ребре, b_j — смещение, а \sigma — фиксированная функция активации (например, ReLU), «зашитая» внутри самого узла j.

В архитектуре KAN математика шага кардинально иная:

y_j = \sum_{i=1}^{N} \phi_{ji}(x_i)

Здесь нет ни скалярных весов w_{ji}, ни внешней функции активации \sigma. Вся сложность заключена в \phi_{ji} — обучаемой одномерной функции активации, расположенной прямо на ребре, соединяющем узел i и узел j.

Идея KAN заключается в полной смене ролей узлов и рёбер в графе вычислений. В классическом MLP рёбра — это просто линейные множители (веса), а узлы — это активные нелинейные процессоры. В KAN всё ровно наоборот: рёбра становятся мощными нелинейными процессорами (функции параметризуются через B-сплайны), а узлы деградируют до примитивных маршрутизаторов, которые просто складывают пришедшие к ним числа.

Математический фундамент

Для понимания математической базы не обязательно глубоко погружаться в топологию. Достаточно понять основную идею теоремы о суперпозициях, доказанной в 1957 году А. Н. Колмогоровым и В. И. Арнольдом в ходе решения тринадцатой проблемы Гильберта.

Говоря простым языком, теорема утверждает удивительный факт: абсолютно любую, сколь угодно сложную многомерную функцию (зависящую от множества переменных) можно собрать, используя только функции от одной переменной и простое сложение. Представьте себе сложнейший многомерный ландшафт. Теорема говорит, что его можно точно сконструировать, накладывая друг на друга простые одномерные кривые.

Строго математически для функции f от n переменных (обозначим их x_1, \dots, x_n) это записывается так:

f(x_1, \dots, x_n) = \sum_{q=1}^{2n+1} \Phi_q \left( \sum_{p=1}^n \phi_{q,p}(x_p) \right)

В этой формуле:

  • x_p — это наши входные данные (отдельные переменные).
  • \phi_{q,p} — внутренние функции одной переменной (первый слой наших «кривых»).
  • \Phi_q — внешние функции одной переменной (второй слой «кривых», который обрабатывает сумму результатов первого слоя).
  • Символы суммирования (\sum) показывают, что слои просто складываются.

Авторы KAN взяли эту двухуровневую математическую конструкцию (где есть внутренние и внешние функции) и обобщили её. Если теорема 1957 года говорит о двух слоях суперпозиций, то архитектура KAN позволяет выстраивать глубокие нейросети из десятков таких слоев, надеясь, что сеть сама выучит нужные формы одномерных функций \phi в процессе тренировки.

Информационный пузырь 2024 года и почему всё сломалось

Весной 2024 года публикация группы исследователей (Ziming Liu и др.) о сетях KAN спровоцировала колоссальный хайп в индустрии машинного обучения. Блоги и научно-популярные издания пестрили заголовками о том, что KAN — это «убийца классических нейросетей».

Главной причиной ажиотажа стало обещание решить фундаментальную проблему «чёрного ящика». Поскольку в KAN на каждом ребре находится обучаемая функция от одной переменной, исследователь может просто построить график этой функции. Оказалось, что при обучении на физических данных сеть часто коллапсирует, обнуляя ненужные рёбра, а на оставшихся рёбрах формируются четкие графики известных математических функций: \sin(x), \exp(x) или x^2. Это породило надежду на прорыв в символьной регрессии и парадигме «AI for Science» (например, для решения дифференциальных уравнений и построения PINN).

Однако эйфория оказалась преждевременной. Попытки масштабного внедрения KAN вместо классических MLP столкнулись с двумя непреодолимыми барьерами: теоретическим и аппаратным.

Теоретический изъян: потеря математических гарантий

В маркетинговых материалах часто заявлялось, что превосходство KAN «доказано теоремой Колмогорова — Арнольда». Это лукавство.

В оригинальном доказательстве 1957 года внутренние функции \phi_{q,p} — это математические монстры. Они представляют собой фрактальные, везде недифференцируемые объекты. Их невозможно вычислить на компьютере и, тем более, невозможно обучать обратным распространением ошибки (Backpropagation), так как у них нет производной.

Чтобы заставить сеть работать на практике, авторы KAN были вынуждены заменить эти фракталы на гладкие функции — кусочные полиномы (B-сплайны). Но здесь вступает в силу теорема А. Г. Витушкина, которая строго доказывает: точное представление гладких функций многих переменных через суперпозицию гладких функций одной переменной в общем случае невозможно. Как только мы меняем невычислимые фракталы на вычислимые гладкие сплайны, KAN теряет все математические гарантии оригинальной теоремы. То, что осталось — это лишь эвристика, вдохновленная красивой теоремой, а не строгий математический триумф.

Практический изъян: аппаратная несовместимость

Даже если закрыть глаза на теорию, проект разбивается об архитектуру современного вычислительного железа.

Все современные графические процессоры (GPU) спроектированы ради одной сверхбыстрой операции: умножения плотных матриц. Классический MLP идеально ложится на эту архитектуру. Вычисление целого слоя в MLP сводится к одной массивной, аппаратно векторизованной матричной операции:

Y = X \cdot W

Здесь глубоко оптимизированные CUDA-ядра могут обрабатывать гигантские блоки данных за доли миллисекунды.

Архитектура KAN катастрофически несовместима с GPU. Вместо одного простого умножения матриц, сеть должна динамически вычислять значения сплайнов. Для каждого отдельного ребра \phi_{ji} требуется выполнить поиск интервала в локальной сетке (grid) и вычислить уникальную полиномиальную комбинацию. Это приводит к фатальным проблемам:

  • Невозможность использования тензорных ядер (операция больше не является перемножением матриц).
  • Катастрофическая фрагментация памяти, уничтожающая паттерны коалесцированного доступа к видеопамяти.
  • Многократно возросшее потребление памяти.

Несмотря на появление оптимизированных библиотек (таких как EfficientKAN), сети обучаются неприемлемо медленно — на порядки дольше, чем MLP аналогичного размера. KAN обречены оставаться узконишевым лабораторным инструментом для малых размерностей данных, будучи абсолютно непригодными для реальных промышленных задач.

См. также

Литература

  • Liu Z., Wang Y., Vaidya S. et al. KAN: Kolmogorov-Arnold Networks // [arXiv:2404.19756 Advances in Neural Information Processing Systems (NeurIPS)]. — 2024.
  • Hastie T., Tibshirani R. Generalized Additive Models // Statistical Science. — 1986. — Т. 1. — № 3. — С. 297-310.
  • Kolmogorov A. N. On the representation of continuous functions of many variables by superposition of continuous functions of one variable and addition // Doklady Akademii Nauk SSSR. — 1957. — Т. 114. — № 5. — С. 953–956.
Источник — «http://recognition.su/wiki/index.php?title=%D0%A1%D0%B5%D1%82%D1%8C_%D0%9A%D0%BE%D0%BB%D0%BC%D0%BE%D0%B3%D0%BE%D1%80%D0%BE%D0%B2%D0%B0_%E2%80%94_%D0%90%D1%80%D0%BD%D0%BE%D0%BB%D1%8C%D0%B4%D0%B0»
Личные инструменты