Применение Гауссовского процесса в задаче бинарной классификации

Материал из MachineLearning.

---

Версия 22:58, 13 июля 2026

Статья написана с использованием LLM Gemini Pro 3.1 и проверена участником Nikita Zinoviсh 20:38, 12 июля 2026 (MSD)

Содержание 1 Постановка задачи бинарной классификации в вероятностной формулировке 2 Переход к случайным процессам 2.1 Математическое обоснование выбора Гауссовского процесса 3 Байесовский формализм: совместное и априорное распределения 4 Проблема аналитического вывода 5 Аппроксимация Лапласа 5.1 Поиск моды распределения 5.2 Оценка матрицы ковариации 6 Финальный расчет прогноза 7 Теоретический анализ 8 См. также 9 Литература

Постановка задачи бинарной классификации в вероятностной формулировке

Пусть задана обучающая выборка , где — векторы признаков, а целевые переменные принимают значения . В вероятностной постановке задачи бинарной классификации требуется вычислить условную вероятность принадлежности нового объекта к классу , то есть распределение .

Поскольку значения вероятности строго ограничены интервалом , непосредственное моделирование данной величины сопряжено с математическими трудностями. Для решения этой проблемы вводится непрерывная вспомогательная функция , отображающая пространство признаков на всю числовую прямую. Связь между значениями данной функции и вероятностью задается через нелинейное преобразование, в качестве которого стандартно выступает логистическая сигмоида:

При фиксированном значении функции распределение целевой переменной описывается распределением Бернулли:

Переход к случайным процессам

Для вероятностного моделирования функции применяется математический аппарат Гауссовских процессов. Гауссовский процесс представляет собой обобщение многомерного нормального распределения на бесконечномерное пространство функций.

Строгое определение гласит, что случайный процесс является Гауссовским, если для любого конечного подмножества точек вектор значений имеет совместное многомерное нормальное распределение:

Здесь — матрица ковариации, элементы которой вычисляются с помощью симметричной положительно определенной ядровой функции . Ядровая функция определяет структурные свойства моделируемых функций, такие как гладкость и периодичность.

Математическое обоснование выбора Гауссовского процесса

Использование Гауссовского процесса в качестве априорного распределения на пространстве непрерывных функций математически строго обосновано двумя фундаментальными факторами.

Во-первых, согласно теореме Колмогорова о согласованности, Гауссовский процесс полностью и непротиворечиво определяет меру на бесконечномерном пространстве функций через свои конечномерные распределения. При этом, в силу свойств многомерного нормального распределения, маргинализация по любому подмножеству переменных происходит аналитически. Это означает, что для вычисления совместного распределения в точках нет необходимости интегрировать по бесконечному числу остальных точек пространства:

Во-вторых, модель Гауссовского процесса эквивалентна байесовской линейной модели с бесконечным числом базисных функций. Рассмотрим представление:

где — вектор нелинейных базисных функций, переводящий вектор признаков в бесконечномерное пространство, а веса распределены априори как . Математическое ожидание и ковариация такой функции равны:

Согласно теореме Мерсера, любое непрерывное симметричное положительно определенное ядро может быть разложено по базису собственных функций, что гарантирует существование соответствующего бесконечномерного отображения . Таким образом, задание Гауссовского процесса через ядро эквивалентно неявному линейному моделированию в бесконечномерном пространстве признаков без необходимости явного вычисления бесконечных векторов (ядерный трюк).

Байесовский формализм: совместное и априорное распределения

Для осуществления прогноза в новой точке рассматривается расширенный вектор вспомогательных переменных . Согласно определению Гауссовского процесса, априорное распределение данного вектора задается выражением:

Для обеспечения строгой положительной определенности матрицы и повышения численной устойчивости алгоритма, к диагональным элементам матрицы добавляется стабилизирующий параметр посредством символа Кронекера :

Матрица ковариации допускает следующее блочное представление:

где — ковариационная матрица объектов обучающей выборки, — вектор ковариаций между обучающими объектами и тестовой точкой, а .

Проблема аналитического вывода

В рамках байесовского подхода, маргинальное распределение прогноза для нового объекта формализуется интегралом:

В свою очередь, плотность требует интегрирования по вектору :

Апостериорное распределение вычисляется по теореме Байеса:

На данном этапе возникает фундаментальное ограничение: произведение распределений Бернулли (содержащих нелинейную сигмоиду) и Гауссовского априорного распределения не приводит к сопряженному распределению. Интеграл в знаменателе не выражается в элементарных функциях, а апостериорное распределение теряет свойство нормальности.

Аппроксимация Лапласа

Для преодоления аналитической неразрешимости применяется аппроксимация Лапласа. Суть метода заключается в замене точного не-Гауссовского апостериорного распределения многомерным нормальным распределением , локализованным в точке максимума исходной плотности.

Поиск моды распределения

Целевая функция для максимизации (логарифм ненормированной апостериорной плотности) имеет вид:

Ввиду строгой вогнутости функции , её единственный глобальный максимум эффективно находится численными методами, например, методом Ньютона-Рафсона.

Оценка матрицы ковариации

Матрица ковариации аппроксимирующего распределения определяется как обратная матрица Гессе, вычисленная в точке :

где — диагональная матрица, элементы которой соответствуют дисперсиям распределения Бернулли: .

Таким образом, итоговое аппроксимирующее распределение записывается как:

Финальный расчет прогноза

Подстановка в интеграл для тестовой точки восстанавливает сопряженность Гауссовских распределений, позволяя выполнить аналитическое интегрирование:

Параметры данного одномерного нормального распределения вычисляются по формулам:

Итоговая вероятность принадлежности к классу вычисляется путем интегрирования логистической функции по полученному гауссовскому распределению:

Поскольку данный одномерный интеграл не имеет точного аналитического решения, на практике применяется либо одномерное численное интегрирование, либо пробит-аппроксимация сигмоидальной функции.

Теоретический анализ

Применение Гауссовских процессов в классификации позволяет получить корректную оценку дисперсии прогноза (неуверенности модели). В областях пространства признаков, удаленных от обучающей выборки, вектор ковариаций , что приводит к росту дисперсии . Распределение становится более плоским, и итоговая вероятность стремится к , что отражает максимальную неопределенность классификатора.

Основным вычислительным ограничением метода является необходимость обращения матрицы размерности , что обуславливает асимптотическую сложность алгоритма и ограничивает применимость классического подхода на сверхбольших наборах данных.

См. также

• Метод опорных векторов
• Байесовский классификатор
• Логистическая регрессия
• Ядерное сглаживание

Литература

• Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006. — 738 p.
• Rasmussen C. E., Williams C. K. I. Gaussian Processes for Machine Learning. — MIT Press, 2006. — 248 p.
• Мерфи К. П. Машинное обучение: вероятностная перспектива. — М.: ДМК Пресс, 2014. — 976 с.