Вектор Шепли

Материал из MachineLearning.

Версия от 11:08, 15 июля 2026; Oleg Aleksandrov (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM DeepSeek-V4и проверена участником Oleg Aleksandrov 15:08, 15 июля 2026 (MSD)


Содержание

Вектор Шепли

Вектор Шепли (Шаблон:Lang-en) — метод распределения общего выигрыша между игроками в кооперативной теории игр пропорционально их индивидуальному вкладу. Концепция предложена Ллойдом Шепли в 1953 году. В машинном обучении (Шаблон:Lang-en) этот математический аппарат применяется в рамках интерпретируемого искусственного интеллекта (Шаблон:Lang-en) для оценки влияния отдельных признаков (Шаблон:Lang-en) на результат работы предиктивной модели.

В задачах блэкбокс-интерпретации вектор Шепли определяет локальную важность признаков для конкретного наблюдения выборки.

Интуиция метода

В классической постановке теории игр рассматривается коалиция участников, которые совместно генерируют определенную ценность (выигрыш). Задача состоит в справедливом разделении этого выигрыша. Метод Шепли предписывает выделять каждому участнику его средний маргинальный (предельный) вклад по всем возможным сценариям формирования коалиции. Рассматриваются все перестановки игроков, фиксируется прирост общей ценности при присоединении конкретного игрока к уже собранной группе, после чего эти приросты усредняются.

При переносе концепции в плоскость машинного обучения роли распределяются следующим образом:

  • Игроки — это признаки исследуемого объекта данных.
  • Коалиция — подмножество доступных признаков.
  • Выигрыш коалиции — разница между предсказанием модели на данном подмножестве признаков и базовым (ожидаемым) предсказанием по всей генеральной совокупности.

Математическая формулировка

Пусть кооперативная игра с трансферабельной полезностью задана парой (N, v), где:

  • N = \{1, 2, \dots, n\} — конечное множество из n игроков (признаков).
  • v: 2^N \to \mathbb{R} — характеристическая функция, сопоставляющая каждому подмножеству (коалиции) S \subseteq N вещественное число v(S), отражающее ценность этой коалиции. По определению v(\emptyset) = 0.

Компонента вектора Шепли для i-го игрока выражается формулой:

\phi_i(v) = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|! (n - |S| - 1)!}{n!} (v(S \cup \{i\}) - v(S))

Здесь:

  • S — подмножество игроков, не содержащее игрока i.
  • |S| — мощность (количество элементов) подмножества S.
  • v(S \cup \{i\}) - v(S) — маргинальный вклад игрока i при его включении в коалицию S.

Весовой коэффициент перед разностью представляет собой вероятность того, что в случайной перестановке множества N перед игроком i окажется ровно подмножество S.

Аксиоматическое обоснование

Вектор Шепли — единственное правило распределения ценности, одновременно удовлетворяющее четырем фундаментальным критериям:

  1. Эффективность (Efficiency): Сумма вкладов всех элементов полностью покрывает разность между выигрышем полной коалиции и пустой: \sum_{i=1}^n \phi_i(v) = v(N) - v(\emptyset). В контексте XAI это гарантирует, что отклонение локального прогноза от среднего математического ожидания декомпозируется без остатка.
  2. Симметричность (Symmetry): Если два признака i и j привносят одинаковую ценность в любое подмножество (v(S \cup \{i\}) = v(S \cup \{j\}) для всех S \subseteq N \setminus \{i, j\}), их расчетные вклады равны: \phi_i(v) = \phi_j(v).
  3. Болван (Dummy): Если признак i не изменяет ценность ни одной коалиции (v(S \cup \{i\}) = v(S) для всех S), его вклад равен нулю: \phi_i(v) = 0.
  4. Аддитивность (Additivity): Для двух независимых игр с функциями v и w выполняется \phi_i(v + w) = \phi_i(v) + \phi_i(w). Это свойство позволяет линейно агрегировать вклады признаков в ансамблях моделей.

Фреймворк SHAP

Прямой перенос теории игр в машинное обучение ограничен тем, что предиктивные алгоритмы требуют на вход фиксированный вектор признаков и не могут вычислить значение функции на произвольном подмножестве S. Данную проблему решает метод SHAP (Шаблон:Lang-en), предложенный Скоттом Лундбергом и Су-Ин Ли в 2017 году.

Аппроксимация отсутствующих признаков

В SHAP функция ценности коалиции v(S) задается как условное математическое ожидание прогноза модели f(X) при фиксированных значениях подмножества признаков X_S = x_S:

v(S) = \mathbb{E}[f(X) \mid X_S = x_S]

Поскольку точное вычисление этого ожидания требует знания многомерной плотности распределения, на практике часто используют маргинальное распределение. Признаки вне коалиции N \setminus S$ интегрируются по их фоновым значениям из обучающей выборки, что эквивалентно допущению об их независимости от признаков из множества S.

Аддитивная суррогатная модель

SHAP строит локальное объяснение в виде линейной функции от бинарных переменных:

g(z') = \phi_0 + \sum_{i=1}^M \phi_i z'_i

Где z' \in \{0, 1\}^M — вектор коалиции (1 — признак активен, 0 — признак замещен фоновым значением), M — полное число признаков, \phi_0 = \mathbb{E}[f(X)] — базовое ожидаемое предсказание, а коэффициенты \phi_i соответствуют вектору Шепли.

Методы вычисления

Вычисление точного вектора Шепли требует 2^n проходов модели, что вычислительно невозможно для размерностей n > 15. В инженерной практике применяются специализированные алгоритмы аппроксимации:

  • KernelSHAP: Модельно-агностический (Шаблон:Lang-en) метод. Аппроксимирует значения Шепли с помощью локальной взвешенной линейной регрессии. В качестве функции потерь используется специальное ядро (Шаблон:Lang-en), минимизация которого теоретически сводит веса линейной модели к значениям Шепли.
  • TreeSHAP: Оптимизированный алгоритм для древесных моделей, таких как деревья решений, случайные леса и градиентный бустинг (XGBoost, LightGBM, CatBoost). TreeSHAP оптимизирует вычисление условных математических ожиданий, прослеживая пути в структуре деревьев, что снижает временную сложность с экспоненциальной до полиномиальной O(TLD^2), где T — число деревьев, L — максимальное число листьев, а D — глубина.
  • DeepSHAP: Метод для нейронных сетей, комбинирующий алгоритм DeepLIFT и теоретические свойства вектора Шепли для эффективного аналитического приближения вкладов через модифицированный бэкпропагейшн.

Ограничения и критика

Несмотря на солидный математический фундамент, метод имеет ряд уязвимостей при практическом внедрении:

  • Мультиколлинеарность: Шаблонное предположение о независимости признаков при вычислении маргинальных распределений приводит к генерации нереалистичных синтетических объектов (находящихся вне распределения, Шаблон:Lang-en). Модель штрафуется или поощряется на неестественных комбинациях данных, искажая реальный вклад коррелирующих переменных.
  • Вычислительные затраты: Применение KernelSHAP на больших тестовых выборках с сотнями признаков требует аппроксимаций высокой степени разреженности, что ведет к росту дисперсии оценок.
  • Проблема робастности: Метод восприимчив к состязательным атакам (Шаблон:Lang-en). Возможно построить "суррогатную" модель-оболочку, которая демонстрирует нейтральные значения SHAP для дискриминирующих признаков, скрывая истинную логику базового алгоритма.

Литература

  • Shapley L. S. A Value for n-Person Games. — 1953. — Т. 2. — С. 307—317.
  • Lundberg S. M., Lee S.-I. A Unified Approach to Interpreting Model Predictions. — 2017. — Т. 30. — С. 4765—4774.
  • Lundberg S. M., Erion G., Chen H. et al. From local explanations to global understanding with explainable AI for trees. — 2020. — Т. 2. — № 1. — С. 56—67.
  • Štrumbelj E., Kononenko I. Explaining prediction models and individual predictions with feature contributions. — 2014. — Т. 41. — № 3. — С. 647—665.
  • The Shapley Value: Essays in Honor of Lloyd S. Shapley. — Cambridge University Press, 1988.
  • Sundararajan M., Najmi A. The many Shapley values for model explanation. — 2020. — С. 9269—9278.
Источник — «http://recognition.su/wiki/index.php?title=%D0%92%D0%B5%D0%BA%D1%82%D0%BE%D1%80_%D0%A8%D0%B5%D0%BF%D0%BB%D0%B8»
Личные инструменты