|
|
| (2 промежуточные версии не показаны) |
| Строка 1: |
Строка 1: |
| - | {{well|Статья написана с использованием LLM '''Gemini 1.5 Pro''' и проверена участником [[Участник:Said Mavletov|Said Mavletov]] 19:47, 12 июля 2026 (MSD)}}
| |
| | | | |
| - | '''Анализ ошибок''' (error analysis) в [[Машинное обучение|машинном обучении]] — это методология исследования некорректных предсказаний модели. Процесс включает в себя как количественную оценку сбоев с помощью специализированных метрик и графиков, так и качественный (ручной) аудит данных. Концептуально этот подход близок к анализу первопричин (Root Cause Analysis) в классической инженерии, однако адаптирован под специфику работы с обучающими выборками и алгоритмами.
| |
| - |
| |
| - | == Зачем нужен анализ ошибок: интуиция ==
| |
| - | В начале разработки инженеры часто опираются на одну скалярную метрику — например, долю правильных ответов (Accuracy). Если модель классификации изображений кошек и собак показывает точность 90%, это дает общее представление о качестве, но не указывает пути его улучшения.
| |
| - |
| |
| - | Оставшиеся 10% ошибок могут иметь совершенно разную природу. Возможно, модель стабильно путает хаски с волками из-за снега на заднем фоне. Возможно, она плохо работает при тусклом освещении. Или же часть исходных фотографий была неверно размечена людьми. Без детального анализа ошибок разработчик вынужден действовать вслепую — например, бесконечно увеличивать сложность [[Нейросеть|нейросети]], хотя проблема кроется в самих данных.
| |
| - |
| |
| - | == Количественные инструменты анализа ==
| |
| - | В зависимости от типа задачи (классификация или регрессия) используются разные математические и визуальные инструменты диагностики.
| |
| - |
| |
| - | === Задачи классификации ===
| |
| - | Основным инструментом здесь выступает '''[[Матрица ошибок]]''' (Confusion Matrix). Для бинарной классификации это таблица 2×2, которая разделяет предсказания на четыре категории: истинно положительные (TP), истинно отрицательные (TN), ложноположительные (FP) и ложноотрицательные (FN).
| |
| - |
| |
| - | Матрица позволяет перейти от общей точности к пониманию баланса [[Ошибки первого и второго рода|ошибок I и II рода]]. На ее основе строятся более детальные инструменты:
| |
| - | * '''Совместный анализ точности (Precision) и полноты (Recall)''' позволяет понять, склонна ли модель к ложным срабатываниям (низкий precision) или она пропускает целевые объекты (низкий recall).
| |
| - | * '''ROC-кривая:''' Визуализирует компромисс между долей истинно положительных (TPR) и ложноположительных (FPR) классификаций при различных порогах принятия решения. Анализ формы кривой показывает, можно ли улучшить результат простым сдвигом порога, не переобучая алгоритм.
| |
| - |
| |
| - | === Задачи регрессии ===
| |
| - | В [[Регрессия (математика)|регрессии]] анализируются '''остатки''' (residuals) — разности между истинными значениями и предсказаниями модели: <math>e_i = y_i - \hat{y}_i</math>.
| |
| - | * '''Анализ распределения остатков:''' При оценке классических линейных моделей часто исследуют распределение остатков. Смещение их среднего значения от нуля указывает на систематическую ошибку (bias) алгоритма.
| |
| - | * '''Графики зависимости остатков от признаков:''' Если величина ошибки предсказания растет вместе со значением какого-либо признака (гетероскедастичность), это сигнал о том, что модель не улавливает важную нелинейную закономерность в данных.
| |
| - |
| |
| - | == Качественный аудит и Data-Centric подход ==
| |
| - | Помимо метрик, глубокий анализ требует изучения самих данных. В рамках дата-центричного подхода (Data-Centric AI) фокус смещается с архитектуры алгоритма на чистоту обучающей выборки.
| |
| - |
| |
| - | === Анализ срезов (Data Slicing) ===
| |
| - | Модель может показывать превосходное качество в среднем, но катастрофически ошибаться на узком подмножестве (срезе) данных. Например, система распознавания речи может отлично работать в целом, но давать 50% ошибок на аудиозаписях с сильным фоновым шумом. Выделение таких проблемных срезов позволяет целенаправленно дособрать данные именно для этой категории.
| |
| - |
| |
| - | === Калибровка уверенности (Calibration) ===
| |
| - | Важным этапом является анализ того, насколько модель "уверена" в своих ошибках. Если алгоритм выдает неверный класс, но с вероятностью 0.51, это приемлемо — модель "сомневается". Гораздо опаснее ситуации, когда модель ошибается, выдавая вероятность 0.99. Такие сверх-уверенные ошибки часто указывают на выбросы (outliers) в данных, конфликтующую разметку или использование признаков-утечек (data leakage).
| |
| - |
| |
| - | == Литература ==
| |
| - | * {{книга | автор = Hastie T., Tibshirani R., Friedman J. | заглавие = The Elements of Statistical Learning: Data Mining, Inference, and Prediction | издательство = Springer | год = 2009 | страницы = 219-225 }}
| |
| - | * {{книга | автор = Bishop C. M. | заглавие = Pattern Recognition and Machine Learning | издательство = Springer | год = 2006 | страницы = 196-199 }}
| |
| - | * {{книга | автор = Хэсти Т., Тибширани Р., Фридман Дж. | заглавие = Основы статистического обучения | издательство = Диалектика | год = 2020 }}
| |
| - | * {{статья | автор = Zhaoping L. [и др.] | заглавие = Data-centric Artificial Intelligence: A Survey | журнал = arXiv preprint arXiv:2303.10158 | год = 2023 }}
| |
| - |
| |
| - | [[Категория:Машинное обучение]]
| |
| - | [[Категория:Оценка моделей машинного обучения]]
| |
| - | [[Категория:Анализ данных]]
| |
