Обсуждение:Анализ ошибок (машинное обеспечение)

Материал из MachineLearning.

Версия 15:52, 12 июля 2026 (править) Said Mavletov (Обсуждение | вклад) (Новая: '''История создания статьи (итеративный промптинг):''' '''Промпт 1:''' «Ты профессор и специалист по машин...) ← К предыдущему изменению		Текущая версия (17:24, 13 июля 2026) (править) (отменить) Said Mavletov (Обсуждение | вклад)
(2 промежуточные версии не показаны)
Строка 1:		Строка 1:
-	'''История создания статьи (итеративный промптинг):'''	+	== Первый промпт ==
-	'''Промпт 1:'''	+	Роль: Ты ведущий специалист в области Data Science, профессор технического университета и автор академических курсов по машинному обучению.
		+	Задача: Написать глубокую, структурированную вики-статью "Анализ ошибок в машинном обучении".
-	«Ты профессор и специалист по машинному обучению. Напиши статью "Анализ ошибок (машинное обучение)" для энциклопедии MachineLearning.ru.	+	Педагогические принципы и структура изложения:
		+	1. Статья ориентирована как на студентов, так и на практикующих инженеров. Начни статью прямо с фразы "Анализ ошибок в машинном обучении — это..." для корректного вики-оформления. Избегай избыточно публицистических фраз в преамбуле, придерживайся строгого нейтрального тона.
		+	2. Опиши концепцию Data-Centric AI, популяризированную Эндрю Ыном, указав, как анализ ошибок смещает фокус на данные.
		+	3. Добавь классический раздел "Типичные причины ошибок" (шум, ошибки разметки, переобучение), а определение Data Drift сформулируй строго как изменение распределения входных данных по сравнению с распределением, использовавшимся при обучении.
		+	4. Подробно распиши методологию ручного аудита: сэмплирование, категоризацию и потолочный анализ (Ceiling analysis). Обязательно укажи, что расчет потенциального выигрыша точности верен только для идеализированного случая (теоретического максимума).
		+	5. Математический блок: введи формулу для расчета доверительного интервала биномиальной пропорции доли ошибок (интервал Вальда), сделав важное примечание, что во многих практических руководствах для небольших выборок часто рекомендуется интервал Уилсона. Добавь формулу и детальное объяснение метрики Expected Calibration Error (ECE), где после формулы строго расшифруй все обозначения переменных.
		+	6. Современные подходы: распиши методологию поведенческого тестирования CheckList (тесты MFT, INV, DIR). Объясни концепцию Slice-Based Evaluation.
		+	7. Интеграция в конвейер (Human-in-the-Loop): покажи на примере предварительной разметки моделью (Pre-labeling) большинства объектов в потоке данных и последующей ручной коррекции асессорами.
		+	8. Раздел "Инструменты" сделай лаконичным и сугубо энциклопедическим. Сгруппируй TensorBoard, Weights & Biases, Arize AI, Fiddler AI, WhyLabs, MLflow и ClearML как системы визуализации, платформы мониторинга и среды управления экспериментами.
		+	9. Этика и индустрия: разбери классический кейс Gender Shades Тимнит Гебру и Джой Буоламвини.
		+	10. Будущее: опиши использование больших языковых моделей для автоматизации анализа ошибок (подход LLM-as-a-Debugger), используя мягкие формулировки ("активно исследуется").
-	Она должна быть понятна новичку, но полезна профессионалу.	+	Оформление и ограничения:
		+	- Стиль строго энциклопедический.
		+	- ВАЖНО: Абсолютно все математические формулы, а также любые одиночные внутристрочные переменные оборачивай строго в теги. Использовать знаки доллара ($) для математики категорически запрещено!
		+	- Заменяй англицизмы принятыми русскими терминами (избыточная уверенность, промышленная эксплуатация).
		+	- Книгу Эндрю Ына "Machine Learning Yearning" помести в список литературы через шаблон {{книга}}, указав в примечании "Электронное издание / незавершённая рукопись".
-	Начни с широкого определения. Объясни, почему просто смотреть на Accuracy недостаточно (приведи пример с кошками/собаками).	+	== Второй промпт ==
-	Затем перейди к инструментам: опиши матрицу ошибок (confusion matrix), разницу между ошибками I и II рода, и как анализируют ошибки в задачах регрессии (анализ остатков).	+	Проведи ревизию сгенерированного текста и выполни финальную полировку:
-		+	1. Ещё раз проверь весь текст на наличие знаков доллара ($). Если они где-то остались для внутристрочных переменных, обязательно замени их на оборачивание в теги.
-	Пиши строгим академическим языком, без водянистых вступлений и LLM-штампов вроде "целью является выявление скрытых закономерностей".»	+	2. Убедись, что все математические переменные в формуле ECE снабжены текстовой расшифровкой сразу под выражением.
-		+	3. Проверь валидность всех тегов <tex> и отсутствие синтаксических ошибок в вики-шаблонах.
-	'''Промпт 2:'''	+
-		+
-	«Текст хороший, но не хватает современных подходов к качественному анализу.	+
-		+
-	Добавь раздел про ручной аудит и дата-центричный подход. Кратко объясни концепции Data Slicing (анализ срезов данных) и категоризации ошибок.	+
-		+
-	Упомяни калибровку уверенности модели (calibration) — когда модель ошибается, но при этом "уверена" в своем ответе.»	+
-		+
-	'''Промпт 3:'''	+
-		+
-	«Теперь оформи всё в строгую вики-разметку.	+
-		+
-	Сделай внутренние ссылки на термины: [[Машинное обучение]], [[Классификация]], [[Регрессия (математика)]], [[Матрица ошибок]], [[Ошибки первого и второго рода]]. Англоязычные термины оставь в скобках без ссылок.	+
-		+
-	Скорректируй описание ROC-кривой: она визуализирует компромисс TPR и FPR, а не сами ошибки. Совместный анализ Precision и Recall опиши корректно. Описание остатков сделай научно точным: нормальность остатков важна в первую очередь при анализе классических линейных моделей.	+
-		+
-	Добавь список литературы (через *). Для книг Хэсти и Бишопа используй шаблон {{книга}}, для современных обзоров по Data-Centric AI (например, с arXiv) — шаблон {{статья}}.	+
-		+
-	Добавь категории в конце.»	+

---

Текущая версия

Первый промпт

Роль: Ты ведущий специалист в области Data Science, профессор технического университета и автор академических курсов по машинному обучению. Задача: Написать глубокую, структурированную вики-статью "Анализ ошибок в машинном обучении".

Педагогические принципы и структура изложения: 1. Статья ориентирована как на студентов, так и на практикующих инженеров. Начни статью прямо с фразы "Анализ ошибок в машинном обучении — это..." для корректного вики-оформления. Избегай избыточно публицистических фраз в преамбуле, придерживайся строгого нейтрального тона. 2. Опиши концепцию Data-Centric AI, популяризированную Эндрю Ыном, указав, как анализ ошибок смещает фокус на данные. 3. Добавь классический раздел "Типичные причины ошибок" (шум, ошибки разметки, переобучение), а определение Data Drift сформулируй строго как изменение распределения входных данных по сравнению с распределением, использовавшимся при обучении. 4. Подробно распиши методологию ручного аудита: сэмплирование, категоризацию и потолочный анализ (Ceiling analysis). Обязательно укажи, что расчет потенциального выигрыша точности верен только для идеализированного случая (теоретического максимума). 5. Математический блок: введи формулу для расчета доверительного интервала биномиальной пропорции доли ошибок (интервал Вальда), сделав важное примечание, что во многих практических руководствах для небольших выборок часто рекомендуется интервал Уилсона. Добавь формулу и детальное объяснение метрики Expected Calibration Error (ECE), где после формулы строго расшифруй все обозначения переменных. 6. Современные подходы: распиши методологию поведенческого тестирования CheckList (тесты MFT, INV, DIR). Объясни концепцию Slice-Based Evaluation. 7. Интеграция в конвейер (Human-in-the-Loop): покажи на примере предварительной разметки моделью (Pre-labeling) большинства объектов в потоке данных и последующей ручной коррекции асессорами. 8. Раздел "Инструменты" сделай лаконичным и сугубо энциклопедическим. Сгруппируй TensorBoard, Weights & Biases, Arize AI, Fiddler AI, WhyLabs, MLflow и ClearML как системы визуализации, платформы мониторинга и среды управления экспериментами. 9. Этика и индустрия: разбери классический кейс Gender Shades Тимнит Гебру и Джой Буоламвини. 10. Будущее: опиши использование больших языковых моделей для автоматизации анализа ошибок (подход LLM-as-a-Debugger), используя мягкие формулировки ("активно исследуется").

Оформление и ограничения: - Стиль строго энциклопедический. - ВАЖНО: Абсолютно все математические формулы, а также любые одиночные внутристрочные переменные оборачивай строго в теги. Использовать знаки доллара ($) для математики категорически запрещено! - Заменяй англицизмы принятыми русскими терминами (избыточная уверенность, промышленная эксплуатация). - Книгу Эндрю Ына "Machine Learning Yearning" помести в список литературы через шаблон {{{заглавие}}}., указав в примечании "Электронное издание / незавершённая рукопись".

Второй промпт

Проведи ревизию сгенерированного текста и выполни финальную полировку: 1. Ещё раз проверь весь текст на наличие знаков доллара ($). Если они где-то остались для внутристрочных переменных, обязательно замени их на оборачивание в теги. 2. Убедись, что все математические переменные в формуле ECE снабжены текстовой расшифровкой сразу под выражением. 3. Проверь валидность всех тегов