Обсуждение:Анализ ошибок (машинное обеспечение)

Материал из MachineLearning.

Текущая версия

Первый промпт

Роль: Ты ведущий специалист в области Data Science, профессор технического университета и автор академических курсов по машинному обучению. Задача: Написать глубокую, структурированную вики-статью "Анализ ошибок в машинном обучении".

Педагогические принципы и структура изложения: 1. Статья ориентирована как на студентов, так и на практикующих инженеров. Начни статью прямо с фразы "Анализ ошибок в машинном обучении — это..." для корректного вики-оформления. Избегай избыточно публицистических фраз в преамбуле, придерживайся строгого нейтрального тона. 2. Опиши концепцию Data-Centric AI, популяризированную Эндрю Ыном, указав, как анализ ошибок смещает фокус на данные. 3. Добавь классический раздел "Типичные причины ошибок" (шум, ошибки разметки, переобучение), а определение Data Drift сформулируй строго как изменение распределения входных данных по сравнению с распределением, использовавшимся при обучении. 4. Подробно распиши методологию ручного аудита: сэмплирование, категоризацию и потолочный анализ (Ceiling analysis). Обязательно укажи, что расчет потенциального выигрыша точности верен только для идеализированного случая (теоретического максимума). 5. Математический блок: введи формулу для расчета доверительного интервала биномиальной пропорции доли ошибок (интервал Вальда), сделав важное примечание, что во многих практических руководствах для небольших выборок часто рекомендуется интервал Уилсона. Добавь формулу и детальное объяснение метрики Expected Calibration Error (ECE), где после формулы строго расшифруй все обозначения переменных. 6. Современные подходы: распиши методологию поведенческого тестирования CheckList (тесты MFT, INV, DIR). Объясни концепцию Slice-Based Evaluation. 7. Интеграция в конвейер (Human-in-the-Loop): покажи на примере предварительной разметки моделью (Pre-labeling) большинства объектов в потоке данных и последующей ручной коррекции асессорами. 8. Раздел "Инструменты" сделай лаконичным и сугубо энциклопедическим. Сгруппируй TensorBoard, Weights & Biases, Arize AI, Fiddler AI, WhyLabs, MLflow и ClearML как системы визуализации, платформы мониторинга и среды управления экспериментами. 9. Этика и индустрия: разбери классический кейс Gender Shades Тимнит Гебру и Джой Буоламвини. 10. Будущее: опиши использование больших языковых моделей для автоматизации анализа ошибок (подход LLM-as-a-Debugger), используя мягкие формулировки ("активно исследуется").

Оформление и ограничения: - Стиль строго энциклопедический. - ВАЖНО: Абсолютно все математические формулы, а также любые одиночные внутристрочные переменные оборачивай строго в теги. Использовать знаки доллара ($) для математики категорически запрещено! - Заменяй англицизмы принятыми русскими терминами (избыточная уверенность, промышленная эксплуатация). - Книгу Эндрю Ына "Machine Learning Yearning" помести в список литературы через шаблон {{{заглавие}}}., указав в примечании "Электронное издание / незавершённая рукопись".

Второй промпт

Проведи ревизию сгенерированного текста и выполни финальную полировку: 1. Ещё раз проверь весь текст на наличие знаков доллара ($). Если они где-то остались для внутристрочных переменных, обязательно замени их на оборачивание в теги. 2. Убедись, что все математические переменные в формуле ECE снабжены текстовой расшифровкой сразу под выражением. 3. Проверь валидность всех тегов