Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{TOCright}} Курс знакомит студентов с основными задачами и методами [[Прикладная статистика|прикладной статистики]]. '''Цели курса''' — связать теорию и практику, научить студентов «видеть» статистические задачи в различных предметных областях и правильно применять методы прикладной статистики, показать на практических примерах возможности и ограничения статистических методов. Курс имеет скорее методологическую, чем математическую направленность и не содержит доказательств теорем. Каждый метод описывается по единой схеме: * постановка задачи; * примеры прикладных задач из области экономики, социологии, производства, медицины; * базовые предположения и границы применимости; * описание метода (для методов проверки статистических гипотез: нулевая гипотеза и альтернативы, статистика, её функция распределения с эскизом графика, критическая область); * достоинства, недостатки, ограничения, «подводные камни»; * сравнение с другими методами. Курс читается студентам 5&nbsp;курса кафедры [[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования ВМиК МГУ]], начиная с 2007 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики, знакомы с элементами дискриминантного, факторного и кластерного анализа (по кафедральному курсу [[Машинное обучение (курс лекций, К.В.Воронцов)|«Математические методы распознавания образов»]]), регрессионного анализа и анализа временных рядов (по кафедральному курсу ММП). == Программа курса == === Введение === Обзор необходимых сведений из теории вероятностей и математической статистики. * Понятия [[Простая выборка|простой выборки]] и [[статистика (функция выборки)|статистики]]. Примеры статистик: [[момент]]ы, [[асимметрия]] и [[эксцесс]], [[вариационный ряд]] и [[порядковые статистики]], [[эмпирическое распределение]]. * Свойства критериев: [[несмещённость]], [[состоятельность]], [[мощность критерия|равномерная мощность]]. * Статистические [[точечная оценка|точечные оценки]] и их свойства: [[несмещённость]], [[состоятельность]], [[оптимальность]], [[робастность]]. * [[Интервальная оценка|Интервальные оценки]], понятия [[Доверительный интервал|доверительного интервала]] и [[Коэффициент доверия|коэффициента доверия]]. <!---Доверительное оценивание по вариационному ряду. Доверительные интервалы для среднего и медианы [Лапач, 104].---> * Часто используемые распределения: нормальное, Фишера, Стьюдента, хи-квадрат, Бернулли, биномиальное, гипергеометрическое. * [[Проверка статистических гипотез]], основные понятия: [[уровень значимости]], [[пи-величина]] (p-value), критическая область, критическая функция, ошибки I и II рода. Односторонние и двусторонние критические области. [[Media:S1.pdf‎‎|Материалы занятия]] === Параметрическая проверка гипотез === * [[Нормальные параметрические критерии]] для проверки гипотез: [[гипотезы о положении]], [[гипотезы о рассеивании]] [Лапач, §3.2]. Примеры прикладных задач из областей медицины, агрономии, маркетинга. * Систематизация критериев. * Гипотеза о равенстве средних: [[критерий Стьюдента]] для одной и двух выборок, связанные выборки, [[гипотеза сдвига]], [[метод множественных сравнений Шеффе]], [[метод LSD]]. Пример: задача формирования ценовых коридоров. * Гипотеза о равенстве дисперсий: [[критерий Фишера]], [[критерий Кокрена]], [[критерий Бартлета]]. * Критерии нормальности: [[Критерий Шапиро-Уилка]], [[критерий Колмогорова-Смирнова]], [[критерий омега-квадрат]] фон Мизеса, [[критерий хи-квадрат]] (Пирсона). Исторический пример: проверка закона Менделя А.Н.Колмогоровым [Тюрин, 306]. Упрощённые проверки нормальности по асимметрии и эксцессу. Эмпирические подтверждения ненормальности реальных измерений [Орлов, стр. 71–77]. * Гипотезы о значениях параметра биномиального распределения: сравнение значения параметра с заданным, сравнение двух значений параметра. [[Media:Sem2.pdf‎‎|Материалы семинара по теме]] === Непараметрическая проверка гипотез === * Непараметрические ранговые критерии для проверки гипотез: [[Критерий Уилкоксона-Манна-Уитни]], [[гипотезы о положении]], [[гипотезы о рассеивании]] [Лапач, §3.3]. * Элементы [[теория измерений|теории измерений]]: номинальные, порядковые и количественные переменные; инварианты. Разновидности [[Обобщённое среднее|средних]]: по Коши, по Колмогорову, мода, медиана. Среднее в порядковой шкале [Орлов, гл. 3]. Пример: маркетинговое исследование привлекательности продуктов (образовательных услуг); важность постановки вопросов при формировании анкет [Орлов, 229]. * [[Вариационный ряд]], ранги и связки. * [[Ранговые критерии]]: [[критерий Уилкоксона-Манна-Уитни]], [[критерий знаков]], [[критерий Уилкоксона двухвыборочный]], [[критерий Уилкоксона для связных выборок]], [[критерий Краскела-Уоллиса]], [[критерий Зигеля-Тьюки]], [[медианный критерий]]: одновыборочный и двухвыборочный. * Доверительные интервалы для медианы (Уилкоксона-Мозеса) и сдвига (Уилкоксона-Тьюки). * Множественные сравнения на основе рангов Фридмана. [[Media:Sem3.pdf‎‎|Материалы семинара по теме]] === Анализ таблиц сопряженности (кросстабуляции) === [Лапач, 204, 316, Лагутин, Т2:174]. * [[Критерий хи-квадрат|Критерий согласия Пирсона]]: простая гипотеза, сложная гипотеза. * [[Таблица сопряженности]]: K×L и 2×2. * [[Парадокс хи-квадрат]] [Лагутин, Т2:84]. * [[Точный тест Фишера]]. * Понятие [[закономерность|закономерности]] в алгоритмах классификации, статистические и логические закономерности. Примеры: посещаемость сайтов пользователями Интернет, анализ результатов голосования, маркетинговые исследования. [[Media:Sem4.pdf‎‎|Материалы семинара по теме]] === Последовательный анализ Вальда === [Вальд] * Применение в задачах проверки гипотез о значениях параметра биномиального распределения: сравнение значения с заданным, сравнение двух значений. * Применение в задачах проверки гипотез о значениях параметров нормального распределения: сравнение значения среднего с заданными (симметричный и несимметричный варианты), сравнение значения дисперсии с заданным. [[Media:Lec5.pdf‎‎|Конспект лекции]] === Дисперсионный анализ (ANOVA) === [Лапач, 193]. * Модели факторного эксперимента. Примеры: факторы, влияющие на успешность решения математических задач; факторы, влияющие на объёмы продаж. * [[Однофакторная параметрическая модель]]: метод Шеффе. * [[Однофакторная непараметрическая модель]]: [[критерий Краскела-Уоллиса]], [[критерий Джонкхиера]]. * Общий случай модели с постоянными факторами, теорема Кокрена. * [[Двухфакторная непараметрическая модель]]: [[критерий Фридмана]] [Лапач, 203], [[критерий Пейджа]]. Примеры: сравнение эффективности методов производства, агротехнических приёмов. * [[Двухфакторный нормальный анализ]]. <!--- * [[Ковариационный анализ]] (постановка задачи).---> [[Media:Sem5.pdf‎‎|Материалы семинара по теме]] === Корреляционный анализ === [Лапач, 174]. * [[Коэффициент корреляции Пирсона|Корреляция]] Пирсона, значимость коэффициента корреляции (критерий Стьюдента). * [[Частная корреляция]], значимость коэффициента частной корреляции. * [[Множественная корреляция]], значимость коэффициента множественной корреляции. * [[Ранговая корреляция]], [[коэффициент корреляции Спирмена]], [[коэффициент корреляции Кенделла]]. * [[Конкордация Кенделла]]. [[Media:Sem6.pdf‎‎|Материалы семинара по теме]] === Линейный регрессионный анализ === [Дрейпер] * [[Многомерная линейная регрессия]]. Примеры прикладных задач. [[Метод наименьших квадратов]]. * МНК-решение и его запись через [[сингулярное разложение]]. [[Остаточная сумма квадратов]] (RSS). * Основные предположения [[многомерная линейная регрессия|многомерной линейной регрессии]]. Статистические свойства МНК-оценок без предположения нормальности. * Статистические свойства МНК-оценок при предположении нормальности. Доверительные интервалы для дисперсии шума, коэффициентов регрессии, прогнозного значения отклика. === Анализ регрессионных моделей === * Анализ структуры линейной регрессионной модели. [[Значимость коэффициентов линейной регрессии]] (проверка равенства коэффициентов нулю), [[вложенные модели линейной регрессии]], [[критерий Фишера]]. [[Шаговая регрессия]]. * Проверка адекватности модели. Выборочный [[коэффициент детерминации]]. [[Дисперсия остатков]]. * Проблема [[Мультиколлинеарность|мультиколлинеарности]]. Методы понижения размерности: [[ридж-регрессия]], [[лассо Тибширани]]. Выбор параметра регуляризации. === Анализ регрессионных остатков === * [[Анализ регрессионных остатков]]: визуальный анализ. * Непараметрические тесты: [[критерий Уилкоксона-Манна-Уитни]], [[критерий Зигеля-Тьюки]], [[критерий знаков]], [[критерий Вальда-Вольфовица|критерий серий]], [[критерий экстремумов]]. * Проверка нормальности остатков: [[Критерий Шапиро-Уилка]], [[критерий Колмогорова-Смирнова]], [[критерий омега-квадрат]] фон Мизеса, [[критерий хи-квадрат]] Пирсона, критерии асимметрии и эксцесса. * Тест на корреляцию остатков, [[статистика Дарбина-Уотсона]]. Материалы семинаров по темам: [[Media:Sem7.pdf‎‎|часть 1]], [[Media:Sem8.pdf‎‎|часть 2]]. === Непараметрическая регрессия === * [[Непараметрическая регрессия]]: [[ядерное сглаживание]], формула Надарая-Ватсона. Разложение ошибки на [[Вариация и смещение|вариацию и смещение]]. Выбор ядра и ширины окна. Окна переменной ширины. Доверительный интервал прогнозного значения отклика. Проблема выбросов, [[Алгоритм LOWESS]]. * Совмещение многомерной линейной регрессии и одномерного сглаживания: [[backfitting|метод настройки с возвращениями]] (backfitting). * Примеры прикладных задач: анализ стиля управления инвестиционным портфелем, анализ деятельности паевых инвестиционных фондов. * Регуляризация коэффициентов регрессии, медленно изменяющихся во времени. <!--- === Анализ рисков. Пробит- и логит-анализ === [Лапач, 387]. * [[Пробит-анализ]] и [[логит-анализ]]. Приложения в токсикологии, страховании, эконометрике (оценивание спроса). Оценивание апостериорных вероятностей в задачах классификации. [[Анализ кредитных рисков]]: оценивание вероятности дефолта, имитационное моделирование. ---> === Логистическая регрессия === [Hosmer] * Постановка задачи [[Логистическая_регрессия|логистической регрессии]]. Логит, его интерпретация. Интерпретация коэффициентов логистической регрессии. * Анализ модели логистической регрессии: оценка значимости коэффициентов, проверка адекватности модели, анализ остатков, признаки мультиколлинеарности. * Классификация на основе логистической регрессии: чувствительность, специфичность, выбор порога. [[Media:Sem9.pdf‎‎|Материалы семинара по логистической регрессии]] === Анализ временных рядов === [Лукашин] * [[Временной ряд]]. Примеры: прогнозирование объёмов грузоперевозок, объёмов продаж, спроса и цен на электроэнергию. * Основные компоненты эконометрических временных рядов: [[тренд]], [[сезонность]], календарные эффекты. Аддитивная модель временного ряда. Постановка линейной регрессионной задачи и [[Метод наименьших квадратов|МНК]]. Регуляризация сезонного профиля на временных рядах с малым числом периодов. * Статистические тесты для проверки гипотезы тренда: [[критерий Аббе-Линника]], [[критерий Кокса-Стюарта]], [[критерий Фостера-Стюарта]]. * [[Автокорреляционная функция]]. [[Коррелограмма]] и её интерпретация. Проверка гипотезы о равенстве нулю автокорреляции. [[Media:Sem10.pdf‎‎|Материалы семинара по теме]] === [[Адаптивные методы прогнозирования временных рядов|Адаптивные методы прогнозирования]] === [Лукашин] * [[Экспоненциальное сглаживание|Модель Брауна]] — экспоненциальное сглаживание. * [[Модель Хольта]] — линейный тренд без сезонности. * [[Модель Хольта-Уинтерса]] — мультипликативный тренд и сезонность. * [[Модель Тейла-Вейджа]] — аддитивный тренд и сезонность. * Анализ адекватности адаптивных моделей, [[скользящий контрольный сигнал]]. * [[Адаптация параметров адаптации]]. [[Модель Тригга-Лича]]. * Обнаружение структурных изменений. [[Критерий Чоу]]. * [[Адаптивная селекция моделей прогнозирования]]. * [[Адаптивная композиция моделей прогнозирования]]. === Анализ выживаемости === * [[Анализ выживаемости]]. [[Функция выживаемости]] и [[функция интенсивности рисков]]. [[Процедура Каплана-Мейера]]. Доверительный интервал выживаемости. * Сравнение двух функций выживаемости: [[логранговый критерий]], [[критерий Гехана]]. === Анализ панельных данных === [Магнус] * Примеры эконометрических задач: анализ стран, фирм, домашних хозяйств, телезрителей. * [[Объединённая модель панельных данных]]. * [[Модель панельных данных с фиксированными эффектами]]. * [[Модель панельных данных со случайными эффектами]]. * [[Модель панельных данных с временны́ми эффектами]]. * [[Модель несвязанных регрессий]]. * Проблема выбора модели: F-тест Фишера, [[критерий множителей Лагранжа]], [[критерий Хаусмана]]. * [[Ротационная панель]]. <!--- === Выборочный анализ === * Задачи [[Выборочный анализ|выборочного анализа]]. [[Простой случайный выбор]]. Приложения в социологии, маркетинге [Лапач, 312, Орлов]. * [[Пропорциональный выбор]] и преимущества [[стратификация|стратификации]]. Оценки достаточной длины выборки [Лапач, 361]. Другие методы выбора: квотированный, кластерный, многоступенчатый кластерный. * [[Выборочный контроль качества]] [Лапач, 351]. Одноступенчатый и двухступенчатый [[план контроля]]. Оперативная характеристика плана контроля. Парадоксы выборочного контроля. ---> === Множественная проверка гипотез === * [[Множественная проверка гипотез]]. Примеры задач. Меры числа ошибок первого рода. * [[FWER]], поправка Бонферрони. * Нисходящие процедуры множественной проверки: общий вид, метод Холма. * Процедуры множественной проверки гипотез при наличии дополнительной информации о признаках: независимость, положительная регрессионная зависимость, subset pivotality. * [[FDR]], методы Бенджамини, двухэтапные модификации. [[Media:Sem_MHT.pdf‎‎|Материалы семинара по теме]] <!--- * Метод доверительных интервалов Неймана. * Понятия параметрических, непараметрических и робастных методов. Структура прикладной статистики. * [[Случайные блуждания]], [[задача о разорении игрока]]. === Нелинейная, устойчивая регрессия === * [[Нелинейная регрессия]]. Методы Ньютона-Раффсона и Ньютона-Гаусса. * Проблема выбросов и [[робастная регрессия]]. [[M-оценки]], [[метод наименьших модулей]]. [[L-оценки]], [[винзоризация выборки]] [Вучков]. === Факторный анализ === * [[Факторный анализ]] [Айвазян, том 1, 526, 551]: [[метод главных компонент]], геометрическая интерпретация, выбор числа значимых факторов [Кулаичев, 315]. * Гипотеза нормальности и ее нарушение. [[Гетероскедастичность]]. Обобщённый метод наименьших квадратов [Вучков, Айвазян, том 2]. === Построение интегральных индикаторов === * [[Интегральный индикатор]]. Примеры прикладных задач. Линейные и ранговые шкалы. Методы построения интегрального индикатора «без учителя» [Strijov, 2003]. Устойчивые интегральные индикаторы [Стрижов, 2007]. * [[Экспертные оценки]] [Литвак, Лапач, 353]. [[Матрица парных сравнений]]. [[Экспертно-статистический метод]] [Айвазян, том 2]. [[Согласование экспертных оценок]] [Стрижов, 2006]. * [[ARIMA|Процесс авторегрессии и проинтегрированного скользящего среднего]] (ARIMA). * Вычисление доверительных интервалов. [[Прогнозирование плотности]]. ---> == Литература == # ''Лапач С. Н. , Чубенко А. В., Бабич П. Н.'' Статистика в науке и бизнесе. — Киев: Морион, 2002. # ''Лагутин М. Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003. # ''Лукашин Ю. П.'' Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003. # ''Магнус Я. Р., Катышев П. К., Пересецкий А. А.'' Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005. # ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006. # ''Орлов А. И.'' Эконометрика. — М.: Экзамен, 2003. # ''Айвазян С. А., Мхитарян В. С.'' Прикладная статистика. Том 1. Теория вероятностей и прикладная статистика. — М.: Юнити, 2001. # ''Айвазян С. А.'' Прикладная статистика. Том 2. Основы эконометрики. — М.: Юнити, 2001. # ''Тюрин Ю. Н., Макаров А. А.'' Анализ данных на компьютере. — М.: Инфра-М, 2003. # ''Вучков И., Бояджиева А., Солаков Е.'' Прикладной линейный регрессионный анализ. — М.: Финансы и статистика, 1987. # {{Публикация:Hastie 2001 The Elements of Statistical Learning}} # ''Дрейпер Н. Р., Смит Г.'' Прикладной регрессионный анализ. М.: Издательский дом "Вильямс", 2007. # ''Hosmer D. W., Lemeshow S.'' Applied Logistic Regression. - New York: John Wiley & Sons, 2000. # ''Вальд А.'' Последовательный анализ. - М.: Физматлит, 1960. <!--- #''Strijov, V., Shakin, V.'' [http://strijov.com/papers/10-v_strijov.pdf Index construction: the expert-statistical method]. // Environmental research, engineering and management 2003. No.4 (26), P.51-55. #''Стрижов В. В., Казакова Т. В.'' [http://strijov.com/papers/stable_idx4zavlab_after_recenz.pdf Устойчивые интегральные индикаторы с выбором опорного множества описаний]. // Заводская лаборатория. Диагностика материалов. 2007 (7). C. 72-76. #''Литвак Б. Г.'' Экспертная информация: Методы получения и анализа. – М.: Радио и связь, 1982. – 184 с. #''Стрижов В. В.'' [http://strijov.com/papers/strijov06precise.pdf Уточнение экспертных оценок с помощью измеряемых данных]. // Заводская лаборатория. Диагностика материалов. 2006 (7). С.59-64. ---> == Ссылки == * [http://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%B3%D0%B8%D0%BF%D0%BE%D1%82%D0%B5%D0%B7%D0%B0 Википедия: Проверка статистических гипотез] * [http://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BA%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9 Википедия: Статистический критерий] * [http://www.statsoft.ru/home/portal/default.asp Статистический Портал StatSoft] * [http://www.statsoft.ru/home/textbook/glossary Электронный статистический словарь StatSoft] <!--- == Подстраницы == * [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2008|Список студентов каф. ММП ВМК (2008 год)]] * [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2009|Практические задания для студентов каф. ММП ВМК (2009 год)]] * [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2010|Практические задания для студентов каф. ММП ВМК (2010 год)]] * [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2011, ФУПМ|Практические задания для студентов ФУПМ МФТИ (2011 год)]] * [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2011|Практические задания для студентов каф. ММП ВМК (2011 год)]] * [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2012, ФУПМ|Практические задания для студентов ФУПМ МФТИ (2012 год)]] * [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2012|Практические задания для студентов каф. ММП ВМК (2012 год)]]---> [[Категория:Учебные курсы]]

• Шаблон:Nobr
• Шаблон:TOCright
• Шаблон:ВсеАвторы
• Шаблон:Книга
• Шаблон:Монография
• Шаблон:Переводы
• Шаблон:Подробнее
• Публикация:Hastie 2001 The Elements of Statistical Learning
• Публикация:Hastie 2009 The Elements of Statistical Learning

Возврат к странице Статистический анализ данных (курс лекций, К.В.Воронцов).