Статистический анализ данных (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Курс знакомит студентов с основными задачами и методами прикладной статистики.

Цели курса — связать теорию и практику, научить студентов «видеть» статистические задачи в различных предметных областях и правильно применять методы прикладной статистики, показать на практических примерах возможности и ограничения статистических методов. Курс имеет скорее методологическую, чем математическую направленность и не содержит доказательств теорем.

Каждый метод описывается по единой схеме:

  • постановка задачи;
  • примеры прикладных задач из области экономики, социологии, производства, медицины;
  • базовые предположения и границы применимости;
  • описание метода (для методов проверки статистических гипотез: нулевая гипотеза и альтернативы, статистика, её функция распределения с эскизом графика, критическая область);
  • достоинства, недостатки, ограничения, «подводные камни»;
  • сравнение с другими методами.

Курс читается студентам 5 курса кафедры математических методов прогнозирования ВМиК МГУ с 2007 года и студентам 4 курса факультета управления и прикладной математики МФТИ с 2011 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики.

Программа курса

Введение

Обзор необходимых сведений из теории вероятностей и математической статистики.

Материалы занятия

Параметрическая проверка гипотез

[Kanji, Кобзарь]

Материалы занятия

Непараметрическая проверка гипотез

[Кобзарь, Good, Wilcox]

Материалы занятия

Множественная проверка гипотез

[Bretz, Dickhaus]

  • Множественная проверка гипотез. Примеры задач. Меры числа ошибок первого рода.
  • FWER, поправка Бонферрони.
  • Нисходящие процедуры множественной проверки: общий вид, метод Холма.
  • Процедуры множественной проверки гипотез при наличии дополнительной информации о признаках: независимость, subset pivotality, positive orthant dependence.
  • Оценка числа верных нулевых гипотез и её применение.
  • FDR, восходящие процедуры, методы Бенджамини-Хохберга и Бенджамини-Иекутиели.

Материалы занятия

Дисперсионный анализ (ANOVA)

[Tabachnick, Лагутин, Кобзарь]

Материалы занятия

Анализ зависимостей

[Agresti, Лагутин].

Материалы занятия

Линейный регрессионный анализ

[Wooldridge]

Материалы занятия

Обобщения линейной регрессии

[Hosmer]

  • Постановка задачи логистической регрессии, повторяемый эксперимент с фиксированными уровнями фактора, неповторяемый эксперимент со случайными уровнями фактора. Логит, его интерпретация. Интерпретация коэффициентов логистической регрессии (бинарный, количественный признак).
  • Оценка параметров модели методом максимального правдоподобия. Возможные причины отсутствия сходимости.
  • Анализ модели логистической регрессии: оценка значимости коэффициентов (критерии Вальда и отношения правдоподобия), построение доверительных интервалов. Оценка значимости категориальных предикторов. Проверка линейности логита по признаку. Признаки мультиколлинеарности. Остатки Пирсона, аналог расстояния Кука.
  • Содержательный отбор признаков.
  • Классификация на основе логистической регрессии: чувствительность, специфичность, выбор порога.

[Cameron]

  • Регрессия натурального признака. Пуассоновская модель.
  • Методы оценки дисперсии коэффициентов. Доверительные интервалы. Меры качества модели.
  • Предположение о равенстве матожидания и дисперсии и его проверка. Отрицательная биномиальная и пороговая модели.

[Hastie]

Материалы занятий: часть 1, часть 2

Анализ временных рядов

[Hyndman, Лукашин]

  • Временной ряд. Основные компоненты эконометрических временных рядов: тренд, сезонность. Календарные эффекты.
  • Анализ остатков. Автокорреляционная функция. Коррелограмма и её интерпретация. Проверка гипотезы о равенстве нулю автокорреляции и группы автокорреляций (критерий Льюнга-Бокса). Проверка гипотезы стационарности (критерий KPSS).
  • Меры качества прогнозов, примеры оценок. Информационные критерии. U-коэффициент Тейла.
  • Сравнение качества двух прогнозов. Непараметрические критерии, критерий Диболда-Мариано, его модификация для маленьких выборок.
  • Сравнение качества нескольких прогнозов. Reality check Уайта, модификация Романо-Вольфа.
  • Обнаружение структурных изменений. Критерий Чоу.
  • Прогнозирование методами экспоненциального сглаживания. Простое экспоненциальное сглаживание Брауна, методы Хольта и Хольта-Уинтерса. Таксономия моделей ETS.
  • Модели AR, MA, ARMA. Частичная автокорреляция. Подбор параметров модели по коррелограммам. Переход к ряду разностей, модель ARIMA.
  • Сезонные эффекты и модели их учёта: SARMA, SARIMA.
  • Учёт дополнительных признаков, модель regARIMA. Схема настройки параметров модели.
  • Причинность по Грейнджеру. Критерий Грейнджера (для двух рядов, для множества рядов).
  • Адаптивная селекция и композиция моделей прогнозирования. «Forecast combination puzzle». Агрегирующий алгоритм Вовка.
  • Прогнозирование иерархических совокупностей рядов.
  • Сложные сезонности в моделях экспоненциального сглаживания (TBATS) и авторегрессии.

Материалы занятий: часть 1, часть 2, часть 3.

Последовательный анализ

[Вальд, Mukhopadhyay]

  • Применение в задачах проверки гипотез о значениях параметра биномиального распределения: сравнение значения с заданным, сравнение двух значений.
  • Применение в задачах проверки гипотез о значениях параметров нормального распределения: сравнение значения среднего с заданными (симметричный и несимметричный варианты), сравнение значения дисперсии с заданным.
  • Последовательные доверительные интервалы для среднего нормальной совокупности с неизвестной дисперсией (двухэтапная, последовательная процедуры). Процедуры для разности средних двух нормальных совокупностей, случаи равных и неравных дисперсий.
  • Непараметрические последовательные доверительные интервалы для среднего и медианы.

Материалы занятия

Анализ выживаемости

Анализ панельных данных

[Магнус]

Литература

  1. Вальд, А. Последовательный анализ. — М.: Физматлит, 1960.
  2. Дрейпер, Н.Р., Смит Г. Прикладной регрессионный анализ. — М.: Издательский дом "Вильямс", 2007.
  3. Лагутин, М.Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.
  4. Лукашин, Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003.
  5. Кобзарь, А.И. Прикладная математическая статистика. — М.: Физматлит, 2006.
  6. Магнус, Я.Р., Катышев, П.К., Пересецкий, А.А. Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.
  7. Agresti, A. Categorical Data Analysis. — Hoboken: John Wiley & Sons, 2002.
  8. Bretz, F., Hothorn, T., Westfall, P. Multiple Comparisons Using R. — Boca Raton: Chapman and Hall/CRC, 2010.
  9. Cameron, A.A., Trivedi, P.K. Regression Analysis of Count Data. — Cambridge: Cambridge University Press, 2013.
  10. Dickhaus, T. Simultaneous Statistical Inference With Applications in the Life Sciences. — Heidelberg: Springer, 2014.
  11. Good, P. Permutation, Parametric and Bootstrap Tests of Hypotheses: A Practical Guide to Resampling Methods for Testing Hypotheses. — New York: Springer, 2005.
  12. Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2nd edition. — Springer, 2009. — 533 p.  (подробнее)
  13. Hosmer, D.W., Lemeshow S., Sturdivant, R.X. Applied Logistic Regression. — Hoboken: John Wiley & Sons, 2013.
  14. Hyndman, R.J., Athanasopoulos G. Forecasting: principles and practice. — OTexts, 2013. https://www.otexts.org/book/fpp
  15. Kanji, G.K. 100 statistical tests. — London: SAGE Publications, 2006.
  16. Mukhopadhyay, N., de Silva, B. M. Sequential methods and their applications. — Boca Raton: Chapman and Hall/CRC, 2009.
  17. Shumway, R.H, Stoffer, D.S. Time Series Analysis and Its Applications with R Examples. — New York: Springer, 2011.
  18. Tabachnick, B.G., Fidell, L.S. Using Multivariate Statistics. — Boston: Pearson Education, 2012.
  19. Wilcox, R.R. Introduction to Robust Estimation and Hypothesis Testing. — Academic Press, 2012.
  20. Wooldridge, J. Introductory Econometrics: A Modern Approach. — Mason: South-Western Cengage Learning, 2013.

Подстраницы

Источник — «http://recognition.su/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29»