Прикладные задачи анализа данных (курс на ВМК 2017 года)

материалы:

1. Книга Шурыгин А.М. Математические методы прогнозирования // М., Горячая линия — Телеком, 2009, 180 с. * Неплохие идеи для решения некоторых практических задач статистики (но в целом, специфична)
2. Статья  Дьяконов А.Г. Прогноз поведения клиентов супермаркетов с помощью весовых схем оценок вероятностей и плотностей // Бизнес-информатика. 2014. № 1 (27). С. 68–77..
3. Видео Оценка вероятности: когда к нам придёт клиент?

Решение задачи [[1]]. Срок - до 04 октября 2017 23:59 (с выкладкой отчёта в [этой ветке форума]).

Все вопросы задаются в [форуме].

Поощряется активность: выкладывание скриптов общего назначения (загрузка данных, перевод в нужный формат), бенчмарков (примитивные алгоритмы), ответы на вопросы в форуме.

до 27 сентября 2017 23:59 - преодолеть бенчмарк.

Напоминание: команды называть по шаблону Ivan Ivanov (MMP, MSU, Russia).

Но дополнительно, за непреодоление бенчмарка -5.

• С. Лебедев Программирование на Python
• Learn X in Y minutes

материалы:

• Книга Beautiful Visualization: Looking at Data through the Eyes of Experts (Theory in Practice) // Edited by Julie Steele and Noah Iilinsky. Sebastopol, CA: O‘Reilly 2010, pp. 227-254. ISBN: 978-1-4493-7986-5 по визуализации данных

• презентация (pdf)
• презентация (pdf)

Второе домашнее задание:

• Найти 2е интересные визуализации, выложить в [форуме(1)] (см. внимательно правила по ссылке). [10 штрафных / +10 анти]
• Найти ещё одну визуализацию для игры "что за данные" (добавить её в конец презентации про решение 1й задачи к 5.10.2017)
• Выбрать набор данных на kaggle.com в разделе [[2]]. См. правила и как выбрать на [форуме(2)]. Оформить презентацию-доклад. [10 штрафных / +10 анти]
• След занятие: отчёт по 1й задаче и к/р Питон

материалы:

• Tom Fawcett An introduction to ROC analysis // Pattern Recognition Letters Volume 27 Issue 8, 2006, P. 861-874.
• Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория, 2013, 79(5): 65-73.
• К.Д. Маннинг, П. Рагхаван, Х. Шютце «Введение в информационный поиск» // . — Вильямс, 2011.
• видео Функционалы качества и функции потерь: Константы тоже бывают разные
• видео Функционалы качества и функции потерь: Какие множества похожи?
• видео Функционалы качества и функции потерь: AUC ROC - путь из (0,0) в (1,1)

НОВОЕ ЗАДАНИЕ

1. Подготовиться к контрольной по функционалам качества

• Для этого пройти тест
• Прорешать задачи из презентиций по ошибкам, по минимизации

2. Решать задачу скоринга

• -10 - непреодоление бенчмарка
• +10 - за см. ветку обмена кодом

Файлы сабмитов в задаче скоринга начинать с 'msu_'

По просьбам Визуализация по данным Сбербанка

материалы:

• А. Liaw, M. Wiener Classification and Regression by randomForest // R News (2002) Vol. 2/3 p. 18.
• И. Генрихов О критериях ветвления, используемых при синтезе решающих деревьев // Машинное обучение и анализ данных, 2014, Т.1, №8, С.988-1017
• A. Natekin, A. Knoll Gradient boosting machines, a tutorial // Front Neurorobot. 2013; 7: 21.

материалы:

• A. Natekin, A. Knoll Gradient boosting machines, a tutorial // Front Neurorobot. 2013; 7: 21.
• García, Salvador, Luengo, Julián, Herrera, Francisco Data Preprocessing in Data Mining // Springer , 2015. 320 p. DOI 10.1007/978-3-319-10247-4

материалы:

• Jundong Li, Kewei Cheng, Suhang Wang, Fred Morstatter, Robert P. Trevino, Jiliang Tang, Huan Liu Feature Selection: A Data Perspective
• Sean Luke Essentials of Metaheuristics. — Lulu, 2009. — 235 p.

материалы:

• Дьяконов А. Методы решения задач классификации с категориальными признаками // Прикладная математика и информатика. Труды факультета Вычислительной математики и кибернетики МГУ имени М.В. Ломоносова. — 2014. — № 46. — С. 103–127
• Y. Koren, R.M. Bell, C. Volinsky Matrix Factorization Techniques for Recommender Systems // IEEE Computer 42(8): 30-37 (2009).
• S. Funk Netflix Update: Try This at Home
• LibFM: Factorization Machine Library

• Дьяконов А. Python: Кодирование категориальных признаков (ноутбук)

• FFM – field-aware factorization machine (слайды)

• Дьяконов А.Г. Алгоритмы для рекомендательной системы: технология LENKOR // Бизнес-Информатика, 2012, №1(19), С. 32–39.

материалы:

• Дьяконов А.Г. Алгоритмы для рекомендательной системы: технология LENCOR // Бизнес-Информатика, 2012, №1(19), С. 32–39.

• Превзойти результат Эмиля на 10%
• сделать нетривиальное решение для TRAINMYDATA
• найти интересные закономерности в TMD

материалы:

• Рыжов А.П. Элементы теории нечетких множеств и измерения нечеткости. Москва, Диалог-МГУ, 1998, 116 с.
• Основные понятия теории нечетких множеств, нейронных сетей и генетических алгоритмов // Вспомогательные материалы к курсу проф. Рыжова А.П.
• Ухоботов В. И. Избранные главы теории нечетких множеств // Учеб. пособие. Челябинск : Изд-во Челяб. гос. ун-та, 2011. – 245 с.

материалы:

• Л.Жуков курс Structural Analysis and Visualization of Networks в ВШЭ

материалы:

• D.Spielman course Spectral Graph Theory