Машинное обучение (семинары, ВМК МГУ)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Оценки)
(→Оценки)
Строка 208: Строка 208:
! ФИО студента !! Группа !! contest1 !! Boosting !! Bagging !! EM !! Metrics !! ANN !! contest2 !! TBA !! TBA !! TBA !! Семестр !! Экзамен !! Итоговая оценка
! ФИО студента !! Группа !! contest1 !! Boosting !! Bagging !! EM !! Metrics !! ANN !! contest2 !! TBA !! TBA !! TBA !! Семестр !! Экзамен !! Итоговая оценка
|-
|-
-
| Вихрева М. || align="center"| 317 || align="center"| <!--З1--> 15 || align="center"| <!--З2--> 3 || align="center"| <!--З3--> || align="center"| <!--З4--> 4 || align="center"| <!--З5--> 5 || align="center"| <!--З6--> 5 || align="center"| <!--З7--> 10 || align="center"| <!--З8--> || align="center"| <!--З9--> || align="center"| <!--З10--> || align="center"| <!--Семестр--> +1 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
+
| Вихрева М. || align="center"| 317 || align="center"| <!--З1--> 15 || align="center"| <!--З2--> 3 || align="center"| <!--З3--> || align="center"| <!--З4--> 4 || align="center"| <!--З5--> 5 || align="center"| <!--З6--> 5 || align="center"| <!--З7--> 11 || align="center"| <!--З8--> || align="center"| <!--З9--> || align="center"| <!--З10--> || align="center"| <!--Семестр--> +1 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
|-
|-
| Гитман И. || align="center"| 317 || align="center"| <!--З1--> 2.8 || align="center"| <!--З2--> 3.35 || align="center"| <!--З3--> 3 || align="center"| <!--З4--> 5 || align="center"| <!--З5--> 5 || align="center"| <!--З6--> || align="center"| <!--З7--> || align="center"| <!--З8--> || align="center"| <!--З9--> || align="center"| <!--З10--> || align="center"| <!--Семестр-->+ || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
| Гитман И. || align="center"| 317 || align="center"| <!--З1--> 2.8 || align="center"| <!--З2--> 3.35 || align="center"| <!--З3--> 3 || align="center"| <!--З4--> 5 || align="center"| <!--З5--> 5 || align="center"| <!--З6--> || align="center"| <!--З7--> || align="center"| <!--З8--> || align="center"| <!--З9--> || align="center"| <!--З10--> || align="center"| <!--Семестр-->+ || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->

Версия 20:50, 18 мая 2015

Содержание


Выставление оценки за курс

Итоговая контрольная работа:

  1. На последней лекции будет проведена контрольная работа, которая затронет все темы, изученные в течение семестра.
  2. Контрольная оценивается по двухбалльной шкале (зачет/незачет), незачет влечет за собой недопуск к экзамену.
  3. Студент, не получивший допуск, переписывает на экзамене контрольную. В случае успеха он сдает экзамен на первой пересдаче. В случае незачета он снова переписывает контрольную на первой пересдаче, и так далее.

Семинары:

  1. На семинарах по каждой пройденной теме будут проводиться проверочные работы. Каждая проверочная оценивается по пятибалльной шкале. В зависимости от оценки за проверочную, студент освобождается от части или от всех задач по этой теме на итоговой контрольной работе.
  2. Также на семинарах будут выдаваться практические задания, которые будут оцениваться по пятибалльной шкале.
  3. В течение семестра будут проводиться конкурсы по анализу данных. Каждый конкурс оценивается по 15-балльной шкале. За первое, второе и третье место выставляется 15, 13 и 11 баллов соответственно при условии, что студенты выступят с докладом о своем решении (в противном случае они получают 10 баллов). За места с четвертого и по самое последнее, превосходящее бейзлайн, выставляется от 10 до 1 баллов по равномерной сетке. Если все присланные группой решения будут тривиальными, то преподаватель имеет право снизить максимальную оценку до 10 или до 5 баллов.
  4. Оценка за работу в семестре равна сумме оценок за проверочные работы и практические задания.
  5. Если оценка за работу в семестре не меньше 90% от максимальной оценки за проверочные и лабораторные работы, то студент освобождается от написания итоговой контрольной и получает допуск к экзамену автоматом.
  6. Если оценка за работу в семестре равна максимальной оценке за проверочные и лабораторные работы, то студент получает +1 балл на экзамене (при условии получения положительной оценки).
  7. В конце семестра разрешается переписать одну пропущенную по любой причине проверочную работу. Также разрешается переписать все проверочные, пропущенные по уважительной причине.

Весенний семестр 2014/2015

Расписание занятий

Дата Номер Тема Материалы Д/З
11 февраля Семинар 1
  • Выдача первого конкурсного задания
  • Работа с разреженными и текстовыми признаками
  • Методы построения композиций: blending и stacking
  • Введение в Vowpal Wabbit
Слайды
18 февраля Семинар 2

Композиционные методы:

  • Бутстрэппинг, уменьшение средней ошибки при усреднении алгоритмов
  • AdaBoost: метод обучения, скорость сходимости
  • Семейства базовых классификаторов для AdaBoost
  • Многоклассовый AdaBoost
Конспект Домашнее задание
25 февраля Семинар 3

Композиционные методы:

  • Бустинг с квадратичной функцией потерь
  • Градиентный бустинг как градиентный спуск в функциональном пространстве
  • Регуляризация в градиентном бустинге: сокращение шага и бэггинг
  • Логистическая функция потерь, ее обоснование и формулы для бустинга
  • Градиентный бустинг над деревьями, переподбор ответов в листьях
  • Взвешивание объектов в градиентном бустинге
  • Сравнение логистической и экспоненциальной функций потерь
Конспект Домашнее задание
4 марта Семинар 4

Композиционные методы:

  • Разложение ошибки на шум, смещение и разброс (bias-variance decomposition)
  • Смещение и разброс метода k ближайших соседей
  • Бутстрэп
  • Бэггинг, его смещение и разброс
  • Случайные леса, out-of-bag-оценки
  • Связь случайных лесов с метрическими методами
Конспект Домашнее задание
11 марта Семинар 5

EM-алгоритм:

  • Скрытые переменные и смеси распределений
  • EM-алгоритм в общем виде
  • Вывод формул для смеси нормальных распределений
  • Дивергенция Кульбака-Лейблера, ее свойства
  • Обоснование EM-алгоритма
Конспект Домашнее задание
8 апреля Семинар 6

Доклады студентов об участии в первом конкурсе

Презентации:
15 апреля Семинар 7

Метрики качества:

  • MSE, MAE, квантильная регрессия
  • Матрица ошибок и основанные на ней метрики качества
  • Площадь под ROC-кривой, ее недостатки на несбалансированных выборках
  • Площадь под Precision-Recall-кривой, ее связь со средней точностью
  • Многоклассовая классификация: micro- и macro-усреднение
  • Обучение на несбалансированных выборках: undersampling, oversampling, SMOTE
Конспект Домашнее задание
22 апреля Семинар 8

Нейронные сети:

  • Метод обратного распространения ошибки
  • Аппроксимация функций с помощью нейронных сетей
  • Dropout learning
  • Extreme Learning Machines
Конспект Домашнее задание
29 апреля Семинар 9

Матричные разложения:

  • Функционалы качества и модели шума
  • Неотрицательные матричные разложения
  • Факторизационные машины
Конспект Домашнее задание
13 мая Семинар 10
  • Доклады студентов об участии во втором конкурсе
  • Обзор курса
Презентации:

Практические задания

Задание Тема Дата выдачи Срок сдачи Условие

Виртуальная машина с питоном и библиотеками

Полезные ссылки:

Соревнования

Задание Тема Дата начала Дата окончания Ссылка
Конкурс 1 "Предскажите зарплату по тексту объявления" 11 февраля 2015 24 марта 2015, 23.59 (контест)

29 марта 2015, 23.59 (код и отчет)

https://kaggle.com/join/kfhsi892o3lhf20dbv
Конкурс 2 "К каким категориям относится научная статья?" 22 апреля 2015 1 мая 2015, 09.00 (преодоление бейзлайна)

12 мая 2015, 03.00 (контест)

17 мая 2015, 23.59 (код и отчет)

см. почту

Все студенты должны прислать краткий отчет о своем решении и код, воспроизводящий результат.

Полезные ссылки:

Оценки

ФИО студента Группа contest1 Boosting Bagging EM Metrics ANN contest2 TBA TBA TBA Семестр Экзамен Итоговая оценка
Вихрева М. 317 15 3 4 5 5 11 +1
Гитман И. 317 2.8 3.35 3 5 5 +
Даулбаев Т. 317 5.5 4.25 3.3 4 5 5 5.5 +
Журавлёв В. 317 10 2.25 5 3 5 5 4 +
Иванов О. 317 3.5 3 5 5 5 7 +
Квасов А. 317 5 2.5 5 5 +
Кудрявцев Г. 317 1.7 3 5 5 5
Молчанов Д. 317 2.5 5 4.5 5
Молчанова Ю. 317 1.9 3 4 4.5 5 +
Морозов А. 317 13 3.35 4 5 5 13 авт.
Оспанов А. 317 7.3 2.5 2.1 4 5 +
Панкратов А. 317 11 4 4.5 4.5 5 5 +
Полякова Н. 317 8.2 2.15 5 4.5 5 5 8.5 +1
Рысьмятова А. 317 9.1 3.15 3.5 4 5 5 15 авт.
Соколова А. 317 1.7 1
Стёпина А. 317 3.7 2.5 2.5 5 5 +
Тлеубаев А. 317 6.4 1.7 2.5 4 5 +
Чабаненко В. 317 3 5 5 5 5 +
Чепарухин С. 317
Чиркова Н. 317 4 3 5 5 5 +
Шаповалов Н. 317 4.6 5 5 5 5 5 +

Страницы курса прошлых лет

2014-2015 год, осень

2013-2014 год, осень

2013-2014 год, весна

2012 год

Источник — «http://recognition.su/wiki/index.php?title=%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%28%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80%D1%8B%2C_%D0%92%D0%9C%D0%9A_%D0%9C%D0%93%D0%A3%29»