Машинное обучение (семинар, ММП ВМиК)

Материал из MachineLearning.

Семинары по годовому курсу лекций «Машинное обучение» К.В.Воронцова. На занятиях будут решаться теоретические задачи, важные для понимания и лучшего усвоения материала, читаемого на лекциях. Разбираемые на семинарах задачи частично составлены И.О.Толстихиным и М.Н.Ивановым, частично взяты из учебников, книжек и статей (в том числе указанных в списке литературы) и частично позаимствованы из аналогичных курсов, читаемых в западных университетах (в том числе из курсов MIT и Стэнфордского университета). Семинары ведутся на кафедре ММП ВМиК МГУ с осени 2012 года. Семинарист: И.О.Толстихин.

Содержание 1 Новости 2 Оценка за курс и «правила игры» 3 Осенний семестр 2012 3.1 Расписание занятий 3.2 Оценки 4 Литература

Новости

• В материалах 5го семинара найдена опечатка: в последней части, где речь идет о связи алгоритма ближайших соседей с парзеновским окном, была опечатка в мат.ожидании биномиального распределения. Исправления отмечены красным.
• 30 октября будет контрольная работа по байесовским методам и метрическим алгоритмам классификации. В ближайший вторник (23 октября) вместо семинара будет лекция, которая пройдет в той же аудитории и в то же время, что семинар. В ближайшее время, скорее всего, будет вывешен список задачек для подготовки к контрольной работе. В отличие от проверочных, этого списка будет не достаточно для успешной сдачи контрольной работы. Так что повторяйте весь пройденный на лекциях и семинарах материал, все домашки и все проверочные.
• Скорее всего через один семинар (23 октября) будет контрольная по темам "Байесовские методы" и "Метрические классификаторы". Имейте ввиду. [11.10.2012 18:20]
• На четвертом семинаре в материалах была допущена серия очень обидных опечаток. Во многих местах в описании ЕМ алгоритма был потерян логарифм! Обратите на это внимание, в материалах исправоения отмечены красным цветом!
• Принято решение вывешивать мои черновики к семинарам вместе с решениями. Домашние задания также будут вывешиваться на этой странице. Ищите все в расписании занятий.
• На втором семинаре, возможно, я допустил ошибку. Когда мы выводили ОМП для ковариационной матрицы многомерного нормального распределения, по-моему, я записал дифференцирование по , тогда как, конечно же, дифференцирование шло по . Еще раз загляните к себе в записи и убедитесь, что там все правильно.
• 18 и 25 сентября семинары не состоялись по причине командировки семинариста.

Оценка за курс и «правила игры»

Итоговая оценка за семестр будет вычисляться по формуле 0.67*(оценка за работу в семестре) + 0.33*(оценка на устном экзамене). При этом

• Округляться итоговая дробная оценка будет до ближайшего целого числа (*.5 будет округляться вверх).
• Оценка за экзамен — целая оценка 0, 3, 4 или 5.
• Оценка за работу в семестре — действительное число от 0 до 5. Оценка складывается из баллов, набранных студентом за
  1. контрольные работы (0.4),
  2. регулярные короткие проверочные работы на семинарах (0.3),
  3. коллоквиум (0.3),
  4. возможно, некоторые дополнительные активности (может быть доклады, решение задач со звездочками, и т.д. по усмотрению семинариста).
• За каждую работу студент получает дробную оценку от 0 до 5, пропорциональную числу решенных в данной работе задач. Так, если в работе было 4 задачи, а студент решает 2 из них, он получает 2.5 балла.
• Каждый вид из перечисленных выше семестровых активностей получает коэффициент, отражающий его степень важности (см. выше жирным в скобках). В сумме коэффициенты дают 1. Баллы внутри одного вида активности усредняются (если всего было 4 проверочных и студент набрал 0, 2.5, 3, 2.5, то за проверочные он получает (2.5+3+2.5)/4 = 2). Семестровая оценка вычисляется как взвешенная сумма усредненных баллов с указанными коэффициентами.
• Для успешного написания проверочных работ студенту домой будут выдаваться несколько типовых задач по темам, пройденным на последнем семинаре. Самостоятельного разбора этих задач будет вполне достаточно для успешного написания проверочной работы на следующем семинаре. За решение домашних задач оценки выставляться не будут.
• В проверочную работу будут входить также «задачи со звездочкой». Решение этих задач не обязательно для получения отличного балла (они не учитываются при подсчете доли решенных в работе задач), но они могут дать бонусные баллы.
• Студенты имеют возможность всегда написать семинаристу письмо с возникающими у них вопросами по домашним задачам. Семинарист по мере возможностей готов обсуждать вопросы студента и помогать ему в их разборе.
• К студентам, не набравшим в результате достаточного для «3» балла, применяются особые меры. Во-первых, они автоматически не смогут получить финальную оценку больше 3. Во-вторых, для получения оценки «удовл» им придется начать экзамен с написания большой письменной работы, куда войдут все пройденные в семестре темы. Студент будет пересдавать экзамен, пока не наберет нужного количества баллов.

Осенний семестр 2012

Расписание занятий

Дата	Семинар	Материалы	Д/З
4 сентября	Семинар 1: правила игры основные определения, постановки задач и примеры прикладных задач
11 сентября	Семинар 2: работа с вероятностью, условные вероятности, формула Байеса, формула полной вероятности вероятностная постановка задачи обучения, минимизация риска, минимизация эмпирического риска функция правдоподобия, оценки максимального правдоподобия одномерное и многомерное нормальное распределение, ОМП для его параметров	Короткий конспект (PDF, 151Кб)	Задачи
18 сентября	Семинар не состоялся
25 сентября	Семинар не состоялся
2 октября	Семинар 3: байесовский подход к классификации, байесовский оптимальный классификатор параметрическое оценивание плотностей классов, нормальный дискриминантный анализ Линейный Дискриминант Фишера (ЛДФ) Проверочная работа 1	Короткий конспект (PDF, 154Кб)	Задачи
9 октября	Семинар 4: смеси нормальных распределений скрытые переменные, совместное распределение скрытых и наблюдаемых переменных KL"=дивергенция, свойства ЕМ"=алгоритм в общем виде Проверочная работа 2	Короткий конспект (PDF, 152Кб)	Задачи
16 октября	Семинар 5: Разбор прошлой домашки: ЕМ-алгоритм Проклятие размерности Связь парзеновского окна с алгоритмом ближайших соседей Проверочная работа 3	Короткий конспект (PDF, 152Кб)	TBC
23 октября	Вместо семинара состоялась дополнительная лекция
30 октября	Контрольная работа №1 Байесовские методы классификации; Метрические методы классификации.
6 ноября	Семинар 6: Производящие и разделяющие подходы к классификации; Линейные методы классификации; Логистическая регрессия; Многоклассовая логистическая регрессия.	Короткий конспект (PDF, 146Кб)	TBC

Оценки

ФИО студента	Группа	Проверочные работы				Контрольные работы		Коллоквиум	Экзамен	Итоговая оценка
		№1(3)	№2(4)	№3 (5)	Сред.	№1(6)	Сред.
Алешин И.	317	1.66	2.5	3		2.5
Антипов А.	317	0	2.5	1		1.67
Арбузова Д.	317	0	2.5	3		4.17
Горелов А.	317	3.33	0	3		3.33
Зиннурова Э.	317	1.66	3.75	1		1.67
Кузьмин А.	317	3.33	н	3		4.17
Ломов Н.	317	3.33	1.25	2		4.17
Львов С.	317	1.66	3.75	3		1,67
Найдин О.	317	0	0	1		2.5
Никифоров А.	317	5	2.5	4		5
Новиков А.	317	5	3.75	4		3.33
Петров Г.	317	1.66	3.75	2		0,83
Подоприхин Д.	317	5	1.25	4		3.33
Рыжков А.	317	3.33	3.75	3		2.5
Сокурский Ю.	317	3.33	3.75	3		2.5
Ульянов Д.	317	1.66	3.75	2		0.83
Харациди О.	317	1.66	0	0		3.33
Шабашев Ф.	317	3.33	0	1		2.5
Шадриков А.	317	1.66	2.5	3		4.17
Швец П.	317	0	0	2		2.5
Афанасьев К.	316	1.66	2.5	1		н

Литература

1. Курс лекций К.В.Воронцова (1 часть, PDF, 3 МБ)
2. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
3. Hastie T., TIbshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2008.