Графические модели (курс лекций)/2015

Материал из MachineLearning.

Курс посвящен математическим методам обработки информации, основанных на использовании внутренних взаимосвязей в данных и их последующем анализе. Эти методы широко используются при решении задач из разных прикладных областей, включая обработку изображений и видео, анализ социальных сетей, распознавание речи, машинное обучение.

Целью курса является освоение математического аппарата для работы с графическими моделями. Предполагается, что в результате прохождения курса студенты обретут навыки самостоятельного построения графических моделей для решения задач из различных прикладных областей; будут способны решать задачи настройки параметров графических моделей по данным, определять подходящую структуру графической модели, выбирать методы, наиболее эффективные для работы с построенной моделью; получат опыт применения графических моделей для различных задач анализа изображений, сигналов, сетей.

Лектор: Д.П. Ветров,

Семинаристы: Д.А. Кропотов, М.В. Фигурнов.

По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в название письма обязательно добавлять [ГМ15].

Экзамен

Экзамен по курсу состоится 17 апреля в ауд. 637, начало в 11-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами.

Вопросы к экзамену + теоретический минимум (pdf)

Практические задания

Задание 1. Алгоритм Loopy Belief Propagation для низкоплотностных кодов.

Задание 2. Алгоритмы минимизации энергии для задачи склеивания панорам.

Расписание занятий

В 2015 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 579, начало в 14-35 (лекция) и 16-20 (семинар).

Дата	№ занятия	Занятие	Материалы
13 февраля 2015	1	Лекция «Графические модели: байесовские и марковские сети, примеры применения»	Презентация по байесовским рассуждениям и графическим моделям
13 февраля 2015	1	Семинар «Фактор-графы, задачи вывода в ГМ, решение практических задач с помощью ГМ»	Презентация по практическим задачам
20 февраля 2015	2	Лекция «Алгоритм Belief Propagation (BP) для вывода в ациклических графических моделях. Алгоритм Loopy BP»	Конспект по алгоритмам передачи сообщений
20 февраля 2015	2	Семинар «Алгоритмы передачи сообщений»
27 февраля 2015	3	Лекция «Помехоустойчивое кодирование, теорема Шеннона, линейные коды, коды с малой плотностью проверок на чётность»	LDPC-коды в Википедии
27 февраля 2015	3	Семинар «Вывод формул для алгоритма декодирования в LDPC-кодах, выдача задания по кодированию»
6 марта 2015	4	Лекция «Скрытые марковские модели. Алгоритм сегментации сигнала, обучение с учителем и без учителя»	Презентация 1, Презентация 2
6 марта 2015	4	Семинар «Расширения скрытых марковских моделей»
13 марта 2015	5	Лекция «Линейные динамические системы. Фильтр Калмана. Расширенный фильтр Калмана.»	Конспект по ЛДС
13 марта 2015	5	Семинар «Вывод формул фильтра Калмана»
20 марта 2015	6	Лекция «Алгоритмы на основе разрезов графов, $\alpha$ -расширение.»	Презентация, конспект по разрезам графов
20 марта 2015	6	Семинар «Алгоритмы разрезов графов»
27 марта 2015	7	Лекция «Алгоритм Tree-ReWeighted Message Passing (TRW) для вывода в циклических графических моделях»	Конспект по TRW
27 марта 2015	7	Семинар «Двойственное разложение»
3 апреля 2015	8	Лекция «Структурный метод опорных векторов (SSVM)»	Конспект по SSVM
3 апреля 2015	8	Семинар «Слабое обучение структурного SVM»
10 апреля 2015	9	Лекция «Подход Expectation Propagation для приближённого вывода в графических моделях»	Методы вывода как алгоритмы передачи сообщений
10 апреля 2015	9	Семинар «Вывод формул EP для различных моделей»	Презентация по TrueSkill

Оценки по курсу

№ п/п	Студент	Практические задания		Сумма	Экзамен	Оценка
№ п/п	Студент	№1	№2	Сумма	Экзамен	Оценка
1	Апишев Мурат	3.9	7.0	10.9	0
2	Готман Мария	2.3	4.5	6.8	4	4
3	Дойков Никита	4.7	4.4	9.1	5	5
4	Козлов Владимир	3.6	3.7	7.3	5	5
5	Колмаков Евгений	4.1	4.6	8.7	4	5
6	Корольков Михаил		3.9	3.9	0
7	Лисяной Александр	3.7	3.9	7.6	5	5
8	Лукашкина Юлия	4.4	7.0	11.4	4	5
9	Ожерельев Илья	2	4.5	6.5	5	5
10	Родоманов Антон	2	3.8	5.8	5	4
11	Сендерович Никита	4.3	4.4	8.7	5	5
12	Славнов Константин	4.6	6.7	11.3	5	5
13	Тюрин Александр	4	5.0	9	5	5
14	Хальман Михаил	1.5	3.8	5.3	4	4
15	Хомутов Никита	3.2	4.5	7.7	5	5
16	Чистяков Александр	3.4	7.0	10.4	5	5
17	Шапулин Андрей	1.8	4.5	6.3	4	4
18	Шарчилев Борис (мехмат)	3.5		3.5

Система выставления оценок по курсу

В рамках курса предполагается два практических задания. Каждое практическое задание оценивается из 5-ти баллов.

При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно».
Итоговый балл за курс вычисляется по формуле Homework+2*Oral, где HomeWork — баллы, набранные за задания, а Oral — оценка за устный экзамен (0, 3, 4, 5). Для получения итоговой оценки 5 необходимо набрать 16 баллов, для оценки 4 — 13 баллов, для оценки 3 — 9 баллов.
Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 3 баллов.

Литература

Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
Wainwright M.J., Jordan M.I. Graphical Models, Exponential Families, and Variational Inference. Foundations and Trends in Machine Learning, NOWPress, 2008.
Koller D., Friedman N. Probabilistic Graphical Models: Principles and Techniques. The MIT Press, 2009.
Cowell R.G., Dawid A.P., Lauritzen S.L., Spiegelhalter D.J. Probabilistic networks and expert systems. Berlin: Springer, 1999.
Памятка по теории вероятностей