Статистика случайных процессов (курс лекций, ФКН ВШЭ)
Материал из MachineLearning.
(→Лекции) |
(→Лекции) |
||
Строка 59: | Строка 59: | ||
== Лекции == | == Лекции == | ||
+ | == Расписание == | ||
+ | |||
+ | {| class="standard" | ||
+ | !Дата !! № занятия !! Занятие !! Материалы | ||
+ | |- | ||
+ | | 13 января 2017 || align="center"|1 || Введение в курс. Основы теории случайных процессов. Непрерывность случайного процесса. || [https://www.dropbox.com/s/ni2fu3i826i1psq/lecture1.pdf?dl=0 Конспект лекции] | ||
+ | |- | ||
+ | | 13 января 2017 || align="center"|2 || Сети прямого распространения. Автоматическое дифференцирование. || | ||
+ | |- | ||
+ | | 16 сентября 2016 || align="center"|3 || Сверточные нейронные сети. || [[Media:DL16_lecture_3.pdf|Презентация]] | ||
+ | |- | ||
+ | | 23 сентября 2016 || align="center"|4 || Регуляризация нейронных сетей. || [[Media:DL16-Lecture_4.pdf|Презентация]] | ||
+ | |- | ||
+ | | 30 сентября 2016 || align="center"|5 || Нейронные сети для компьютерного зрения. Локализация, детектирование и распознавание объектов. || [https://yadi.sk/d/ID8zmeKZwY5tN Презентация] | ||
+ | |- | ||
+ | | rowspan=2|7 октября 2016 || rowspan=2, align="center"|6 || Визуализация слоев. Neural Style. || [https://yadi.sk/i/hmuXwl9iwY5jn Презентация] | ||
+ | |- | ||
+ | | Предобработка текстов. || [[Media:DL16-Lecture_7.pdf|Презентация]] | ||
+ | |- | ||
+ | | 14 октября 2016 || align="center"|7 || Рекуррентные нейронные сети. Проблема затухающих и взрывающихся градиентов. || rowspan=2|[https://drive.google.com/file/d/0B7TWwiIrcJstTnp2NktiUUtNbUk/view?usp=sharing Презентация] | ||
+ | |- | ||
+ | | 21 октября 2016 || align="center"|8 || Примеры применения рекуррентных нейронных сетей. Регуляризация. | ||
+ | |- | ||
+ | | 28 октября 2016 || align="center"|9 || Автокодировщики. || [[Media:DL16_lecture_9.pdf|Презентация]] | ||
+ | |- | ||
+ | | 11 ноября 2016 || align="center"|10 || Байесовский подход к теории вероятностей. Модели со скрытыми переменными. || [[Media:MMP_Practicum_317_2015_EM_algorithm.pdf|Конспект по ЕМ-алгоритму]] | ||
+ | |- | ||
+ | | 18 ноября 2016 || align="center"|11 || Вариационный автокодировщик. Стохастический граф вычислений. || [[Media:BMMO11_11.pdf|Конспект по вероятностному методу главных компонент]] [https://arxiv.org/abs/1312.6114 Статья] | ||
+ | |- | ||
+ | | 25 ноября 2016 || align="center"|12 || Генерация текста по картинке. || [https://github.com/ars-ashuha/ars-ashuha.github.io/blob/master/slides/2016.11.11_ImageCaptioning/image_captionong.pdf Презентация] | ||
+ | |- | ||
+ | | 2 декабря 2016 || align="center"|13 || Обучение с подкреплением. Примеры задач. || [[Media:DL16_lecture_13.pdf|Презентация]] | ||
+ | |- | ||
+ | | 9 декабря 2016 || align="center"|14 || Использование нейросетей в обучении с подкреплением. || [[Media:DL16_lecture_14.pdf|Презентация]] | ||
+ | |- | ||
+ | |} | ||
+ | |||
+ | |||
+ | |||
+ | |||
{| class = "standard" | {| class = "standard" | ||
|+ | |+ | ||
Строка 67: | Строка 107: | ||
|- | |- | ||
| align="center"|1 | | align="center"|1 | ||
- | | | + | | |
- | | | + | | | |
- | | | + | | || |
|- | |- | ||
| align="center"|2 | | align="center"|2 |
Версия 12:24, 23 января 2017
Курс дает теоретический и практический фундамент, необходимый при решении множества реальных промышленных задач, связанных с анализом данных в режиме реального времени. Необходимость в таких методах возникает во многих прикладных областях — например, при анализе временных рядов цен на акции, спроса на товары, числа посещений главной страницы интернет-поисковика. Трудность таких задач заключается в требовании максимально эффективного использования накопленной и поступающей информации для прогнозирования появления событий в неизвестном будущем или их обнаружения при неопределенном настоящем. Курс дает двоякие знания — математическую базу теории случайных процессов и навыки практической реализации алгоритмов анализа данных в оффлайн и онлайн-режимах. Будут рассмотрены основные подходы и вероятностные модели теории случайных процессов, такие как гауссовость, марковость, авторегрессионные модели, локально стационарные модели, модели в задачах скорейшего обнаружения; численные алгоритмы, в том числе сегментация, шумоподавление, оценка статистических характеристик, ключевые статистики в задачах обнаружения разладок и аномалий; слушателям будет предложена серия задач, направленных на анализ реальных данных посредством практического применения рассматриваемых подходов.
Занятия проходят на ФКН ВШЭ.
Лектор: Алексей Валерьевич Артемов. Лекции проходят по пятницам с 9:00 до 10:20 в ауд. 509 и (по нечетным неделям) с 12:10 до 13:30 в ауд. 317.
Полезные ссылки
[Репозиторий с материалами на GitHub]
Почта для сдачи домашних заданий: hse.cs.stochastics@gmail.com
Оставить отзыв на курс: форма
Вопросы по курсу можно задавать на почту курса, а также в телеграм лектору (artonson@) или семинаристу. Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [Issue] в [github-репозитории курса].
Семинары
Группа | Преподаватель | Учебный ассистент | Расписание | Почта для ДЗ |
---|---|---|---|---|
1 | Хромова Ольга Михайловна | Георгий Варганов | пятница, 10:30 – 11:50 (13:30 по четным неделям), ауд. 300 | hse.cs.stochastics@gmail.com |
2 | Волхонский Денис Алексеевич | Гайни Икрам | пятница, 10:30 – 11:50 (13:30 по четным неделям), ауд. 311 | hse.cs.stochastics@gmail.com |
Консультации
Система выставления оценок по курсу в 3-м модуле
- В рамках курса предполагается три практических задания, четыре домашних заданий и экзамен. Каждое задание и экзамен оцениваются по десятибалльной шкале.
- В итоговой оценке 50% составляют баллы за домашние задания и 50% – баллы за практические задания. Для получения финального результата (0, 4–10) итоговая оценка по курсу округляется в большую сторону.
- Сдача экзамена является необязательной и позволяет получить до 2 дополнительных баллов в итоговую оценку.
- Для получения итоговой оценки >= 8 баллов необходимо сдать все домашние и практические задания на положительный балл, для получения итоговой оценки >= 6 баллов необходимо сдать не менее двух практических и трех домашних заданий, для получения итоговой оценки >= 4 баллов необходимо сдать не менее одного практического и двух домашних заданий.
Формирование итоговой оценки по курсу по итогам 3-го и 4-го модулей
- За каждый из двух модулей выставляется независимая оценка в шкале 0, 4-10.
- Итоговая оценка по курсу вычисляется как среднее арифметическое двух оценок за каждый из модулей с дальнейшим округлением к ближайшему целому (.5 округляется к единице).
- Если по одному из модулей оценка 0 баллов, то итоговая оценка за курс – также 0 баллов.
Правила сдачи заданий
В рамках курса предполагается сдача нескольких домашних и практических заданий. Домашнее задание сдаётся к началу очередного семинара на листочках или (по согласованию с семинаристом) по почте в виде скана или pdf-файла. Домашние задания после срока сдачи не принимаются. Практические задания сдаются по почте. Эти задания могут быть присланы после срока сдачи, при этом начисляется штраф из расчёта 0.2 балла в день, но суммарно не более 6 баллов. При сдаче задания позже срока его проверка гарантируется только в случае, если оно было прислано не позже одной недели до официального окончания сессии.
Все домашние и практические задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
Лекции
Расписание
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
13 января 2017 | 1 | Введение в курс. Основы теории случайных процессов. Непрерывность случайного процесса. | Конспект лекции |
13 января 2017 | 2 | Сети прямого распространения. Автоматическое дифференцирование. | |
16 сентября 2016 | 3 | Сверточные нейронные сети. | Презентация |
23 сентября 2016 | 4 | Регуляризация нейронных сетей. | Презентация |
30 сентября 2016 | 5 | Нейронные сети для компьютерного зрения. Локализация, детектирование и распознавание объектов. | Презентация |
7 октября 2016 | 6 | Визуализация слоев. Neural Style. | Презентация |
Предобработка текстов. | Презентация | ||
14 октября 2016 | 7 | Рекуррентные нейронные сети. Проблема затухающих и взрывающихся градиентов. | Презентация |
21 октября 2016 | 8 | Примеры применения рекуррентных нейронных сетей. Регуляризация. | |
28 октября 2016 | 9 | Автокодировщики. | Презентация |
11 ноября 2016 | 10 | Байесовский подход к теории вероятностей. Модели со скрытыми переменными. | Конспект по ЕМ-алгоритму |
18 ноября 2016 | 11 | Вариационный автокодировщик. Стохастический граф вычислений. | Конспект по вероятностному методу главных компонент Статья |
25 ноября 2016 | 12 | Генерация текста по картинке. | Презентация |
2 декабря 2016 | 13 | Обучение с подкреплением. Примеры задач. | Презентация |
9 декабря 2016 | 14 | Использование нейросетей в обучении с подкреплением. | Презентация |
№ п/п | Дата | Занятие | Материалы | |
---|---|---|---|---|
1 | ||||
2 | 13 января 2017 | Стационарные случайные процессы. Пуассоновский и винеровский процесс. | ||
3 | 20 января 2017 | Генерирование реализаций случайных процессов. Дискретные марковские цепи. | ||
4 | 27 января 2017 | Марковские случайные процессы. |
Семинары
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 10 января 2017 | Скорости сходимости. Матричные вычисления. | Конспект |
2 | 17 января 2017 | Производные и условия оптимальности | Конспект |
Домашние задания
Задание 1. Скорости сходимости и матричные вычисления. Срок сдачи: 17 января 2017 (на семинаре).
Задание 2. Производные и условия оптимальности. Срок сдачи: 31 января 2017 (на семинаре).
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Б. Поляк. Введение в оптимизацию, Наука, 1983.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- R. Fletcher. Practical Methods of Optimization, Wiley, 2000.
- A. Antoniou, W.-S. Lu. Practical Optimization: Algorithms and Engineering Applications, Springer, 2007.
- W. Press et al.. Numerical Recipes. The Art of Scientific Computing, Cambridge University Press, 2007.