Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 674, весна 2020
Материал из MachineLearning.
(Различия между версиями)
(→Расписание докладов) |
|||
Строка 154: | Строка 154: | ||
== Расписание докладов == | == Расписание докладов == | ||
- | {|class="wikitable" | + | <!-- {|class="wikitable" |
|- | |- | ||
! Дата (можно менять, но согласовывать с другими) | ! Дата (можно менять, но согласовывать с другими) | ||
Строка 221: | Строка 221: | ||
| | | | ||
|} | |} | ||
+ | --> | ||
== == | == == |
Версия 22:21, 11 февраля 2020
Фундаментальные теоремы машинного обучения
Мотивация
- Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
- Подготовка сборника коллективом авторов.
Содержание |
Темы лекций
- Теорема о сингулярном разложении Молер-Форсайт и другие разложения
- Метод главных компонент Рао и разложение Карунена-Лоэва
- Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
- Теорема о бесплатных обедах в машинном обучении, Волперт
- Метрические пространства: RKHS Аронжайн, теорема Мерсера
- Теорема схем, Холланд
- Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
- Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
- РАС-learning, теорема о том, что сжатие предполагает обучаемость
- Representer theorem, Schölkopf, Herbrich, and Smola
- Вариационная аппроксимация
- Сходимость про вероятности при выборе моделей
- Теорема о связи распределений в экспонентном семействе
- (? Теорема про бандитов)
- (? Копулы и теорема Скляра)
Предлагаемый план изложения материала:
- Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
- Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
- Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
- Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему
Сылка на проект
Расписание лекций
Дата (можно менять, но согласовывать с другими) | Тема | Лектор | Ссылки |
---|---|---|---|
19 февраля | Теорема о сингулярном разложении Молер-Форсайт и другие разложения | Роман Исаченко | |
26 февраля | Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | Марк Потанин | |
4 марта | Обобщенно-линейные модели теорема о связи распределений в экспонентном семействе | Андрей Грабовой | |
11 марта | РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | Тамаз Гадаев | |
18 марта | Теорема о бесплатных обедах в машинном обучении, Волперт | Радослав Нейчев | |
25 марта | Сходимость про вероятности при выборе моделей | Марк Потанин | |
1 апреля | Теорема схем, Холланд | Радослав Нейчев | |
8 апреля | Метрические пространства: RKHS Аронжайн, теорема Мерсера | Алексей Гончаров | |
15 апреля | Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | Филипп Никитин | |
22 апреля | Representer theorem, Schölkopf, Herbrich, and Smola | ||
29 апреля | Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | Филипп Никитин | |
6 мая | Вариационная аппроксимация, теорема о байесовском выборе моделей | Олег Бахтеев |
Темы докладов
Источник: научные статьи последних лет. Продолжительность: 30 минут.
Цели:
- Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
- Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.
Рекомендации к стилю изложения:
- дать основные определения этой области,
- вводимые обозначения должны быть удобны и непротиворечивы,
- используемые термины должны быть точны,
- дать теоретические постановки задач,
- желательно (!) привести теоретические примеры решения и его основные свойства,
- представить математические методы,
- привести примеры прикладных задач.
Доклад 30 и 10 на тест. Тест: готовит лектор, 5 вопросов, требующих краткий ответ на понимание.
Не рекомендуется:
- копипаста из статей, особенно бессмысленная,
- увеличение объема материала за счет снижения качества,
- использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.
Principle of definitions, ССС: Correct, Complete, Concise (корректно, полно, сжато).
- Байесовское программирование, проблемы и тренды (Салахутдинов)
- Онлайновое обучение
- Байесовские решающие деревья в задачах анализа текстов
- Порождающие модели (гетерогенные, Исаченко)
- Достижения и проблемы RL
- Active learning
- Привилегированное обучение
- Частичное обучение (Semi-supervised learning, Transductive learning)
- Косвенное обучение (Transfer learning)
- Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
- Онлайновое обучение, проблемы и новости
- Атаки на сети: теоретический анализ
Расписание докладов
- Короткий адрес страницы http://bit.ly/2U3ExKd
- Основная статья