Материал из MachineLearning.
-
Мотивация и план курса
Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.
Короткая ссылка bit.ly/MLTh_21
Каждое занятие курса
- Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение)
- Два студенческих доклада (20'=15'+5' обсуждение)
Каждый студент делает два доклада
- С теоремой взятой из литературы, по которой выполняется дипломная работа
- С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе
Приветствуются!
- Варианты собственных формулировок и доказательств
- Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа)
План изложения материала
- Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
- Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
- Формулировка и доказательство теоремы в строгом изложении (но можно отходить от авторского варианта, если это нужно для ясности)
- Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему
Оформление
- В виде страницы текста, пример, шаблон
- Слайды приветствуются, но необязательны
- Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки)
Материалы курса
Оценивание
- Доклад и материалы к нему 0-4 балла (по результатам сравнения работ)
- Не по расписанию делим на два
- Экзамен 2 балла
Расписание докладов
Докладчик
| Литература
| Диплом
|
Бишук Антон
| 17.2 link
| 31.3 link
|
Вайсер Кирилл
| 17.2 link
| 31.3 link
|
Гребенькова Ольга
| 24.2 link
| 7.4 link
|
Гунаев Руслан
| 24.2 link
| 7.4 link
|
Жолобов Владимир
| 3.3 link
| 14.4 link
|
Исламов Рустем
| 3.3 link
| 14.4 link
|
Панкратов Виктор
| 10.3 link
| 21.4 link
|
Савельев Николай
| 10.3 link
| 21.4 link
|
Филатов Андрей
| 10.3 link
| 21.4 link
|
Филиппова Анастасия
| 17.3 link
| 28.4 link
|
Харь Александра
| 17.3 link
| 28.4 link
|
Христолюбов Максим
| 24.3 link
| 5.5 link
|
Шокоров Вячеслав
| 24.3 link
| 5.5 link
|
Темы лекций
- Теорема Гаусса-Маркова
- Теорема о сингулярном разложении Молер-Форсайт и другие разложения
- Метод главных компонент Рао и разложение Карунена-Лоэва
- Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
- Теорема о бесплатных обедах в машинном обучении, Волперт
- Метрические пространства: RKHS Аронжайн, теорема Мерсера
- Теорема схем, Холланд
- Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
- Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
- РАС-learning, теорема о том, что сжатие предполагает обучаемость
- Representer theorem, Schölkopf, Herbrich, and Smola
- Вариационная аппроксимация
- Сходимость про вероятности при выборе моделей
- Теорема о связи распределений в экспонентном семействе
- Теорема о многоруких бандитах
- Копулы и теорема Скляра
Темы для докладов
- Теоремы трех работа Greg Yang https://arxiv.org/pdf/1910.12478.pdf https://arxiv.org/pdf/2006.14548 https://arxiv.org/pdf/2009.10685.pdf рус
- Теоремы работы по потокам Johann Brehmera and Kyle Cranmera arXiv:2003.13913v2
Расписание лекций
Дата
| Тема
| Лектор
| Ссылки
|
10 февраля
| Вводное занятие (и Основная теорема статистики)
| Стрижов, Потанин
| link
|
17 февраля
| Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена
| Марк Потанин
| link
|
24 февраля
| Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
| Марк Потанин
| link
|
4 марта
| Берштейн - фон Мизес
| Андрей Грабовой
|
|
10 марта
| РАС обучаемость, теорема о том, что сжатие предполагает обучаемость
| Андрей Грабовой
| link
|
17 марта
| Теорема о бесплатных обедах в машинном обучении, Волперт
| Радослав Нейчев
| link
|
24 марта
| Сходимость про вероятности при выборе моделей
| Марк Потанин
| link
|
31 марта
| Теорема схем, Холланд
| Радослав Нейчев
| link
|
7 апреля
| Теорема о минимальной длине описания
| Олег Бахтеев
| link
|
14 апреля
| Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
| Филипп Никитин
| link
|
21 апреля
| Representer theorem, Schölkopf, Herbrich, and Smola
| Андрей Грабовой
| link
|
28 апреля
| Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
| Филипп Никитин
| link
|
5 мая
| Вариационная аппроксимация, теорема о байесовском выборе моделей
| Олег Бахтеев
| link
|
12 мая
| Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом)
| Потанин, Стрижов
|
|
26 мая
| Экзамен: схемы доказательства различных теорем (тест на время, как в гос по физике, и обсуждение)
| Потанин, Адуенко, Бахтеев
|
|
Литература
- Аксиоматический метод, 2015
- Клини С.К. Введение в метаматематику, 1957
- Успенский В.А. Что такое аксиоматический метод?, 2001 (см. также Труды по НЕматематике)
- Купиллари А. Трудности доказательств, 2002
- Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин, 1970 (глава про сходимость)
- Borovkov A.A. Mathematical statistics, 1998
- Пикабу. Типичные методы доказательства, 2018 (если вы чувствуете, что несет не туда)
- Henry Poincare. Science and Method
- Peter Kosso. A Summary of Scientific Method, 2011
- Carlo Ghezzi Being a Researcher: An Informatics Perspective, 2020