Алгебра над алгоритмами и эвристический поиск закономерностей

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Заседания 2018—2019 уч. года)
м (Заседания 2018—2019 уч. года: Ссылка на слайды)
Строка 56: Строка 56:
| 01 октября 2018
| 01 октября 2018
| ''Каюмов Эмиль Марселевич'' (617)
| ''Каюмов Эмиль Марселевич'' (617)
-
| '''Short intro to RL'''
+
| '''AlphaGo / AlphaGo Zero'''
-
Поговорим про особенности обучения с подкреплением, пройдёмся верхами по основным подходам и структуризируем их.
+
Рассмотрим, что из себя представляют два известных подхода DeepMind к игре в го.
-
|
+
| [https://github.com/emilkayumov/slides-and-papers/blob/master/alphagozero_review.pdf Слайды]
|-
|-

Версия 07:35, 8 октября 2018

Руководитель спецсеминара: д.ф.-м.н., профессор Дьяконов Александр Геннадьевич

Направления работы на спецсеминаре

Содержание

В рамках работы на спецсеминаре есть два направления исследования:

  1. Теоретическое. Проводится в рамках алгебраического подхода к решению задач распознавания. Суть подхода: на алгоритмах, которые решают задачи обработки и анализа данных, специальным образом вводятся алгебраические операции. Например, можно складывать алгоритмы (получается опять алгоритм), умножать и т. д. Среди получаемых алгебраических выражений над «естественными» алгоритмами есть высокоэффективные алгоритмы. На спецсеминаре рассматриваются вопросы: как их строить, анализировать, реализовывать на ЭВМ и т. д. и т. п. Здесь же возникают задачи современной теории интерполяции: построения функций специального вида, заданных частично. Можно заниматься дискретным направлением: решать подобные задачи для функций, принимающих значения 0 и 1. Данное направление представляет особую ценность студентам, которые хотят получить самостоятельные результаты в науке и продолжить обучение в аспирантуре.
  2. Прикладное. Решаются реальные прикладные задачи анализа данных (data mining). Например, построение рекомендательных систем, прогнозирование свойств динамических графов (в том числе и графов социальных сетей), прогнозирование поведения потребителей, анализ метаданных, классификация сигналов головного мозга, классификация сигналов-показаний работы механизмов, настройка спам-фильтров, автоматическая рубрикация текстов, прогнозирование финансовых временных рядов. От студентов требуется желание глубоко понять задачу (данные и скрытые в них закономерности), умение быстро осваивать новые методы (в незнакомой области), хорошо программировать, выдвигать гипотезы и фантазировать (последнее очень важно).


См. также «Правила для постоянных участников».


Заседания спецсеминара

В осеннем семестре 2018 года заседания будут проходить по понедельникам, начиная с 17 сентября, раз в две недели (через одну), начало в 18:20, ауд. 508. Вход свободный.


Заседания 2018—2019 уч. года

Дата Докладчик Доклад Материалы
17 сентября 2018 Иванов Сергей Максимович (517) Обзор инструментов глубинного обучения ч.1

В докладе будут рассмотрены основные принципы и идеи построения архитектур нейронных сетей, использующихся в современном глубинном обучении.

слайды

sec. 1-2

17 сентября 2018 Медведев Алексей Владимирович (417) «Мета-обучение»


слайды
01 октября 2018 Иванов Сергей Максимович (517) Обзор инструментов глубинного обучения ч.2

Во второй части доклада будут рассмотрены способы обучения представления данных и методы построения генеративных моделей.

слайды

sec. 3-4

01 октября 2018 Каюмов Эмиль Марселевич (617) AlphaGo / AlphaGo Zero

Рассмотрим, что из себя представляют два известных подхода DeepMind к игре в го.

Слайды
15 октября 2018 Амир Мирас Сабыргалиулы (617) Современные подходы в области обработки естественного языка


15 октября 2018 Коваленко Павел Антонович (617) ...
29 октября 2018 Гурьянова Валерия Николаевна (асп) ...

Участники

Участник План работы Комментарий
Каюмов Эмиль Марселевич (617) https://github.com/emilkayumov/activity-report-2018
Амир Мирас Сабыргалиулы (617) https://github.com/amirassov/research-nlp
Коваленко Павел Антонович (617) https://github.com/pashakovalenko/masters_diploma
Иванов Сергей Максимович (517) https://github.com/FortsAndMills/Learning-Reinforcement-Learning
Mедведев Алексей Владимирович (417) https://github.com/doorinthewall/diary_of_science_work
Демин Георгий Александрович (317)
Лебедь Федор Сергеевич (317) https://gitlab.com/fedor-lebed/mmp2018
Попов Дмитрий Олегович (317) https://gitlab.com/aredosbyk/mmp2018
Гурьянова Валерия Николаевна (асп) https://valeriiads.blogspot.com/


Заседния в предыдущих семестрах:

Участники прошлых лет

Год выпуска Участники
2018 бак

Иванов Сергей

2017 бак

Никишин Евгений

Каюмов Эмиль

Севастопольский Артём

2018 маг

Викулин Всеволод

Кудрявцев Георгий

  • Курсовая работа «Методы сравнения траекторий».
  • Доклад «Сверточные сети и метод водораздела для семантической сегментации RGBD-видео».
  • Доклад «Закон Бенфорда».

Рысьмятова Анастасия

Вихрева Мария

2017 маг

Кибитова Валерия

Гурьянов Алексей

аспиранты 1 г.о.

Трофимов Михаил


аспиранты 3 г.о.

Нижибицкий Евгений

Остапец Андрей

  • Курсовая работа «Обзор методов линейного регрессионного анализа».
  • Доклад «Deep Learning».
  • Курсовая работа «Применение методов регрессионного анализа для решения задачи прогнозирования временных финансовых рядов».
  • Доклад «Анализ сигналов сенсорных устройств».
  • Остапец А. А. Анализ сигналов сенсорных устройств // Сборник тезисов XXI Международной научной конференции студентов, аспирантов и молодых ученых «Ломоносов-2014». Издательский отдел факультета вычислительной математики и кибернетики МГУ имени М. В. Ломоносова, 2014. С. 41-43.
  • Дипломная работа «Анализ сигналов сенсорных устройств».
  • Остапец А. А. Анализ сигналов сенсорных устройств // Сборник тезисов лучших дипломных работ факультета ВМК МГУ 2014 года. Издательский отдел факультета вычислительной математики и кибернетики МГУ имени М. В. Ломоносова, 2014. С. 44-46.
  • Остапец А. А. Определение местоположения телефона по данным сенсоров // Машинное обучение и анализ данных. 2014. T. 1, № 9. C. 1232—1245
  • Остапец А. А. Алгебраический подход к задаче иерархической классификации текстов // Сборник тезисов XXII Международной научной конференции студентов, аспирантов и молодых ученых «Ломоносов-2015». Издательский отдел факультета вычислительной математики и кибернетики МГУ имени М. В. Ломоносова, 2015. С. 54-55.
  • Остапец А. А. Определение категории видеозаписи на основе текстовых метаданных // Сборник тезисов XXIII Международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2016». Издательский отдел факультета вычислительной математики и кибернетики МГУ имени М. В. Ломоносова, 2016. С. 132-134.
  • Остапец А. А. Об одном подходе к решению задачи автоматической классификации товаров на основе текстовой информации // Материалы Международной научной конференции "Современные методы и проблемы теории операторов и гармонического анализа и их приложения - VI", Издательский центр ДГТУ, Ростов, 2016. С. 164-165.

Выпускники спецсеминара

Год выпускаВыпускники
Аспирант, 2010

Карпович Павел

  • Карпович П. А. k-сингулярные системы точек в пространстве l1 // Сборник тезисов XVI Международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2009», секция «Вычислительная математика и кибернетика», М: МАКС Пресс, 2009. — C.34.
  • Карпович П. А. Эффективная реализация алгоритмов распознавания образов // Журнал вычислительной математики и математической физики, 2009, Т. 49, № 8. C.1510-1516.
  • Карпович П. А. О задаче разделения системы точек в пространсте l1 на подсистемы с невырождеными матрицами попарных расстояний // Тезисы конференции МФТИ, Секция проблем интеллектуального анализа данных, распознавания и прогнозирования. — М.: ГОУ ВПО «Московский физико-технический институт (государственный университет)», 2009. — С. 52.
  • Карпович П. А., Дьяконов А. Г. Критерий k-сингулярности систем точек в алгебраическом подходе к распознаванию // 14-я Всероссийская конференция «Математические методы распознавания образов» Владимирская обл., г. Суздаль, 21-26 сентября 2009 г.: Сборник докладов. — М. МАКС Пресс, 2009. С. 41-44.
  • Карпович П.А. Разделение системы точек на подмножества с невырожденными матрицами попарных расстояний // Материалы XVII Международной конференции студентов и аспирантов по фундаментальным наукам «Ломоносов 2010». – М.: Изд. отдел ВМиК МГУ, МАКС Пресс, 2010. – С. 87-88.
  • Карпович П.А. Критерии k-сингулярности и разделение 1-сингулянрных систем // Вестник Московского университета. Секция 15. “Вычислительная математика и кибернетика” – 2010. № 4.
  • Карпович П.А. Дьяконов А.Г. K-сингулярные системы точек, приложения в алгебраическом подходе к распознаванию // Тезисы докладов Международной научной конференции ИОИ-8 Кипр, Пафос - 2010.

Диссертация: «K-сингулярные системы точек в алгебраическом подходе к распознаванию образов» (2010, успешно защищена 18.02.2011 по специальности 01.01.09).

2015 бак

Славнов Константин

2015

Рыжков Александр

Харациди Олег

2014

Нижибицкий Евгений

Остапец Андрей

Фонарев Александр

Ромов Петр Алексеевич

  • раздолбай
2013

Бобрик Ксения

  • Тема работы «Прогнозирование временных рядов».

Ермушева Александра

Кириллов Александр

  • Курсовая работа «Матричное разложение в задаче анализа текстов».
  • Дипломная работа «Дизъюнктивные нормальные формы специального вида для функций с малым количеством нулей».
  • Тема преддипломной практики «Задача оптимизации и моделирования при настройке рекомендательной системы».
  • Второе место на конкурсе Интернет-математика «Relevance Prediction Challenge» (лучший результат среди российских участников).
  • Figurnov M., Kirillov A. Linear combination of random forests for the Relevance Prediction Challenge — 2012.
  • Кириллов А. Н. Предсказание связности графа. // Сборник тезисов XIX Международной научной конференции студентов, аспирантов и молодых ученых «Ломоносов-2012». Секция «Вычислительная математика и кибернетика». М.: МАКС Пресс, 2012, с. 101—102.
  • Кириллов А. Н. Сравнение методов предсказания появления связей в графе. // Сборник докладов 9-й международной конференции «Интеллектуализация обработки информации-2012», М: Торус Пресс, 2012. — С. 629—632.
  • Фигурнов М. В., Кириллов А. Н. Линейная комбинация случайных лесов в задаче предсказания релевантности документов // Сборник докладов 9-й международной конференции «Интеллектуализация обработки информации-2012», М: Торус Пресс, 2012. — С. 648—651.

Кондрашкин Дмитрий (перевёлся на другой спецсеминар)


Фигурнов Михаил

  • Курсовая работа «Метрические критерии k-сингулярности».
  • Дипломная работа «Системы точек с вырожденными матрицами попарных расстояний».
  • Тема преддипломной практики «Технология разработки рекомендательных систем».
  • Второе место на конкурсе Интернет-математика «Relevance Prediction Challenge» (лучший результат среди российских участников).
  • Figurnov M., Kirillov A. Linear combination of random forests for the Relevance Prediction Challenge — 2012.
  • Фигурнов М. В. Линейная комбинация случайных лесов в задаче предсказания релевантности документов. // Сборник тезисов XIX Международной научной конференции студентов, аспирантов и молодых ученых «Ломоносов-2012». Секция «Вычислительная математика и кибернетика». М.: МАКС Пресс, 2012, с. 107—109.
  • Фигурнов М. В., Кириллов А. Н. Линейная комбинация случайных лесов в задаче предсказания релевантности документов // Сборник докладов 9-й международной конференции «Интеллектуализация обработки информации-2012», М: Торус Пресс, 2012. — С. 648—651.
2012

Платонова Елена

2010

Ахламченкова Ольга

  • Дипломная работа «Машинное обучение для ранжирования документов».

Токарева (Одинокова) Евгения

2009

Власова Юлия

  • Дипломная работа «Генерация признаков в задаче классификации сигналов» (PDF, 929 КБ).
  • Власова Ю. В. Применение генетических алгоритмов в задаче классификации сигналов (приложение в BCI) // Сборник тезисов XVI Международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2009», секция «Вычислительная математика и кибернетика», М: МАКС Пресс, 2009. — C.17.
  • Власова Ю. В. Применение генетических алгоритмов в задаче классификации сигналов (приложение в BCI) // Доклады 14-й Всероссийской конференции «Математические методы распознавания образов», М.: МАКС Пресс, 2009, С. 96-99.

Логинов Вячеслав

  • Дипломная работа «Прогнозирование временных рядов с помощью рекуррентных нейросетей с откликом».

Фёдорова Валентина

  • Дипломная работа «Локальные методы прогнозирования временных рядов».
  • Федорова В. П. Локальные методы прогнозирования временных рядов // Сборник тезисов XVI Международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2009», секция «Вычислительная математика и кибернетика», М: МАКС Пресс, 2009. — C.87.

Чучвара Алексндра (бакалавр)

2008

Ломова Дарья

  • Дипломная работа «Выделение закономерностей во временных рядах методом анализа главных компонент».

Вершкова Ирина

  • Дипломная работа «Локальная и глобальная согласованность в интеллектуальном анализе данных».
2007

Кнорре Анна

  • Дипломная работа «Надежность алгоритмов распознавания, основанных на синтезе дизъюнктивных нормальных форм».

Карпович Павел

  • Дипломная работа «Эффективная реализация алгоритмов распознавания образов».

Сиваченко Евгений

  • Дипломная работа «Нейросетевой поиск логических закономерностей».
2006

Ховратович (Курятникова) Татьяна

  • Дипломная работа «Критерии корректности в задачах распознавания образов с малым числом признаков».
  • Курятникова Т. С. Критерии корректности алгебраического и линейного замыкания АВО для малых размерностей // Материалы XII Международной конференции студентов, аспирантов и молодых учёных «Ломоносов», секция «Вычислительная математика и кибернетика». М.: Изд. отд. ВМиК МГУ, 2006. — c. 32-33.

Мошин Николай

  • Дипломная работа «Эффективная реализация алгоритмов решения задачи выполнимости».
2005

Каменева Наталия

  • Дипломная работа «Эффективные логические алгоритмы распознавания, основанные на синтезе ДНФ».

Силкин Леонид

  • Дипломная работа «Оценка разделяющей способности признаков при кодировании информации в задачах распознавания».

Некоторые решаемые прикладные задачи

  • Прогнозирование временных рядов По характеристикам процесса в прошлом предсказать поведение в будущем. Знание о прошлом может быть неполным или ошибочным. Типичный пример: прогнозирование денежных сумм, которые будут сниматься с банкомата в течение следующей недели.
  • Классификация технических сигналов и сигналов головного мозга По описанию изменения некоторой характеристики процесса необходимо определить её класс. Например, по электрокортикограмме определить ментальное состояние человека. При этом обучающая выборка (данные, которые у нас есть) была собрана достаточно давно, а тестирование алгоритма будет проводиться потом (при изменённых внешних условиях, а следовательно, при изменённых характеристиках данных).
  • Фильтрация спама Настроить спам-фильтр на некотором универсальном обучающем множестве (данных спам-ловушек) так, чтобы он хорошо работал на компьютере конкретного пользователя (без дополнительной донастройки).
  • Иерархическая классификация текстов Написать алгоритм автоматической категоризации документов. Например, новостные рассылки необходимо распределить по каталогам «спорт/футбол», «спорт/биатлон», «музыка/концерты», «музыка/рок/исполнители» и т. д.
  • Ранжирование документов на основе обучающего множества Написать алгоритм, который оценивает релевантность документа поисковому запросу. Для фиксированного запроса упорядочить документы (используя их признаковые описания) так, чтобы порядок отражал «адекватность» запроса.
  • Прогноз связности графа социальной сети Предсказать изменения динамического графа социальной сети, в частности, появление новых рёбер.
  • Прогнозирование успешности грантов и проектов По описанию заявки оценить перспективность выполнения данного проекта.
  • Разработка рекомендательного алгоритма, который делает актуальные предложения купить какой-то товар, воспользоваться услугой или прочитать материал.
  • Предсказывание визитов покупателей и сумм покупок для сети супермаркетов Разработка алгоритма, который предсказывает дату первого визита и сумму покупки каждого клиента.
  • Оценка фотографий по метаданным Прогноз «интересности» фото-материалов на основе анализа названия, описания, GPS-координат съёмки и т.п.
  • Задача кредитного скоринга Прогнозирование надёжности клиента банка по обязательствам выплаты процентов кредита.