Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 074, осень 2015
Материал из MachineLearning.
(Различия между версиями)
(→К.В. Рудаков, Интеллектуальные системы) |
|||
(47 промежуточных версий не показаны.) | |||
Строка 15: | Строка 15: | ||
! 7 | ! 7 | ||
! 8 | ! 8 | ||
- | |||
- | |||
! <tex>{\Sigma}</tex> | ! <tex>{\Sigma}</tex> | ||
|- | |- | ||
Строка 28: | Строка 26: | ||
| 7 | | 7 | ||
| 8 | | 8 | ||
- | |||
- | |||
| <tex>{\Sigma}</tex> | | <tex>{\Sigma}</tex> | ||
|- | |- | ||
Строка 35: | Строка 31: | ||
| 1[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Bakhteev2015Essay/Bakhteev2015Essay1/doc.pdf] | | 1[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Bakhteev2015Essay/Bakhteev2015Essay1/doc.pdf] | ||
| | | | ||
+ | | 3[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Bakhteev2015Essay/Bakhteev2015Essay2/doc.pdf] | ||
| | | | ||
- | | | + | | 5[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Bakhteev2015Essay/Bakhteev2015Essay5/doc.pdf] |
- | | | + | | 6[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Bakhteev2015Essay/Bakhteev2015Essay6/BakhteevStructureConditions.pdf] |
- | | | + | | 7[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Bakhteev2015Essay/Bakhteev2015Essay7/Problem.pdf] |
- | | | + | | 8[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Bakhteev2015Essay/Bakhteev2015Essay8/Bakhteev2015Essay8.pdf] |
- | | | + | | 6 |
- | + | ||
- | + | ||
- | + | ||
|- | |- | ||
|Вдовина Евгения | |Вдовина Евгения | ||
| | | | ||
+ | |2[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Vdovina2015Essay/Vdovina2015Essay2.pdf] | ||
+ | |3[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Vdovina2015Essay/Vdovina2015Essay3.pdf] | ||
+ | |4[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Vdovina2015Essay/Vdovina2015Essay4.pdf] | ||
+ | |5[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Vdovina2015Essay/Vdovina2015Essay5.pdf] | ||
| | | | ||
+ | |7[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Vdovina2015Essay/Vdovina2015Essay7.pdf] | ||
| | | | ||
- | | | + | |5 |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
|- | |- | ||
|Старожилец Всеволод | |Старожилец Всеволод | ||
- | |1[https:// | + | |1[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Starozhilets2015Essay/Starozhilets2015Essay1/StarozhiletsEssay1.pdf] |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
| | | | ||
+ | |3[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Starozhilets2015Essay/Starozhilets2015Essay3/StarozhiletsEssay3.pdf] | ||
+ | |4[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Starozhilets2015Essay/Starozhilets2015Essay4/StarozhiletsEssay4.pdf] | ||
| | | | ||
| | | | ||
+ | |7[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Starozhilets2015Essay/Starozhilets2015Essay7/StarozhiletsEssay7.pdf] | ||
+ | |8[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Starozhilets2015Essay/Starozhilets2015Essay8/StarozhiletsEssay8.pdf] | ||
+ | |5 | ||
|- | |- | ||
|Трофимов Михаил | |Трофимов Михаил | ||
| | | | ||
- | |2[ | + | |2[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Trofimov2015Essay/Trofimov2015Essay2/Trofimov2015Essay2.pdf?format=raw] |
- | | | + | |3[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Trofimov2015Essay/Trofimov2015Essay3/Trofimov2015Essay3.pdf?format=raw] |
- | | | + | |4[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Trofimov2015Essay/Trofimov2015Essay4/Essay4.pdf?format=raw] |
- | | | + | |5[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Trofimov2015Essay/Trofimov2015Essay5/Trofimov2015Essay5.pdf?format=raw] |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
| | | | ||
+ | |7[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Trofimov2015Essay/Trofimov2015Essay7/Essay7.pdf?format=raw] | ||
| | | | ||
+ | |5 | ||
|- | |- | ||
|Сухарева Анжелика | |Сухарева Анжелика | ||
|1[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Sukhareva2015Essay/Sukhareva2015Essay1.pdf?format=raw] | |1[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Sukhareva2015Essay/Sukhareva2015Essay1.pdf?format=raw] | ||
- | | | + | |2[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Sukhareva2015Essay/Sukhareva2015Essay2.pdf?format=raw] |
- | | | + | |3[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Sukhareva2015Essay/Sukhareva2015Essay3.pdf?format=raw] |
- | | | + | |4[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Sukhareva2015Essay/Sukhareva2015Essay4.pdf?format=raw] |
- | | | + | |5[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Sukhareva2015Essay/Sukhareva2015Essay5.pdf?format=raw] |
- | | | + | |6[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Sukhareva2015Essay/Sukhareva2015Essay6.pdf?format=raw] |
- | | | + | |7[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Sukhareva2015Essay/Sukhareva2015Essay7.pdf?format=raw] |
- | | | + | |8[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Sukhareva2015Essay/Sukhareva2015Essay8.pdf?format=raw] |
- | | | + | |8 |
- | + | ||
- | + | ||
|- | |- | ||
|Катруца Александр | |Катруца Александр | ||
Строка 120: | Строка 92: | ||
| | | | ||
| | | | ||
- | + | | | |
- | + | ||
- | | | + | |
|- | |- | ||
|} | |} | ||
Строка 139: | Строка 109: | ||
#* в контексте всей системы, | #* в контексте всей системы, | ||
#* как отдельный элемент системы. | #* как отдельный элемент системы. | ||
+ | # Предложить решение классической задачи 28 из [[Задачи пробного программирования|списка задач для поступления на кафедру]]. | ||
+ | # Сделать краткое и ясное описание на языке алгебры и теории графов одного из нижеперечисленных методов | ||
+ | ## Word2vec | ||
+ | ## Рекурсивный автокодировщик | ||
+ | ## Машина Больцмана | ||
+ | ## Сверточная нейронная сеть | ||
+ | ## Структурное обучение по [http://www.youtube.com/watch?v=LbsBguCUFEc Tommi Jaakkola] | ||
+ | ## Структурное обучение по [http://www.jmlr.org/papers/volume6/tsochantaridis05a/tsochantaridis05a.pdf Ioannis Tsochantaridis], см. также [http://www.di.ens.fr/willow/events/cvml2010/materials/INRIA_summer_school_2010_Christoph.pdf слайды.] | ||
+ | # Сделать, по возможности, полное и подробное описание постановки задачи оптимизации параметров сети глубокого обучения с учетом расписания процедур иерархической оптимизации. | ||
'''Список тем прошлого года''' | '''Список тем прошлого года''' | ||
Строка 186: | Строка 165: | ||
|Методы оценки ковариационных матриц в задачах регрессии и классификации | |Методы оценки ковариационных матриц в задачах регрессии и классификации | ||
|Александр Адуенко | |Александр Адуенко | ||
- | | | + | |[[Media:Aduenko_presentation_russian.pdf|Презентация, pdf]] |
|22 октября | |22 октября | ||
| | | | ||
Строка 193: | Строка 172: | ||
|Методы построения мультимоделей в задачах регрессии | |Методы построения мультимоделей в задачах регрессии | ||
|Александр Адуенко | |Александр Адуенко | ||
- | | | + | |[[Media:Aduenko multimodels 20151126.pdf|Презентация, pdf]] |
- | | | + | |26 ноября |
| | | | ||
| | | | ||
Строка 207: | Строка 186: | ||
| Задачи ИЧК (BCI) и обработка сигналов МЭГ | | Задачи ИЧК (BCI) и обработка сигналов МЭГ | ||
| Вдовина Евгения | | Вдовина Евгения | ||
- | | | + | |[http://svn.code.sf.net/p/mlalgorithms/code/Group074/Vdovina2015Essay/BCI_presentation.pdf Презентация, pdf] |
|15 октября | |15 октября | ||
- | | | + | |4(TLK)+3.5/5(AK)+5/5(OB)+5/5(RK)+5/5(MT)+4/5(AA)+5/5(AS)+5/5(VS) |
- | | | + | |5.625 |
|- | |- | ||
|Порождающий и разделяющий подходы в задаче определения объема выборки | |Порождающий и разделяющий подходы в задаче определения объема выборки | ||
|Анастасия Мотренко | |Анастасия Мотренко | ||
- | | | + | |[http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Motrenko/presentation/GenDis_presentation.pdf?format=raw Презентация, pdf] |
- | | | + | |12 ноября |
| | | | ||
| | | | ||
Строка 221: | Строка 200: | ||
| Инварианты в задачах глубокого обучения | | Инварианты в задачах глубокого обучения | ||
| Бахтеев Олег | | Бахтеев Олег | ||
- | | | + | |[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Bakhteev2015Essay/Bakhteev2015DeepInvariants/presentation.pdf Презентация, pdf] |
| 1 октября | | 1 октября | ||
- | | | + | |4(TLK)+2.5/5(AK)+4.5/5(MT)+3/5(AA)+5/5(AS) |
+ | |4.75 | ||
+ | |- | ||
| | | | ||
- | + | Word2vec, синтаксические парсеры, автокодировщики в сетях глубокого обучения | |
- | + | ||
| Кузнецова Рита | | Кузнецова Рита | ||
+ | |[https://svn.code.sf.net/p/mlalgorithms/code/Group974/Kuznetsova2014Essay/presentation.pdf Презентация, pdf] | ||
+ | | 15 октября | ||
| | | | ||
- | |||
| | | | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
|- | |- | ||
|Обучение словарей | |Обучение словарей | ||
- | | | + | |Анжелика Сухарева |
- | | | + | |[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Sukhareva2015Essay/Sukhareva_Presentation.pdf Презентация, pdf] |
- | | | + | | 22 октября |
- | | | + | |4(TLK)+1/5(AK)+4/5(OB)+3.5/5(RK)+4.5/5(EV)+4/5(MT)+2/5(AA)+4/5(VS) |
- | | | + | |5.15 |
|- | |- | ||
|Онлайновое обучение, обучение с подкреплением | |Онлайновое обучение, обучение с подкреплением | ||
|Михаил Трофимов | |Михаил Трофимов | ||
- | | | + | |[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Trofimov2015OnlineLearningReinforcementLearning/Trofimov2015OLRL.pdf?format=raw Презентация, pdf] |
| 22 октября | | 22 октября | ||
- | | | + | |5/5(TLK)+3/5(AK)+5/5(RK)+4/5(EV)+4/5(AA)+5/5(AS) |
- | | | + | |6.05 |
|- | |- | ||
- | | | + | |Semi-supervised learning |
|Всеволод Старожилец | |Всеволод Старожилец | ||
- | | | + | |[https://svn.code.sf.net/p/mlalgorithms/code/Group074/Starozhilets2015Essay/Semi-Supervised_learning/semi-supervised_learning.pdf Презентация, pdf] |
- | | | + | |12 ноября |
+ | |4/5(TLK)+3/5(OB)+4/5(RK)+5/5(EV)+5/5(MT)+4/5(AA)+4/5(AS) | ||
+ | |5.25 | ||
+ | |- | ||
+ | |Метрические тензоры (skype-семинар) | ||
+ | |Бахтеев Олег | ||
+ | |[http://svn.code.sf.net/p/mlalgorithms/code/Group074/Bakhteev2015Essay/Bakhteev2015MT/doc.pdf Презентация, pdf] | ||
+ | |15 ноября | ||
| | | | ||
| | | | ||
Строка 281: | Строка 261: | ||
== А.А. Ивахненко, Практика и методология промышленного анализа данных == | == А.А. Ивахненко, Практика и методология промышленного анализа данных == | ||
'''Групповой проект:''' [https://docs.google.com/spreadsheets/d/1QabUaHzPAIfFTmDtJyaZCoZzHNFpGOviM-M_N7u5WV8/edit?usp=sharing Сети глубокого обучения для задачи классификации временных рядов] | '''Групповой проект:''' [https://docs.google.com/spreadsheets/d/1QabUaHzPAIfFTmDtJyaZCoZzHNFpGOviM-M_N7u5WV8/edit?usp=sharing Сети глубокого обучения для задачи классификации временных рядов] | ||
+ | |||
+ | Расписание результатов | ||
+ | * 12 ноября: постановка задачи, работоспособная система в виде набора заглушек | ||
+ | * 19 ноября: система с юнит-тестами и системными тестами | ||
+ | * 26 ноября: доработанная система |
Текущая версия
В.В. Стрижов, Дополнительные главы машинного обучения
Автор | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | |
---|---|---|---|---|---|---|---|---|---|
Рудой (пример) | 1[1] | 2 | 3 | 4 | 5 | 6 | 7 | 8 | |
Бахтеев Олег | 1[2] | 3[3] | 5[4] | 6[5] | 7[6] | 8[7] | 6 | ||
Вдовина Евгения | 2[8] | 3[9] | 4[10] | 5[11] | 7[12] | 5 | |||
Старожилец Всеволод | 1[13] | 3[14] | 4[15] | 7[16] | 8[17] | 5 | |||
Трофимов Михаил | 2[18] | 3[19] | 4[20] | 5[21] | 7[22] | 5 | |||
Сухарева Анжелика | 1[23] | 2[24] | 3[25] | 4[26] | 5[27] | 6[28] | 7[29] | 8[30] | 8 |
Катруца Александр | 1[31] |
- Эссе помещаются в папку /Group074/Surname2015Essay/; каждый документ называется Surname2015EssayN, N = 1,…,10.
Список тем
- Роль функции ошибки в задачах выбора признаков
- Ключевые слова:
- принцип belsley, неустойчивость ROC-кривой, монотонность поведения классификатора по двум функциям ошибки
- Построение интегральных индикаторов для описанных в ранговых шкалах
- На выбор:
- Привести пример задачи с данным в разнородных шкалах, а также метод ее решения.
- Привести пример задачи с использованием матрицы расстояний объектов в разнородных шкалах, а также метод ее решения.
- Поставить задау, выбранную в рамках группового проекта
- в контексте всей системы,
- как отдельный элемент системы.
- Предложить решение классической задачи 28 из списка задач для поступления на кафедру.
- Сделать краткое и ясное описание на языке алгебры и теории графов одного из нижеперечисленных методов
- Word2vec
- Рекурсивный автокодировщик
- Машина Больцмана
- Сверточная нейронная сеть
- Структурное обучение по Tommi Jaakkola
- Структурное обучение по Ioannis Tsochantaridis, см. также слайды.
- Сделать, по возможности, полное и подробное описание постановки задачи оптимизации параметров сети глубокого обучения с учетом расписания процедур иерархической оптимизации.
Список тем прошлого года
- Аппроксимация множества точек замкнутыми кривыми
- Метод группового учета аргументов в краткой нотации
- Заполнение пропусков в порядковых шкалах (и в шкалах без отношения полного порядка)
- Роль Матрицы Ганкеля в прогнозировании временных рядов
- Интегральные индикаторы в ранговых шкалах
- Порождение признаков в прикладных задачах анализа данных
- Смеси моделей, многоуровневые модели, смеси экспертов
- Отыскание общих узлов в последовательности наборов метрических конфигураций
- Регрессионный анализ задачах математического моделирования. Найти пример использования регрессионного анализа в тех задачах математического моделирования в физике, химии, биологии, и т.д., где требуется получить модель, интерпретируемую в терминах предметной области
- Машинное обучение через 20 лет: какими методами АД (МО, ИИ, ЭС, АЗ,...) мы будем пользоваться? Какие задачи мы будет решать? Что я буду делать в своей профессиональной области?
К.В. Рудаков, Интеллектуальные системы
Список тем
- Алгоритмы машинного обучения на квантовых компьютерах
- Задачи ИЧК (BCI) и обработка сигналов МЭГ
- Частичное обучение (Semi-supervised learning, Transductive learning)
- "Косвенное обучение" (Transfer learning)
- Обучение словарей (Dictionary learning) (+)
- Задачи многоклассовой классификации с классами различной мощности
- Функция ошибки в моделях глубокого обучения (и задача выбора моделей)
- Инварианты в задачах глубокого обучения (+)
- Оценка объема выборки в глубоком обучении
- Generative vs Discriminative (+)
- Выбор признаков в задачах квадратичной оптимизации (+)
- Онлайновое обучение, обучение с подкреплением (+)
Тема | Автор | Ссылка | Дата | Результат | Сумма |
---|---|---|---|---|---|
Алгоритмы индуктивного порождения и трансформации моделей | Сологуб | Диссертация, pdf, Презентация, pdf | 4 сентября | NIR(3) + OK(5)+1/4 * [(0/GR)+(8/10)+(8/10AM)+(8/10AR)+(9/10)+(4.5/5)+(10/10)+(4.5/5)+(9/10)] | 9.75 |
Методы оценки ковариационных матриц в задачах регрессии и классификации | Александр Адуенко | Презентация, pdf | 22 октября | ||
Методы построения мультимоделей в задачах регрессии | Александр Адуенко | Презентация, pdf | 26 ноября | ||
Выпуклые релаксации в задаче квадратичного программирования | Александр Катруца | Презентация, pdf | 17 сентября | 5(TLK)+ | |
Задачи ИЧК (BCI) и обработка сигналов МЭГ | Вдовина Евгения | Презентация, pdf | 15 октября | 4(TLK)+3.5/5(AK)+5/5(OB)+5/5(RK)+5/5(MT)+4/5(AA)+5/5(AS)+5/5(VS) | 5.625 |
Порождающий и разделяющий подходы в задаче определения объема выборки | Анастасия Мотренко | Презентация, pdf | 12 ноября | ||
Инварианты в задачах глубокого обучения | Бахтеев Олег | Презентация, pdf | 1 октября | 4(TLK)+2.5/5(AK)+4.5/5(MT)+3/5(AA)+5/5(AS) | 4.75 |
Word2vec, синтаксические парсеры, автокодировщики в сетях глубокого обучения | Кузнецова Рита | Презентация, pdf | 15 октября | ||
Обучение словарей | Анжелика Сухарева | Презентация, pdf | 22 октября | 4(TLK)+1/5(AK)+4/5(OB)+3.5/5(RK)+4.5/5(EV)+4/5(MT)+2/5(AA)+4/5(VS) | 5.15 |
Онлайновое обучение, обучение с подкреплением | Михаил Трофимов | Презентация, pdf | 22 октября | 5/5(TLK)+3/5(AK)+5/5(RK)+4/5(EV)+4/5(AA)+5/5(AS) | 6.05 |
Semi-supervised learning | Всеволод Старожилец | Презентация, pdf | 12 ноября | 4/5(TLK)+3/5(OB)+4/5(RK)+5/5(EV)+5/5(MT)+4/5(AA)+4/5(AS) | 5.25 |
Метрические тензоры (skype-семинар) | Бахтеев Олег | Презентация, pdf | 15 ноября |
Требования: Продолжительность: 1 академический час, 45 минут. Число слайдов: 20-30 (по вкусу).
- Раскрыть проблему постановки задачи машинного обучения и анализа данных в данной теме.
- Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.
Рекомендации к стилю изложения:
- дать основные определения этой области,
- вводимые обозначения должны быть удобны и непротиворечивы,
- используемые термины должны быть точны,
- дать теоретические постановки задач,
- желательно привести теоретические примеры решения и его основные свойства,
- представить математические методы,
- привести приметы прикладных задач.
Оценки: максимум 7 баллов из 10 (5 за лекцию + 2 за тесты). Тест: готовит лектор, 5 вопросов со ответом. Результат теста: N из 5 (отображается в 1/4). 17 декабря – отчеты о научной работе.
А.А. Ивахненко, Практика и методология промышленного анализа данных
Групповой проект: Сети глубокого обучения для задачи классификации временных рядов
Расписание результатов
- 12 ноября: постановка задачи, работоспособная система в виде набора заглушек
- 19 ноября: система с юнит-тестами и системными тестами
- 26 ноября: доработанная система