Математические методы анализа текстов (МФТИ) / 2021

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

В курсе рассматриваются основные задачи и математические методы обработки естественного языка.

Курс читается:

студентам кафедры «Математические методы прогнозирования» ВМК МГУ с 2016 года
студентам кафедры «Интеллектуальные системы» ФУПМ МФТИ с 2018 года

От студентов требуются знание курса машинного обучения, основ глубинного обучения, а также языка программирования Python.

Содержание

1 Объявления
2 Контакты
3 Правила сдачи курса
- 3.1 Правила выставления итоговой оценки
- 3.2 Правила сдачи экзамена
4 Программа курса
5 Страницы прошлых лет
6 Дополнительные материалы

Объявления

Нет

Контакты

Преподаватели курса: Попов А.С., Апишев М.А., Хрыльченко К.Я., Воронцов К.В.

В этом семестре занятия будут проводиться онлайн в zoom

По всем конструктивным вопросам пишите в telegram-чат

Репозиторий со всеми материалами: ссылка

Видеозаписи лекций 2021 года: ссылка

Короткая ссылка на страницу курса: ссылка

Родственный курс на ВМК МГУ: ссылка

Правила сдачи курса

Правила выставления итоговой оценки

В рамках курса предполагается четыре практических задания и экзамен. Практические задания сдаются в систему anytask (инвайт у преподавателя). Срок выполнения каждого задания — 2 недели. За каждое задание можно получить до 10-ти баллов. За каждый день просрочки назначается штраф 1 балл. Основной язык выполнения заданий — Python 3.

Студенты, набравшие за практические задания больше 40 баллов, получают автоматом максимальную оценку. Для остальных итоговая оценка по 10-ти балльной шкале вычисляется по следующей формуле:

$round(0.7 \times D / 4 + 0.3 \times E) \times \mathbb{I}[E >= 3]$ , где

$D$ — оценка за дз, $E$ — оценка за экзамен, $round$ — математическое округление.

Есть дополнительные условия для получения каждой из оценок:

удовлетворительно (3, 4) — 2 сданных задания на положительную оценку
хорошо (5, 6, 7) — 3 сданных задания на положительную оценку
отлично (8, 9, 10) — 4 сданных задания на положительную оценку

Если после сдачи экзамена студенту не хватает баллов на положительную оценку, он отправляется на "пересдачу". Студент должен досдать домашние задания, которые он не сдавал в течение семестра, чтобы набрать баллы для получения минимальной удовлетворительной оценки. Домашние задания проверяются без учёта штрафа.

Правила сдачи экзамена

Экзаменационная программа: ссылка

Экзамен проходит онлайн. Каждому студенту высылается два вопроса из списка для подготовки. Студент готовится к ответу, пользуясь любыми материалами. В назначенное время студент приглашается в индивидуальную зум-конференцию с преподавателем. Ориентировочное время ответа 40-60 минут.

Программа курса

№	Дата	Тема	Материалы
1	08.09	Организация курса, правила игры. Введение в обработку текстов (Natural Language Processing). Предобработка, выделение признаков и классификация .	слайды
2	15.09	Векторные представления слов	слайды
3	22.09	Библиотека pytorch. Pytorch при работе с представлениями слов.	слайды
4	29.09	Задача разметки последовательностей (tagging). Примеры задач. Модель Linear-CRF, её упрощения и обобщения.	слайды
5	06.10	Модели рекуррентных нейронных сетей: RNN, LSTM. Применение LSTM для разметки последовательности.	слайды
6	13.10	Pytorch для работы с последовательностями.
7	20.10	Машинный перевод. Подход Sequence-to-sequence. Механизм внимания в подходе sequence-to-sequence. Архитектура transformer.	слайды (прошлый год)
8	27.10	Задача языкового моделирования. Статистические и нейросетевые языковые модели. Задача генерации естественного языка.	слайды
9	10.11	Контекстуальные векторные представления слов. Transfer learning в NLP. Модель BERT и её модификации.	слайды
10	17.11	Задача классификации текстов. Дизайн индустриальной ML-системы.	слайды
11	24.11	Различные приложения DL в NLP. Рекомендательные системы.	слайды
13	01.12	Автоматическая суммаризация текстов.	слайды
14	08.12	Диалоговые и вопросно-ответные системы.	слайды

Страницы прошлых лет

Математические методы анализа текстов (курс лекций) / осень 2020 ВМК & МФТИ
Математические методы анализа текстов (курс лекций) / осень 2019 ВМК & МФТИ
Математические методы анализа текстов (курс лекций, К.В.Воронцов, А.А.Потапенко) — 2018 (ФУПМ МФТИ)
Математические методы анализа текстов (ВМиК МГУ) / 2018 — 2018 (ВМК МГУ)
Математические методы анализа текстов (ВМиК МГУ) / 2017 — 2017 (ВМК МГУ)

Дополнительные материалы

Литература

Dan Jurafsky and James H. Martin Speech and Language Processing (3rd ed. draft)
Stewen Bird et. al. Natural Language Processing with Python. 2-nd edition. 2016.
Большакова Е.И., Воронцов К.В., Ефремова Н.Э., Клышинский Э.С., Лукашевич Н.В., Сапин А.С. Автоматическая обработка текстов на естественном языке и анализ данных. НИУ ВШЭ, 2017.
Yoav Goldberg et. al. Neural Network Methods in Natural Language Processing
LxMLS summer school Practical guide on NLP in Python

Другие курсы по NLP

Источник — «http://recognition.su/wiki/index.php?title=%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2_%28%D0%9C%D0%A4%D0%A2%D0%98%29_/_2021»

Категория: Учебные курсы

@@ Строка 21: / Строка 21: @@
 * Репозиторий со всеми материалами: [https://github.com/mmta-team/mmta_2021_fall ссылка]
-* Видеозаписи лекций 2020 года: [https://www.youtube.com/playlist?list=PLVF5PzSHILHRQO45w7fEqmy7t9xWUGfB- ссылка]
+* Видеозаписи лекций 2021 года: [https://youtube.com/playlist?list=PLk4h7dmY2eYFEuGx1mabR4Eo2RFklU_Us ссылка]
 * Короткая ссылка на страницу курса: [https://clck.ru/XJbNw ссылка]
@@ Строка 35: / Строка 35: @@
 Для остальных итоговая оценка по 10-ти балльной шкале вычисляется по следующей формуле:
-<tex>round(0.7 \times D / 5 + 0.3 \times E) \times \mathbb{I}[E >= 3] </tex>, где
+<tex>round(0.7 \times D / 4 + 0.3 \times E) \times \mathbb{I}[E >= 3] </tex>, где
 <tex>D</tex> — оценка за дз, <tex>E</tex> — оценка за экзамен, <tex>round</tex> — математическое округление.
@@ Строка 45: / Строка 45: @@
 Если после сдачи экзамена студенту не хватает баллов на положительную оценку, он отправляется на "пересдачу". Студент должен досдать домашние задания, которые он не сдавал в течение семестра, чтобы набрать баллы для получения минимальной удовлетворительной оценки. Домашние задания проверяются без учёта штрафа.
+===Правила сдачи экзамена===
+Экзаменационная программа: [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/exam_program.pdf ссылка]
+Экзамен проходит онлайн. Каждому студенту высылается два вопроса из списка для подготовки. Студент готовится к ответу, пользуясь любыми материалами.
+В назначенное время студент приглашается в индивидуальную зум-конференцию с преподавателем. Ориентировочное время ответа 40-60 минут.
 ==Программа курса==
@@ Строка 52: / Строка 59: @@
 |- <!-- Новое занятие -->
 | 1
-| 09.09
+| 08.09
 | Организация курса, правила игры.
@@ Строка 58: / Строка 65: @@
 Предобработка, выделение признаков и классификация .
-|
+| [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/01_intro.pdf слайды]
 |
@@ Строка 64: / Строка 71: @@
 |- <!-- Новое занятие -->
 | 2
-| 16.09
+| 15.09
 | Векторные представления слов
-|
+| [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/02_word_embeddings.pdf слайды]
 |
 <!-- Конец занятия -->
 |- <!-- Новое занятие -->
 | 3
-| 23.09
+| 22.09
 | Библиотека pytorch.
 Pytorch при работе с представлениями слов.
-|
+| [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/03_word_embeddings_seminar.pdf слайды]
 |
 <!-- Конец занятия -->
 |- <!-- Новое занятие -->
 | 4
-| 30.09
+| 29.09
 | Задача разметки последовательностей (tagging). Примеры задач.
 Модель Linear-CRF, её упрощения и обобщения.
-| [[Media:mmta21-tagging-crf.pdf|презентация]]
+| [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/04_tagging_crf.pdf слайды]
-[https://youtu.be/IX3XFMMW7l0?t=645 видео]
 |
 <!-- Конец занятия -->
 |- <!-- Новое занятие -->
 | 5
-| 07.10
+| 06.10
 |
 Модели рекуррентных нейронных сетей: RNN, LSTM.
 Применение LSTM для разметки последовательности.
-|
+| [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/05_tagging_rnn.pdf слайды]
 |
 <!-- Конец занятия -->
 |- <!-- Новое занятие -->
 | 6
-| 14.10
+| 13.10
 |
 Pytorch для работы с последовательностями.
@@ Строка 109: / Строка 115: @@
 |- <!-- Новое занятие -->
 | 7
-| 21.10
+| 20.10
 | Машинный перевод. Подход Sequence-to-sequence.
@@ Строка 115: / Строка 121: @@
 Архитектура transformer.
-|
+|  [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/07_machine_translation_transformers_old.pdf слайды (прошлый год)]
 |
 <!-- Конец занятия -->
 |- <!-- Новое занятие -->
 | 8
-| 28.10
+| 27.10
 | Задача языкового моделирования.
@@ Строка 127: / Строка 133: @@
 Задача генерации естественного языка.
-|
+| [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/08_language_modeling.pdf слайды]
 |
 <!-- Конец занятия -->
 |- <!-- Новое занятие -->
 | 9
-| 11.11
+| 10.11
 | Контекстуальные векторные представления слов.
@@ Строка 138: / Строка 144: @@
 Модель BERT и её модификации.
-|
+| [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/09_bert.pdf слайды]
 |
 <!-- Конец занятия -->
 |- <!-- Новое занятие -->
 | 10
-| 18.11
+| 17.11
 | Задача классификации текстов.
 Дизайн индустриальной ML-системы.
-|
+| [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/10_classification.pdf слайды]
 |
 <!-- Конец занятия -->
 |- <!-- Новое занятие -->
 | 11
-| 25.11
+| 24.11
-| Тематическое моделирование и его приложения.
+| Различные приложения DL в NLP.
-|
+Рекомендательные системы.
-|
-<!-- Конец занятия -->
-|- <!-- Новое занятие -->
-| 12
-| 02.12
-|
-Различные приложения DL в NLP.
+| [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/11_ir_recsys.pdf слайды]
 |
-|
 <!-- Конец занятия -->
 |- <!-- Новое занятие -->
 | 13
-| 09.12
+| 01.12
-| TBA
+| Автоматическая суммаризация текстов.
-|
+| [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/12_summarization.pdf слайды]
 |
 <!-- Конец занятия -->
 |- <!-- Новое занятие -->
 | 14
-| 16.12
+| 08.12
-| TBA
+| Диалоговые и вопросно-ответные системы.
-|
+| [https://github.com/mmta-team/mmta_2021_fall/blob/main/mipt/slides/13_dialog_qa_slides.pdf слайды]
 |
 <!-- Конец занятия -->