Вероятностные тематические модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(вроде добил программу курса 2016)
(→Мультимодальные тематические модели)
(271 промежуточная версия не показана)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
+
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
-
В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Развивается многокритериальный подход к решению некорректно поставленной задачи стохастического матричного разложения — [[аддитивная регуляризация тематических моделей]]. Рассматриваются свойства интерпретируемости, устойчивости и полноты тематических моделей, а также способы их измерения. Рассматриваются прикладные задачи классификации и категоризации текстов, информационного поиска, персонализации и рекомендательных систем. Рассматриваются задачи анализа и классификации символьных последовательностей неязыковой природы, в частности, аминокислотных и нуклеотидных последовательностей, дискретизированных биомедицинских сигналов. Предполагается проведение студентами численных экспериментов на модельных и реальных данных.
+
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
-
Условием сдачи спецкурса является выполнение индивидуальных практических заданий.
+
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
-
== Программа курса 2016 ==
+
'''Основной материал:'''
-
* Файл с описанием заданий: [[Media:voron-2016-task-PTM.pdf|voron-2016-task-PTM.pdf]]
+
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. {{важно|— обновление 29.12.2024}}.
 +
* [https://www.youtube.com/playlist?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозаписи, 2023 осень (МФТИ)].
-
=== Введение ===
+
= Программа курса =
-
Презентация: [[Media:Voron-PTM-1.pdf|(PDF, 0,6 МБ)]] {{важно|— обновление 27.02.2016}}.
+
-
* Понятие «темы», цели и задачи тематического моделирования. Основные предположения. Гипотеза «мешка слов». Методы предварительной обработки текстов.
+
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. [[Порождающая модель]] документа как вероятностной смеси тем.
+
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
-
* [[Вероятностный латентный семантический анализ]] (PLSA).
+
-
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]], [[Условия Каруша–Куна–Таккера]]. Униграммные модели коллекции и документа.
+
-
* Теорема о необходимых условиях максимума правдоподобия для модели PLSA.
+
-
* ЕМ-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
+
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
-
=== Обзор задач и моделей ===
+
== Проект «Мастерская знаний» ==
-
Презентация: [[Media:Voron-PTM-2.pdf|(PDF, 8,3 МБ)]] {{важно|— обновление 27.02.2016}}.
+
Презентация: [[Media:Voron25ptm-kf.png|(PNG, 8,1 МБ)]] {{важно|— обновление 3.03.2025}}.
-
* Разновидности тематических моделей.
+
-
* Средства визуализации тематических моделей.
+
-
* Разведочный информационный поиск и требования к тематическим моделям.
+
-
* Задача поиска релевантных тем в социальных сетях.
+
-
* Применение тематического моделирования для [[Технология информационного анализа электрокардиосигналов|информационного анализа электрокардиосигналов]].
+
-
* Динамическая модель коллекции пресс-релизов.
+
-
* Проект [[BigARTM]].
+
-
* Открытые проблемы и направления исследований.
+
-
=== Латентное размещение Дирихле ===
+
'''Проект «Мастерская знаний»'''
-
Презентация: [[Media:Voron-PTM-3.pdf|(PDF, 1,9 МБ)]] {{важно|— обновление 04.03.2016}}.
+
* Цели, задачи, концепция проекта. Тематические подборки научных текстов.
-
* Задача тематического моделирования как некорректно поставленная задача стохастического матричного разложения.
+
* Модель векторизации текста для поиска и рекомендаций научных статей.
-
* [[Латентное размещение Дирихле]] (LDA). Некоторые свойства [[Распределение Дирихле|распределения Дирихле]].
+
* Основные сервисы «Мастерской знаний».
-
* Теорема о необходимом условии максимума апостериорной вероятности для LDA.
+
-
* Сравнение EM-алгоритма для LDA и PLSA.
+
-
* Алгоритм сэмплирования Гиббса.
+
-
* Модель SWB с фоном и шумом. Робастная тематическая модель.
+
-
* Модель LDA не снижает переобучение, а лишь точнее описывает вероятности редких слов.
+
-
* Способы измерения расстояния между дискретными распределениями. [[Дивергенция Кульбака-Лейблера]].
+
-
* Эксперименты на синтетических данных: демонстрация неустойчивости PLSA и LDA.
+
-
* Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.
+
-
=== Аддитивная регуляризация тематических моделей ===
+
'''Место тематического моделирования в «Мастерской знаний»'''
-
Презентация: [[Media:Voron-PTM-4.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 11.03.2016}}.
+
* Сервис тематизации подборки.
-
* [[Аддитивная регуляризация тематических моделей]]. Линейные композиции регуляризаторов.
+
* Сервисы выявления научных трендов и построения хронологических карт.
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
+
* Вспомогательные функции в сервисе полуавтоматической суммаризации.
-
* Мультимодальная ARTM. Виды модальностей и примеры прикладных задач.
+
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для мультимодальной ARTM.
+
-
* Оффлайновый регуляризованный EM-алгоритм.
+
-
* Онлайновый регуляризованный EM-алгоритм. Разделение коллекции на пакеты документов.
+
-
* Обзор возможностей библиотеки BigARTM. Установка, подготовка данных, создание модели, оценивание модели.
+
-
'''Литература:'''
+
'''Карты знаний'''
-
* ''Потапенко А. А.'' [[Media:potapenko13online.pdf|Отчет по серии экспериментов с онлайновым алгоритмом]]. 2013.
+
* Задачи иерархической суммаризации одной статьи, подборки статей.
 +
* Принципы построения интеллект-карт и карт знаний.
 +
* Что такое «тема»? Отличия тематизации и картирования.
-
=== Регуляризаторы I ===
+
== Задача тематического моделирования ==
-
Презентация: [[Media:Voron-PTM-5.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
Презентация: [[Media:Voron25ptm-intro.pdf|(PDF, 1,6 МБ)]] {{важно|— обновление 10.03.2025}}.
-
* Регуляризаторы сглаживания и разреживания. Частичное обучение как разновидность сглаживания.
+
[https://youtu.be/DU0AQUNW3YI?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
* Разделение тем на предметные и фоновые. Автоматическое выделение стоп-слов.
+
-
* Регуляризатор декоррелирования тем.
+
-
* Регуляризатор отбора тем. Эффект отбрасывания малых, дублирующих и линейно зависимых тем. Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
+
-
* Критерии качества тематических моделей: перплексия, когерентность, чистота и контрастность тем. Эксперименты с композициями разреживания, сглаживания, декоррелирования и отбора тем.
+
-
* Использование регуляризаторов и измерителей в BigARTM.
+
-
* Комбинирование регуляризаторов для решения практических задач в BigARTM.
+
-
=== Регуляризаторы II ===
+
'''Цели и задачи тематического моделирования.'''
-
Презентация: [[Media:Voron-PTM-6.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]].
-
* Регуляризаторы для регрессии и классификации на текстах.
+
* Вероятностная модель порождения текста.
-
* Регуляризатор CTM (Correlated Topic Model).
+
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
-
* Регуляризатор для учёта гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
+
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
-
* Регуляризаторы времени для темпоральных тематических моделей. Разреживание тем в каждый момент времени. Сглаживание темы как временного ряда. Эксперименты на коллекции пресс-релизов.
+
-
* Вывод M-шага для негладкого регуляризатора.
+
-
* Регуляризаторы геолокации для пространственных тематических моделей.
+
-
* Регуляризаторы для анализа социальных сетей и выделения тематических сообществ.
+
-
=== Мультимодальные тематические модели ===
+
'''Аддитивная регуляризация тематических моделей.'''
-
Презентация: [[Media:Voron-PTM-7.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
-
* Тематическая модель классификации. Пример: [[Технология информационного анализа электрокардиосигналов]].
+
* Лемма о максимизации на единичных симплексах. [[Условия Каруша–Куна–Таккера]].
-
* Мультиязычные тематические модели. Параллельные и сравнимые коллекции. Регуляризаторы для учёта двуязычных словарей.
+
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
-
* Мультиграммные модели. Биграммы и битермы.
+
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
-
* Модели трёхматричных разложений. Понятие порождающей модальности.
+
-
* Автор-тематическая модель (author-topic model).
+
-
* Иерархические модели. Оценивание качества тематических иерархий.
+
-
* Тематическая модель текста и изображений. Задача аннотирования изображений.
+
-
* Модель для выделения поведений объектов в видеопотоке.
+
-
* Гиперграфовая модель. Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
+
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для гиперграфовой ARTM.
+
-
=== Лингвистические тематические модели ===
+
'''Практика тематического моделирования.'''
-
Презентация: [[Media:Voron-PTM-8.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Проект с открытым кодом BigARTM.
-
* Мультиграммные модели. Биграммная тематическая модель.
+
* Этапы решения практических задач.
-
* Автоматическое извлечение терминов. Задача редукции словаря (vocabulary reduction). Словарные лингвистические ресурсы.
+
* Методы предварительной обработки текста.
-
* Синтаксическая, статистическая и тематическая фильтрация фраз.
+
* Датасеты и практические задания по курсу.
-
* Морфологический и микро-синтаксический анализ текста для первичной фильтрации фраз.
+
-
* Статистическая фильтрация фраз. Критерий коллокации CValue. Совмещение критериев TF-IDF и CValue.
+
-
* Тематическая фильтрация фраз.
+
-
* Методы оценивания качества фильтрации.
+
-
* Когерентность как мера интерпретируемости униграммных моделей. Регуляризатор когерентности.
+
-
* Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
+
-
* Гибрид тематической модели и векторной модели word2vec.
+
-
* Связь word2vec с регуляризатором когерентности.
+
-
* Эксперименты с гибридной моделью W2V-TM.
+
-
=== Сегментация, аннотирование, суммаризация, именование тем ===
+
== Онлайновый ЕМ-алгоритм и аддитивная регуляризация ==
-
Презентация: [[Media:Voron-PTM-9.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
Презентация: [[Media:Voron24ptm-regular.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 10.03.2025}}.
-
* Позиционный регуляризатор в ARTM, вывод формул М-шага. Пост-обработка Е-шага. Разреживание распределения p(t|d,w).
+
[https://youtu.be/mUMfoBlslQE?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
* Интерпретация текста как пучка временных рядов. Задача разладки. Алгоритмы K-сегментации.
+
-
* Тематические модели сегментации (segmentation topic model).
+
-
* Тематические модели предложений (sentence topic model).
+
-
* Аннотирование документа. Выделение тематичных слов и фраз (предложений). Оценка ценности фразы.
+
-
* Суммаризация темы. Кластеризация и ранжирование тематичных фраз.
+
-
* Автоматическое именование темы (topic labeling).
+
-
=== Инициализация, траектории регуляризации, адекватность модели ===
+
'''Часто используемые регуляризаторы.'''
-
Презентация: [[Media:Voron-PTM-10.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Сглаживание и разреживание.
-
'''Инициализация.'''
+
* Частичное обучение.
-
* Случайная инициализация. Инициализация по документам.
+
* Декоррелирование тем.
-
* Контекстная документная кластеризация.
+
* Разреживание для отбора тем.
-
* Поиск якорных слов. Алгоритм Ароры.
+
-
'''Траектория регуляризации.'''
+
-
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
+
-
* Относительные коэффициенты регуляризации.
+
-
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
+
-
* Подходы к скаляризации критериев.
+
-
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
+
-
'''Тесты адекватности.'''
+
-
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
+
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
-
* Обобщённое семейство статистик Кресси-Рида.
+
-
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
+
-
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
+
-
=== Обзор оценок качества тематических моделей ===
+
'''Онлайновый ЕМ-алгоритм.'''
-
Презентация: [[Media:Voron-PTM-11.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
-
* Внутренние и внешние критерии качества.
+
* Оффлайновый регуляризованный EM-алгоритм.
-
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
+
* Улучшение сходимости несмещёнными оценками.
-
''' Оценивание качества темы.'''
+
* Подбор коэффициентов регуляризации.
-
* Лексическое ядро темы: множество типичных терминов темы.
+
* Относительные коэффициенты регуляризации.
-
* Чистота и контрастность темы
+
* Библиотеки BigARTM и TopicNet.
-
* Документное ядро темы: множество типичных документов темы.
+
-
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
+
-
* Конфликтность темы: близость темы к другим темам.
+
-
'''Оценивание интерпретируемости тем.'''
+
-
* Экспертное оценивание интерпретируемости. Асессорская разметка терминов и документов, релевантных теме.
+
-
* Метод интрузий.
+
-
* Радикальное улучшение интерпретируемости в n-граммных тематических моделях.
+
-
'''Устойчивость и полнота.'''
+
-
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
+
-
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
+
-
'''Когерентность.'''
+
-
* Определение когерентности.
+
-
* Эксперименты, показывающие связь когерентности и интерпретируемости.
+
-
* Способы оценивания совместной встречаемости слов.
+
-
'''Критерии качества классификации и ранжирования.'''
+
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
 +
'''Эксперименты с регуляризацией.'''
 +
* Производительность BigARTM
 +
* Оценивание качества: перплексия, когерентность, лексическое ядро
 +
* Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
 +
* Комбинирование регуляризаторов, эмпирические рекомендации.
-
== Программа курса 2015 ==
+
== Моделирование локального контекста ==
-
* Файл с описанием заданий: [[Media:voron-2014-task-PTM.pdf|voron-2015-task-PTM.pdf]]
+
Презентация: [[Media:Voron24ptm-local.pdf|(PDF, 1,1 МБ)]] {{важно|— обновление 17.03.2025}}.
 +
[https://youtu.be/Xe36kQPlbHY?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
=== Задачи анализа текстов и вероятностные модели ===
+
'''Линейная тематизация текста.'''
 +
* Линейная тематизация текста за один проход без матрицы <tex>\Theta</tex>.
 +
* Локализация E-шага.
 +
* Двунаправленная тематическая модель контекста.
 +
* Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.
-
'''Задачи классификации текстов.'''
+
'''Аналогия с моделью само-внимания (self-attention) и трансформером.'''
-
* Коллекция текстовых документов. Векторное представление документа.
+
* Модель внимания Query-Key-Value.
-
* Эмпирические законы Ципфа, Ципфа-Мандельброта, Хипса.
+
* Трансформер: кодировщик и декодировщик.
-
* Постановка задачи классификации текстов. Объекты, признаки, классы, обучающая выборка.
+
* Онлайновый EM-алгоритм с многопроходным локализованным E-шагом.
-
* Линейный классификатор. Наивный байесовский классификатор.
+
-
* Задача распознавания языка текста.
+
-
* Задача распознавание жанра текста. Распознавание научных текстов. Примеры признаков.
+
-
* Задача категоризации текстов, сведение к последовательности задач классификации.
+
-
* Задача анализа тональности.
+
-
'''Задачи предварительной обработки текстов.'''
+
== Тематический информационный поиск ==
-
* Очистка: удаление номеров страниц (колонтитулов), переносов, опечаток, оглавлений, таблиц, рисунков, нетекстовой информации.
+
Презентация: [[Media:Voron24ptm-exp.pdf|(PDF,&nbsp;3,7&nbsp;МБ)]] {{важно|— обновление 24.03.2025}}.
-
* Лемматизация и стемминг. Сравнение готовых инструментальных средств.
+
[https://youtu.be/2SkbbDYcBUQ?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
* Выделение и удаление стоп-слов и редких слов.
+
-
'''Задачи информационного поиска.'''
+
'''Мультимодальные тематические модели.'''
-
* Задача поиска документов по запросу. Инвертированный индекс.
+
* Примеры модальностей.
-
* Меры сходства векторов частот. Косинусная мера сходства. Расстояние Хеллингера.
+
* Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.
-
* Дивергенция Кульбака-Леблера и её свойства. Дивергенция Кресси-Рида.
+
-
* Критерий текстовой релевантности TF-IDF. Вероятностная модель и вывод формулы TF-IDF.
+
-
* Задача ранжирования. Примеры признаков. Формирование асессорских обучающих выборок.
+
-
'''Униграммная модель документов и коллекции.'''
+
'''Иерархические тематические модели.'''
-
* Вероятностное пространство. Гипотезы «мешка слов» и «мешка документов». Текст как простая выборка, порождаемая вероятностным распределением. Векторное представление документа как эмпирическое распределение.
+
* Иерархии тем. Послойное построение иерархии.
-
* Понятие параметрической порождающей модели. Принцип максимума правдоподобия.
+
* Регуляризаторы для разделения тем на подтемы.
-
* Униграммная модель документов и коллекции.
+
* Псевдодокументы родительских тем.
-
* ''Ликбез.'' Теорема Куна-Таккера.
+
* Модальность родительских тем.
-
* Аналитическое решение задачи о стационарной точке функции Лагранжа. Частотные оценки условных вероятностей.
+
-
'''Литература:''' [Маннинг 2011].
+
'''Эксперименты с тематическим поиском.'''
 +
* Методика измерения качества поиска.
 +
* Тематическая модель для документного поиска.
 +
* Оптимизация гиперпараметров.
 +
<!---
 +
'''Проект «Мастерская знаний»'''
 +
* Поисково-рекомендательная система SciSearch.ru
 +
* Векторный поиск для формирования тематических подборок
 +
* Требования к тематическим моделям для научного информационного поиска--->
-
=== Вероятностный латентный семантический анализ ===
+
== Оценивание качества тематических моделей ==
-
* ''Напоминания.'' Коллекция текстовых документов. Векторное представление документа. Задачи информационного поиска и классификации текстов.
+
Презентация: [[Media:Voron24ptm-quality.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 30.03.2025}}.
 +
[https://youtu.be/OoIetK1pTUA?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
'''Мотивации вероятностного тематического моделирования
+
'''Измерение качества тематических моделей.'''
-
* Идея понижения размерности: переход от вектора (терминов) к вектору тем.
+
* Правдоподобие и перплексия.
-
* Цели тематического моделирования: разведочный поиск научной информации, навигация и систематизация, агрегирование новостных потоков, классификация и категоризация текстов, обход проблем синонимии и омонимии.
+
* Интерпретируемость и когерентность. Внутритекстовая когерентность.
 +
* Разреженность и различность.
-
'''Задача тематического моделирования.'''
+
'''Проверка гипотезы условной независимости.'''
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. Порождающая модель документа как вероятностной смеси тем.
+
* Статистики на основе KL-дивергенции и их обобщения.
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
* Регуляризатор семантической однородности.
 +
* Применение статистических тестов условной независимости.
-
'''Вероятностный латентный семантический анализ (PLSA).'''
+
'''Проблема определения числа тем.'''
-
* Принцип максимума правдоподобия, аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
* Разреживающий регуляризатор для отбора тем.
-
* Элементарная интерпретация ЕМ-алгоритма: Е-шаг как формула Байеса для апостериорной вероятности темы, М-шаг как частотные оценки условных вероятностей.
+
* Эксперименты на синтетических и реальных данных.
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
 +
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
-
'''Онлайновый ЕМ-алгоритм (OEM).'''
+
'''Проблема тематической несбалансированности в данных'''
-
* Проблема больших данных.
+
* Проблема малых тем и тем-дубликатов
-
* Эвристика разделения М-шага.
+
* Тематическая несбалансированность как основная причина неинтерпретируемости тем
-
* Эвристика разделения коллекции на пачки документов.
+
* Эксперименты с регуляризаторами отбора тем и декоррелирования
-
* Добавление новых документов (folding-in).
+
* Регуляризатор семантической однородности
-
'''Проведение экспериментов на модельных данных.'''
+
== BigARTM и базовые инструменты ==
-
* Процесс порождения терминов в документе. Генератор модельных (синтетических) данных. Генерация случайной величины из заданного дискретного распределения.
+
''Мурат Апишев''.
-
* Распределение Дирихле. Генерация разреженных и сглаженных векторов дискретных распределений из распределения Дирихле.
+
Презентация: [[Media:Base_instruments.zip‎|(zip,&nbsp;0,6&nbsp;МБ)]] {{важно|— обновление 17.02.2017}}.
-
* Оценивание точности восстановления модельных данных. Расстояние между дискретными распределениями. Проблема перестановки тем, венгерский алгоритм.
+
[https://youtu.be/AIN00vWOJGw Видеозапись]
-
* Проблема неединственности и неустойчивости матричного разложения. Экспериментальное оценивание устойчивости решения.
+
-
'''Задание 1.1'''
+
'''Предварительная обработка текстов'''
-
Обязательные пункты: 1–3 и любой из последующих.
+
* Парсинг «сырых» данных.
-
# Реализовать генератор модельных данных. Реализовать вычисление эмпирических распределений терминов тем и тем документов.
+
* Токенизация, стемминг и лемматизация.
-
# Реализовать оценку точности восстановления с учётом перестановки тем. Вычислить оценку точности для исходных модельных распределений.
+
* Выделение энграмм.
-
# Реализовать рациональный ЕМ-алгоритм.
+
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
-
# Исследовать зависимости точности модели и точности восстановления от числа итераций и от числа тем в модели (при фиксированном числе тем в исходных данных). Что происходит, когда тем больше, чем нужно? Меньше, чем нужно?
+
-
# Исследовать влияние случайного начального приближения на устойчивость решения. Построить эмпирические распределения и доверительные интервалы для расстояний Хеллингера между истинными матрицами и восстановленными.
+
-
# Исследовать влияние разреженности матриц Фи и Тета на устойчивость решения.
+
-
# Исследовать полноту решения. Сколько запусков со случайным начальным приближением необходимо сделать, чтобы найти все исходные темы? Как различность и разреженность исходных тем влияет на полноту?
+
-
'''Литература:''' [Hofmann 1999].
+
'''Библиотека BigARTM'''
 +
* Методологические рекоммендации по проведению экспериментов.
 +
* Установка [[BigARTM]].
 +
* Формат и импорт входных данных.
 +
* Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
 +
* Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.
-
===Латентное размещение Дирихле===
+
'''Дополнительный материал:'''
-
* ''Напоминания.'' Задача тематического моделирования коллекции текстовых документов. Модель PLSA, формулы Е-шага и М-шага.
+
* Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 17.03.2017}}.
 +
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
 +
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
'''Латентное размещение Дирихле (LDA)'''
+
== Мультимодальные тематические модели ==
-
* Свойства [[Распределение Дирихле|распределения Дирихле]].
+
Презентация: [[Media:Voron25ptm-modal.pdf|(PDF,&nbsp;2,8&nbsp;МБ)]] {{важно|— обновление 7.04.2025}}.
-
* Принцип максимума апостериорной вероятности. Модифицированные формулы М-шага.
+
[https://youtu.be/AfwH0A3NJCQ?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp старая видеозапись]
-
* [[Байесовский вывод]]. Свойство сопряжённости мультиномиального распределения и распределения Дирихле. Другие модифицированные формулы М-шага.
+
-
* Обзор модификаций формул М-шага.
+
-
* Методы оптимизации гиперпараметров.
+
-
* Небайесовская интерпретация модели LDA.
+
-
* Сравнение LDA и PLSA. Экспериментальные факты: LDA скорее улучшает оценки редких слов, чем снижает переобучение.
+
-
'''Стохастический ЕМ-алгоритм (SEM).'''
+
'''Мультиязычные тематические модели.'''
-
* Гипотеза разреженности апоcтериорного распределения тем p(t|d,w).
+
* Параллельные и сравнимые коллекции.
-
* Эвристика сэмплирования. Алгоритм сэмплирования Гиббса.
+
* Регуляризаторы для учёта двуязычных словарей.
 +
* Кросс-язычный информационный поиск.
-
'''Робастные тематические модели.'''
+
'''Трёхматричные модели.'''
-
* Робастная модель с фоном и шумом.
+
* Модели трёхматричных разложений. Понятие порождающей модальности.
-
* Упрощённая робастная модель.
+
* Автор-тематическая модель (author-topic model).
-
* Почему робастный PLSA лучше, чем LDA. Эффект повышения правдоподобия (перплексии) в робастных моделях с шумом.
+
* Модель для выделения поведений объектов в видеопотоке.
-
'''Способы формирования начальных приближений.'''
+
'''Тематические модели транзакционных данных.'''
-
* Случайная инициализация.
+
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
-
* Инициализация по документам.
+
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
-
* Контекстная документная кластеризация.
+
* Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
-
* Поиск якорных слов. Алгоритм Ароры.
+
* Гиперграфовые тематические модели языка. Тематическая модель предложений.
 +
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 +
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
-
'''Задание 1.2'''
+
== Анализ зависимостей ==
-
Обязательные пункты: 1 и любой из последующих.
+
Презентация: [[Media:Voron24ptm-rel.pdf|(PDF,&nbsp;2,7&nbsp;МБ)]] {{важно|— обновление 05.12.2024}}.
-
# Реализовать онлайновый алгоритм OEM.
+
[https://youtu.be/uKCMr9yK3gw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp старая видеозапись]
-
# Исследовать влияние размера первой пачки и последующих пачек на качество модели.
+
-
# Исследовать влияние выбора числа итераций на внутреннем и внешнем циклах алгоритма OEM на качество и скорость построения модели.
+
-
# Исследовать возможность улучшения качества модели с помощью второго прохода по коллекции (без инициализации p(w|t)).
+
-
# Исследовать влияние гиперпараметров на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Hoffman 2010], [Asuncion 2009].
+
'''Зависимости, корреляции, связи.'''
 +
* Тематические модели классификации и регрессии.
 +
* Модель коррелированных тем CTM (Correlated Topic Model).
 +
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
-
===Аддитивная регуляризация тематических моделей===
+
'''Время и пространство.'''
-
* ''Напоминания''. Вероятностная тематическая модель. Принцип максимума правдоподобия. PLSA. EM-алгоритм.
+
* Регуляризаторы времени.
 +
* Обнаружение и отслеживание тем.
 +
* Гео-пространственные модели.
-
'''Многокритериальная регуляризация.'''
+
'''Социальные сети.'''
-
* Некорректность постановки задачи тематического моделирования.
+
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
-
* [[Аддитивная регуляризация тематических моделей]].
+
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
-
* Вывод формулы M-шага для регуляризованного ЕМ-алгоритма.
+
* Регуляризаторы для выявления социальных ролей пользователей.
-
* Проект [[BigARTM]].
+
-
'''Регуляризаторы сглаживания и разреживания.'''
+
== Тематические модели сочетаемости слов ==
-
* Максимизация и минимизация KL-дивергенции.
+
Презентация: [[Media:Voron24ptm-cooc.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 07.11.2024}}.
-
* Альтернативный вариант разреживания через L0-регуляризацию.
+
[https://youtu.be/zuN5HECqv3I?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
* Связь разреженности и единственности неотрицательного матричного разложения.
+
-
* Разреживание предметных тем и сглаживание фоновых тем. Автоматическое выделение стоп-слов.
+
-
'''Регуляризаторы частичного обучения.'''
+
'''Мультиграммные модели.'''
-
* Частичное обучение как выборочное сглаживание.
+
* Модель BigramTM.
-
* Сфокусированные тематические модели. Использование словаря для выделения предметных тем.
+
* Модель Topical N-grams (TNG).
-
* Пример: выделение тематики эпидемий, этнических конфликтов.
+
* Мультимодальная мультиграммная модель.
-
'''Ковариационные регуляризаторы.'''
+
'''Автоматическое выделение терминов.'''
-
* Дековариация тем.
+
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
-
* Тематические модели цитирования.
+
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
-
* Задача выявления корреляций между темами, модель CTM.
+
* Критерии тематичности фраз.
-
* Оценивание параметров (матрицы ковариаций) в модели CTM.
+
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
-
'''Регуляризаторы для классификации и регрессии.'''
+
'''Тематические модели дистрибутивной семантики.'''
-
* Задачи регрессии на текстах. Примеры. Регуляризатор. Формула М-шага.
+
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
-
* Задачи классификации текстов. Примеры. Регуляризатор. Формула М-шага.
+
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
 +
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
 +
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
 +
* Регуляризаторы когерентности.
-
'''Задание 1.3'''
+
'''Дополнительный материал:'''
-
Обязательные пункты: 1 и любой из остальных.
+
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
# Реализовать разреживание в онлайновом алгоритме OEM.
+
-
# Исследовать зависимость правдоподобия модели и точности восстановления от степени разреженности исходных модельных данных.
+
-
# Исследовать влияние разреживания на правдоподобие модели и точность восстановления. Проверить гипотезу, что если исходные данные разрежены, то разреживание существенно улучшает точность восстановления и слабо влияет на правдоподобие модели.
+
-
# Исследовать влияние частичной разметки на правдоподобие модели и точность восстановления. Проверить гипотезу, что небольшой доли правильно размеченных документов уже достаточно для существенного улучшения правдоподобия и устойчивости модели.
+
-
# Исследовать влияние сглаживания на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Воронцов, 2013, 2015], [Chemudugunta, 2006].
+
== Моделирование сегментированного текста ==
 +
Презентация: [[Media:Voron24ptm-segm.pdf|(PDF,&nbsp;2,1&nbsp;МБ)]] {{важно|— обновление 21.11.2024}}.
 +
[https://youtu.be/k46UzzMSKt0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=22 старая видеозапись]
-
===Оценивание качества тематических моделей===
+
'''Позиционный регуляризатор в ARTM.'''
 +
* Гипотеза о сегментной структуре текста.
 +
* Регуляризация и пост-обработка Е-шага. Формулы М-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
-
'''Реальные данные.'''
+
'''Тематические модели предложений.'''
-
* Текстовые коллекции, библиотеки алгоритмов, источники информации.
+
* Тематическая модель предложений senLDA.
-
* Внутренние и внешние критерии качества.
+
* Модель коротких сообщений Twitter-LDA.
-
* Дополнительные данные для построения внешних критериев качества.
+
* Сегментоиды. Лексические цепочки.
-
'''Перплексия и правдоподобие.'''
+
'''Тематическая сегментация текста.'''
-
* Определение и интерпретация перплекcии.
+
* Метод TopicTiling. Критерии определения границ сегментов.
-
* Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции.
+
* Критерии качества сегментации.
-
* Проблема сравнения моделей с разными словарями.
+
* Оптимизация параметров модели TopicTiling.
-
* Относительная перплексия.
+
-
''' Оценивание качества темы.'''
+
== Именование и суммаризация тем ==
-
* Лексическое ядро темы: множество типичных терминов темы.
+
Презентация: [[Media:Voron23ptm-sum.pdf|(PDF,&nbsp;4,3&nbsp;МБ)]] {{важно|— обновление 04.05.2024}}.
-
* Чистота и контрастность темы
+
[https://youtu.be/nShxhkPbGWY старая видеозапись]
-
* Документное ядро темы: множество типичных документов темы.
+
-
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
+
-
* Конфликтность темы: близость темы к другим темам.
+
-
'''Статистические тесты условной независимости.'''
+
'''Методы суммаризации текстов.'''
-
* Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
+
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
* Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
* Тематическая модель предложений для суммаризации.
-
* Обобщённое семейство статистик Кресси-Рида.
+
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
-
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
+
-
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
+
-
'''Литература:''' [Newman, 2009–2011].
+
'''Автоматическое именование тем (topic labeling).'''
 +
* Формирование названий-кандидатов.
 +
* Релевантность, покрытие, различность.
 +
* Оценивание качества именования тем.
-
===Внешние оценки качества тематических моделей===
+
'''Задача суммаризации темы'''
 +
* Задача ранжирования документов
 +
* Задача фильтрации репрезентативных релевантных фраз.
 +
* Задача генерации связного текста
-
'''Оценивание интерпретируемости тем.'''
+
== Теория ЕМ-алгоритма ==
-
* Экспертное оценивание интерпретируемости.
+
Презентация: [[Media:Voron24ptm-emlda.pdf|(PDF,&nbsp;2,0&nbsp;МБ)]] {{важно|— обновление 25.10.2024}}.
-
* Асессорская разметка терминов и документов, релевантных теме.
+
[https://youtu.be/DBF5QAFC1V0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
* Метод интрузий.
+
-
* Радикальное улучшение интерпретируемости в n-граммных тематических моделях.
+
-
'''Когерентность.'''
+
'''Классические модели PLSA, LDA.'''
-
* Определение когерентности.
+
* Модель PLSA.
-
* Эксперименты, показывающие связь когерентности и интерпретируемости.
+
* Модель LDA. Распределение Дирихле и его свойства.
-
* Способы оценивания совместной встречаемости слов.
+
* Максимизация апостериорной вероятности для модели LDA.
-
'''Суммаризация темы.'''
+
'''Общий EM-алгоритм.'''
-
* Проблема визуализации тем.
+
* EM-алгоритм для максимизации неполного правдоподобия.
-
* Выделение тематичных слов и предложений.
+
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
-
* Кластеризация тематичных предложений.
+
* Альтернативный вывод формул ARTM.
-
* Ранжирование тематичных предложений.
+
-
* Асессорская разметка предложений, релевантных теме.
+
-
* Задача автоматического именования темы.
+
-
'''Критерии качества классификации и ранжирования.'''
+
'''Эксперименты с моделями PLSA, LDA.'''
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
* Проблема неустойчивости (на синтетических данных).
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
* Проблема неустойчивости (на реальных данных).
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
* Проблема переобучения и робастные модели.
-
'''Задание 1.4.'''
+
== Байесовское обучение модели LDA ==
-
# Применить OEM к реальным коллекциям.
+
Презентация: [[Media:Voron24ptm-bayes.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 25.10.2024}}.
-
# Исследовать на реальных данных зависимость внутренних и внешних критериев качества от эвристических параметров алгоритма обучения OEM.
+
[https://youtu.be/ZAtfN0ApQh0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=20 старая видеозапись]
-
# В экспериментах на реальных данных построить зависимости перплексии обучающей и контрольной коллекции от числа итераций и числа тем.
+
-
'''Литература:'''
+
'''Вариационный байесовский вывод.'''
 +
* Основная теорема вариационного байесовского вывода.
 +
* [[Вариационный байесовский вывод]] для модели LDA.
 +
* VB ЕМ-алгоритм для модели LDA.
-
===Мультимодальные регуляризованные тематические модели===
+
'''Сэмплирование Гиббса.'''
-
* ''Напоминания''. Аддитивная регуляризация тематических моделей.
+
* Основная теорема о сэмплировании Гиббса.
 +
* [[Сэмплирование Гиббса]] для модели LDA.
 +
* GS ЕМ-алгоритм для модели LDA.
-
'''Мультимодальная АРТМ.'''
+
'''Замечания о байесовском подходе.'''
-
* Виды модальностей и примеры прикладных задач.
+
* Оптимизация гиперпараметров в LDA.
-
* Вывод формул М-шага.
+
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
-
* Тематическая модель классификации. Пример: [[Технология информационного анализа электрокардиосигналов]].
+
* Сравнение байесовского подхода и ARTM.
-
* Тематическая модель текста и изображений.
+
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
-
* Задача аннотирования изображений.
+
-
'''Мультиязычные тематические модели.'''
+
== Проект «Тематизатор» ==
-
* Параллельные и сравнимые коллекции.
+
Презентация: [[Media:Voron23ptm-project.pdf|(PDF,&nbsp;6,2&nbsp;МБ)]] {{важно|— обновление 21.09.2023}}.
-
* Регуляризаторы для учёта двуязычных словарей.
+
[https://youtu.be/LctW1J93lmw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Модели многоматричных разложений.'''
+
'''Визуализация тематических моделей'''
-
* Понятие порождающей модальности.
+
* Концепция distant reading.
-
* Вывод формул М-шага.
+
* Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
-
* Автор-тематическая модель (author-topic model).
+
* Спектр тем.
-
* Модель для выделения поведений объектов в видеопотоке.
+
* Визуализация матричного разложения.
-
'''Гиперграфовая модель.'''
+
'''Примеры прикладных задач'''
-
* Примеры транзакционных данных в социальных и рекламных сетях.
+
* Поиск этно-релевантных тем в социальных сетях.
-
* Вывод формул М-шага.
+
* Анализ программ развития российских вузов.
 +
* Поиск и рубрикация научных статей на 100 языках.
 +
* Проекты Школы Прикладного Анализа Данных.
-
'''Литература:'''
+
'''Анализ требований к «Тематизатору»'''
 +
* Функциональные требования.
 +
* Требования к интерпретируемости.
 +
* Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
 +
* Этапизация работ.
-
===Определение числа тем и иерархические модели===
+
=Отчетность по курсу=
 +
Условием сдачи курса является выполнение индивидуальных практических заданий.
-
'''Регуляризатор энтропийного разреживания.'''
+
'''Рекомендуемая структура отчёта об исследовании:'''
-
* Регуляризатор и формула М-шага. Эффект строкового разреживания.
+
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
-
* Определение истинного числа тем в экспериментах с полумодельными данными.
+
* Описание простого решения baseline
-
* Гипотеза о несуществовании истинного числа тем.
+
* Описание основного решения и его вариантов
-
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
+
* Описание набора данных и методики экспериментов
-
* Сравнение с моделью иерархических процессов Дирихле.
+
* Результаты экспериментов по подбору гиперпараметров основного решения
 +
* Результаты экспериментов по сравнению основного решения с baseline
 +
* Примеры визуализации модели
 +
* Выводы: что работает, что не работает, инсайты
 +
* Ссылка на код
-
'''Тематическая модель с фиксированной иерархией.'''
+
'''Примеры отчётов:'''
-
* Задачи категоризации текстов. Стандартный метод решения — сведение к последовательности задач классификации.
+
* [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]]
-
* Необходимость частичного обучения для задачи категоризации.
+
* [[Media:filin18ptm.pdf|Максим Филин, 2018]]
-
* Вероятностная формализация отношения «тема–подтема». Тождества, связывающие распределения тем и подтем
+
* [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]]
-
* Задача построения разреженного иерархического тематического профиля документа.
+
-
'''Послойное нисходящее построение тематической иерархии.'''
+
=Литература=
-
* Регуляризатор матрицы Фи.
+
-
* Регуляризатор матрицы Тета.
+
-
* Измерение и оптимизация качества иерархических моделей.
+
-
* Разреживание вероятностного отношения тема—подтема.
+
-
'''Одновременное построение всех слоёв тематической иерархии.'''
+
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. 2023.
 +
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
 +
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 +
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 +
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 +
<!--
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 +
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
 +
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
-
'''Литература:''' .
+
'''Дополнительная литература'''
-
===Тематические модели, учитывающие порядок слов===
+
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
 +
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
 +
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
 +
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
 +
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
 +
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
 +
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
 +
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 +
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 +
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
 +
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
 +
-->
-
'''Мультиграммные модели.'''
+
= Ссылки =
-
* Задача выделения терминов как ключевых фраз (словосочетаний). Словари терминов.
+
* [[Тематическое моделирование]]
-
* Морфологический и синтаксический анализ текста.
+
* [[Аддитивная регуляризация тематических моделей]]
-
* Отбор фраз с подчинительными связями.
+
* [[Коллекции документов для тематического моделирования]]
-
* Отбор фраз по статистическому критерию коллокации C-Value. Совмещение критериев TF-IDF и CValue.
+
* [[BigARTM]]
-
* Отбор фраз по оценке тематичности.
+
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
-
* Задача сокращения словаря (vocabulary reduction) и проблема сравнения моделей с разными словарями.
+
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
-
'''Регуляризаторы для выделения энграмм.'''
+
'''Материалы для первого ознакомления:'''
-
* Биграммная тематическая модель.
+
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
 +
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
* ''[https://www.youtube.com/watch?v=MhNbccnVk5Y Байесовская и классическая регуляризация в вероятностном тематическом моделировании]''. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. [[Media:Voron-2021-02-19.pdf|Презентация]].
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
-
'''Сегментирующие тематические модели.'''
+
= Подстраницы =
-
* Позиционный регуляризатор, вывод формул М-шага.
+
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
-
* Пост-обработка Е-шага.
+
-
* Интерпретация текста как пучка временных рядов и задача разладки.
+
-
* Алгоритм тематической сегментации.
+
-
* Тематические модели предложений (sentence topic model).
+
-
'''Векторная модель word2vec.'''
+
[[Категория:Учебные курсы]]
-
* Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
+
-
* Гибрид тематической модели и векторной модели word2vec.
+
-
* Связь word2vec с регуляризатором когерентности.
+
-
* Эксперименты с гибридной моделью W2V-TM.
+
-
'''Литература:''' .
 
-
===Динамические и пространственные тематические модели===
+
<!---------------------------------------------------
-
'''Тематические модели с модальностью времени.'''
+
'''Модели связного текста.'''
-
* Регуляризатор разреживания тем в каждый момент времени.
+
* Контекстная документная кластеризация (CDC).
-
* Регуляризаторы сглаживания темы как временного ряда.
+
* Метод лексических цепочек.
-
* Вывод M-шага для негладкого регуляризатора.
+
-
'''Тематические модели с модальностью геолокации.'''
+
'''Инициализация.'''
-
* Тематические модели социальных сетей.
+
* Случайная инициализация. Инициализация по документам.
 +
* Контекстная документная кластеризация.
 +
* Поиск якорных слов. Алгоритм Ароры.
-
===Траектории регуляризации===
+
'''Расширяемые тематические модели.'''
 +
* Пакетный ЕМ-алгоритм.
 +
* Обнаружение новых тем в потоке документов. Инициализация новых тем.
 +
* Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов.
-
'''Обучение с подкреплением'''
+
== Анализ разнородных данных ==
-
* Контекстный многорукий бандит.
+
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
-
* Инкрементная регрессия.
+
-
* Регрессия с верхними доверительными границами (UCB).
+
-
'''Задача оптимизации трактории в пространстве коэффициентов регуляризации'''
+
== Примеры приложений тематического моделирования ==
-
* Относительные коэффициенты регуляризации.
+
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
-
* Признаковое описание контекста. Метрики качества тематической модели.
+
-
* Функция премии и скаляризация критериев.
+
-
* Особенности реализации обучения с подкреплением в онлайновом ЕМ-алгоритме.
+
-
===Визуализация тематических моделей===
+
'''Примеры приложений тематического моделирования.'''
 +
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
 +
* Динамическая модель коллекции пресс-релизов.
 +
* Разведочный поиск в коллективном блоге.
 +
* Сценарный анализ записей разговоров контактного центра.
 +
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
-
'''Навигация по тематической модели.'''
+
== Инициализация, траектория регуляризации, тесты адекватности ==
-
* Визуализатор TMVE.
+
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
-
* Визуализатор Termite.
+
-
* Визуализатор для [[BigARTM]].
+
-
'''Методы визуализации.'''
+
'''Траектория регуляризации.'''
-
* Задача и методы многомерного шкалирования.
+
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
-
* Визуализация «дорожной карты» темы или набора тем.
+
* Относительные коэффициенты регуляризации.
-
* Визуализация тематических иерархий.
+
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
-
* Визуализация динамических моделей, метафора «реки тем».
+
* Подходы к скаляризации критериев.
-
* Визуализация тематической структуры документа.
+
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
-
* Визуализация модели трёх источников.
+
-
'''Средства разведочного поиска.'''
+
'''Тесты адекватности.'''
-
* Концепция пользовательского интерфейса для разведочного поиска.
+
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
-
* Концепция иерархической суммаризации.
+
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
 +
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
 +
* Обобщённое семейство статистик Кресси-Рида.
 +
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
 +
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
-
===Большие данные===
+
== Обзор оценок качества тематических моделей ==
 +
Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
-
'''Параллельные и распределённые алгоритмы.'''
+
* Внутренние и внешние критерии качества.
-
* Обзор подходов к распараллеливанию онлайнового EМ-алгоритма.
+
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
-
* Распараллеливание онлайнового EМ-алгоритма в [[BigARTM]].
+
-
* Распределённое хранение коллекции.
+
-
'''Обработка больших коллекций в BigARTM.'''
+
''' Оценивание качества темы.'''
-
* Особенности предварительной обработки.
+
* Лексическое ядро темы: множество типичных терминов темы.
-
* Коллекция Википедии.
+
* Чистота и контрастность темы
-
* Коллекция arXiv.org.
+
* Документное ядро темы: множество типичных документов темы.
-
* Коллекция социальной сети VK.
+
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
 +
* Конфликтность темы: близость темы к другим темам.
 +
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
-
==Литература==
+
'''Устойчивость и полнота.'''
 +
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
 +
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
-
'''Основная литература'''
+
'''Критерии качества классификации и ранжирования.'''
 +
* Полнота, точность и F-мера в задачах классификации и ранжирования.
 +
* Критерии качества ранжирования: MAP, DCG, NDCG.
 +
* Оценка качества тематического поиска документов по их длинным фрагментам.
-
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
+
* Вывод M-шага для негладкого регуляризатора.
-
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
+
* Тематическая модель текста и изображений. Задача аннотирования изображений.
-
# ''Vorontsov K. V., Potapenko A. A.'' [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
+
-->
-
 
+
-
'''Дополнительная литература'''
+
-
 
+
-
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
+
-
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
+
-
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
+
-
# Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
+
-
# Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
+
-
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
+
-
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
+
-
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
+
-
# Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
+
-
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
+
-
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
+
-
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
+
-
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
+
-
 
+
-
== Ссылки ==
+
-
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
+
-
* [[Тематическое моделирование]]
+
-
* [[Аддитивная регуляризация тематических моделей]]
+
-
* [[Коллекции документов для тематического моделирования]]
+
-
* [[BigARTM]]
+
-
* Конспект лекций: [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf, 2.6 МБ]] {{важно|(обновление 16 октября 2013)}}.
+
-
* BigARTM: тематическое моделирование больших текстовых коллекций. [http://www.meetup.com/Moscow-Data-Fest/events/224856462/ Data Fest #1], 12 сентября 2015. '''[[Media:voron-2015-datafest.pdf|(PDF,&nbsp;6.5&nbsp;МБ)]]'''.
+
-
 
+
-
[[Категория:Учебные курсы]]
+

Версия 12:21, 7 апреля 2025

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Проект «Мастерская знаний»

Презентация: (PNG, 8,1 МБ) — обновление 3.03.2025.

Проект «Мастерская знаний»

  • Цели, задачи, концепция проекта. Тематические подборки научных текстов.
  • Модель векторизации текста для поиска и рекомендаций научных статей.
  • Основные сервисы «Мастерской знаний».

Место тематического моделирования в «Мастерской знаний»

  • Сервис тематизации подборки.
  • Сервисы выявления научных трендов и построения хронологических карт.
  • Вспомогательные функции в сервисе полуавтоматической суммаризации.

Карты знаний

  • Задачи иерархической суммаризации одной статьи, подборки статей.
  • Принципы построения интеллект-карт и карт знаний.
  • Что такое «тема»? Отличия тематизации и картирования.

Задача тематического моделирования

Презентация: (PDF, 1,6 МБ) — обновление 10.03.2025. старая видеозапись

Цели и задачи тематического моделирования.

Аддитивная регуляризация тематических моделей.

  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Лемма о максимизации на единичных симплексах. Условия Каруша–Куна–Таккера.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Онлайновый ЕМ-алгоритм и аддитивная регуляризация

Презентация: (PDF, 1,3 МБ) — обновление 10.03.2025. старая видеозапись

Часто используемые регуляризаторы.

  • Сглаживание и разреживание.
  • Частичное обучение.
  • Декоррелирование тем.
  • Разреживание для отбора тем.

Онлайновый ЕМ-алгоритм.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Оффлайновый регуляризованный EM-алгоритм.
  • Улучшение сходимости несмещёнными оценками.
  • Подбор коэффициентов регуляризации.
  • Относительные коэффициенты регуляризации.
  • Библиотеки BigARTM и TopicNet.

Эксперименты с регуляризацией.

  • Производительность BigARTM
  • Оценивание качества: перплексия, когерентность, лексическое ядро
  • Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
  • Комбинирование регуляризаторов, эмпирические рекомендации.

Моделирование локального контекста

Презентация: (PDF, 1,1 МБ) — обновление 17.03.2025. старая видеозапись

Линейная тематизация текста.

  • Линейная тематизация текста за один проход без матрицы \Theta.
  • Локализация E-шага.
  • Двунаправленная тематическая модель контекста.
  • Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.

Аналогия с моделью само-внимания (self-attention) и трансформером.

  • Модель внимания Query-Key-Value.
  • Трансформер: кодировщик и декодировщик.
  • Онлайновый EM-алгоритм с многопроходным локализованным E-шагом.

Тематический информационный поиск

Презентация: (PDF, 3,7 МБ) — обновление 24.03.2025. старая видеозапись

Мультимодальные тематические модели.

  • Примеры модальностей.
  • Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

Оценивание качества тематических моделей

Презентация: (PDF, 1,7 МБ) — обновление 30.03.2025. старая видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность. Внутритекстовая когерентность.
  • Разреженность и различность.

Проверка гипотезы условной независимости.

  • Статистики на основе KL-дивергенции и их обобщения.
  • Регуляризатор семантической однородности.
  • Применение статистических тестов условной независимости.

Проблема определения числа тем.

  • Разреживающий регуляризатор для отбора тем.
  • Эксперименты на синтетических и реальных данных.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Проблема тематической несбалансированности в данных

  • Проблема малых тем и тем-дубликатов
  • Тематическая несбалансированность как основная причина неинтерпретируемости тем
  • Эксперименты с регуляризаторами отбора тем и декоррелирования
  • Регуляризатор семантической однородности

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Мультимодальные тематические модели

Презентация: (PDF, 2,8 МБ) — обновление 7.04.2025. старая видеозапись

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Гиперграфовые тематические модели языка. Тематическая модель предложений.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Анализ зависимостей

Презентация: (PDF, 2,7 МБ) — обновление 05.12.2024. старая видеозапись

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,7 МБ) — обновление 07.11.2024. старая видеозапись

Мультиграммные модели.

  • Модель BigramTM.
  • Модель Topical N-grams (TNG).
  • Мультимодальная мультиграммная модель.

Автоматическое выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
  • Регуляризаторы когерентности.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Моделирование сегментированного текста

Презентация: (PDF, 2,1 МБ) — обновление 21.11.2024. старая видеозапись

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация и пост-обработка Е-шага. Формулы М-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Тематические модели предложений.

  • Тематическая модель предложений senLDA.
  • Модель коротких сообщений Twitter-LDA.
  • Сегментоиды. Лексические цепочки.

Тематическая сегментация текста.

  • Метод TopicTiling. Критерии определения границ сегментов.
  • Критерии качества сегментации.
  • Оптимизация параметров модели TopicTiling.

Именование и суммаризация тем

Презентация: (PDF, 4,3 МБ) — обновление 04.05.2024. старая видеозапись

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Задача суммаризации темы

  • Задача ранжирования документов
  • Задача фильтрации репрезентативных релевантных фраз.
  • Задача генерации связного текста

Теория ЕМ-алгоритма

Презентация: (PDF, 2,0 МБ) — обновление 25.10.2024. старая видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Общий EM-алгоритм.

  • EM-алгоритм для максимизации неполного правдоподобия.
  • Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
  • Альтернативный вывод формул ARTM.

Эксперименты с моделями PLSA, LDA.

  • Проблема неустойчивости (на синтетических данных).
  • Проблема неустойчивости (на реальных данных).
  • Проблема переобучения и робастные модели.

Байесовское обучение модели LDA

Презентация: (PDF, 1,7 МБ) — обновление 25.10.2024. старая видеозапись

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Проект «Тематизатор»

Презентация: (PDF, 6,2 МБ) — обновление 21.09.2023. Видеозапись

Визуализация тематических моделей

  • Концепция distant reading.
  • Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
  • Спектр тем.
  • Визуализация матричного разложения.

Примеры прикладных задач

  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Проекты Школы Прикладного Анализа Данных.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
  • Этапизация работ.

Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM. 2023.
  2. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  3. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  4. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  5. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2024
Источник — «http://recognition.su/wiki/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29»
Личные инструменты