Участник:Andriygav

Материал из MachineLearning.

Версия 07:36, 15 декабря 2020

Личная информация

• Грабовой Андрей
• МФТИ, ФУПМ
• Интеллектуальные системы
• Интеллектуальный анализ данных
• E-mail: grabovoy.av@phystech.edu, andriy.graboviy@mail.ru

Весна 2018, 6й семестр

Автоматическое определение релевантности параметров нейросети
Работа посвящена оптимизации структуры нейронной сети. Предполагается, что число параметров нейросети можно существенно снизить без значимой потери качества и значимого повышения дисперсии функции ошибки. Предлагается метод прореживания параметров нейронной сети, основанный на автоматическом определении релевантности параметров. Для определения релевантности параметров предлагается проанализировать ковариационную матрицу апостериорного распределения параметров и удалить из нейросети мультикоррелирующие параметры. Для определения мультикорреляции используется метод Белсли. Для анализа качества представленного алгоритма проводятся эксперименты на выборке Boston Housing, а также на синтетических данных.

Осень 2018, 7й семестр

Численные методы оценки объема выборки в задачах регрессии и классификации
Исследуется проблема снижения затрат на сбор данных, необходимых для построения адекватной модели. Решаются задачи регрессии и классификации. Для решения этих задач требуется, чтобы выборка содержала необходимое число объектов и не противоречила гипотезе порождения данных. Эта гипотеза состоит из предположений о составе выборки и свойствах модели, которая описывает ее оптимально, согласно принятому критерию. Адекватной называется модель, не противоречащая гипотезе порождения данных. Базовыми предположениями являются предположения о простоте и однородности выборки: выборка, необходимый объем которой требуется оценить, адекватно аппроксимируется одной обобщенно-линейной моделью. Предпочтительны те методы оценки объемы, которые позволяют строить адекватные модели по выборкам возможно меньшего объема. Данная работа анализирует численные свойства методов, используемых для оценки выборки на практике и предлагает пути их улучшения. В анализ включены как методы, оценивающие объем выборки исходя из гипотезы порождения данных, использующие эвристические предположения, так и методы, учитывающие структуру модели, которая будет построена. Вычислительный эксперимент включает часто используемые открытые выборки, а также синтетически сгенерированные выборки.

Весна 2019, 8й семестр

Анализ свойств локальных моделей в задачах кластеризации временных рядов
Данная работа посвящена анализу периодических сигналов во временных рядах с целью распознавания физических действий человека с помощью акселерометра. Предлагается метод кластеризации точек временного ряда для поиска характерных квазипериодических сегментов временного ряда. Временные ряды являются объектами сложной структуры, для которых не задано исходное признаковое описание. В качестве признакового описания точек временного ряда рассматриваются главные компоненты локальной окрестности фазовой траектории вблизи данной точки. Для оценки близости двух точек временного ряда вычисляется расстояние между данными точками в построенном пространстве признаков. При помощи матрицы попарных расстояний между точками временного ряда выполняется кластеризация данных точек. Для анализа качества представленного алгоритма проводятся эксперименты на синтетических данных и данных полученных при помощи мобильного акселерометра. Проводится эксперимент с поиском начала квазипериодических сегментов внутри каждого кластера.

Ранее прогнозирования достаточного объема выборки
Исследуется проблема снижения затрат на сбор данных, необходимых для построения адекватной модели. Рассматриваются задачи линейной и логистической моделей. Для решения этих задач требуется, чтобы выборка содержала необходимое число объектов. Требуется предложить метод вычисления оптимального обьема данных, соблюдая при этом баланс между точностью модели и и трудозатратами при сборе данных. Предпочтительны те методы оценки объемы, которые позволяют строить адекватные модели по выборкам возможно меньшего объема.

Осень 2019, 9й семестр

Введение отношения порядка на множестве параметров аппроксимирующих моделей
Исследуется проблема введения отношения порядка на множестве параметров сложных аппроксимирующих моделей. В качестве параметрических моделей исследуются линейные и нейросетевые модели. Порядок на множестве параметров задается при помощи ковариационной матрицы градиентов функции ошибки по параметрам модели. Предлагается использовать заданный порядок для фиксации параметров модели во время решения оптимизационной задачи. Предполагается, что после небольшого числа итераций алгоритма оптимизации некоторые параметры модели можно зафиксировать без значимой потери качества модели. Это позволит существенно понизить размерность задачи оптимизации. В вычислительном эксперименте сравниваются модели, в которых параметры фиксируются в соответствии с предложенным порядком с моделями, в которых параметры фиксируются произвольным образом.

Анализ выбора априорного распределения для смеси экспертов
Данная работа посвящена анализу свойств смеси экспертов. Рассматриваются различные способы выбора априорного распределения. Анализируется случай, когда выбрано информативное и неинформативное априорные распределения параметров каждого эксперта. Экспертами рассматриваются линейные модели. Смесь экспертов это нейросеть с функцией softmax на последнем слое. Рассматривается задача поиска окружностей на изображении. Каждой окружности на изображении соответствует свой эксперт. Рассматривается два случая, с зависимыми и независимыми априорными распределениями параметрами локальных моделей~--- экспертов. Требуется найти на изображении синтетически сгенерированные окружности с разным уровнем шума. Сравнивается устойчивость к шуму смеси с заданными априорными распределениями на вектора параметров экспертов и без задания априорного распределения.

Весна 2020, 10й семестр

Анализ моделей привилегированного обучения и дистилляции
Данная работа посвящена методам понижения сложности аппроксимирующих моделей. Предлагается вероятностное обоснование методов дистилляции и привилегированного обучения. В работе приведены общие выводы для произвольной параметрической функции с наперед заданной структурой. Показано теоретическое обоснование для частных случаев: линейной и логистической регрессии. Теоретические результаты анализируются в вычислительном эксперименте на синтетических выборках и реальных данных. В качестве реальных данных рассматривается выборки FashionMNIST и Twitter Sentiment Analysis. .

Осень 2020, 11й семестр

Анализ свойств вероятностных моделей в задачах обучения с экспертом
Данная работа посвящена построению интерпретируемых моделей в машинном обучении. Решается задача аппроксимации заданного набора фигур на контурном изображении. Вводятся предположения о том, что фигуры являются кривыми второго порядка. При аппроксимации фигур используется информация о типе, расположению и виде кривых, а также о множестве их возможных преобразований. Такая информация называется экспертной, а метод машинного обучения, основанный на экспертной информации, называется обучением с экспертом. Предполагается, что набор фигур аппроксимируется набором локальных моделей. Каждая локальная модель на основе экспертной информации аппроксимирует одну фигуру на контурном изображении. Для построение моделей предлагается отобразить кривые второго порядка в признаковое пространство, в котором каждая локальная модель является линейной моделью. Таким образом, кривые высших порядков расспознаются при помощи композиции линейных моделей. В качестве прикладной задачи рассматривается задача аппроксимации радужки глаза на контурном изображении.

Выступления на конференциях и семинарах

• 12 октября 2018. ИОИ-2018. Автоматическое определение релевантности параметров нейросети.
• 29 ноября 2018. 61-я Всероссийская научная конференция МФТИ. Поиск оптимальной модели при помощи алгоритмов прореживания.
• 25 ноября 2019. 62-я Всероссийская научная конференция МФТИ. Анализ априорных распределений в задаче смеси экспертов.
• 28 ноября 2019. ММРО-2019'. Введение отношения порядка на множестве параметров нейронной сети.
• 28 ноября 2020. 63-я Всероссийская научная конференция МФТИ. Привилегированная информация и дистилляция моделей.
• 8 декабря 2020. ИОИ-2020'. Задача обучения с экспертом для построение интерпретируемых моделей машинного обучения.

Публикации

• Грабовой А.В., Бахтеев О.Ю., Стрижов В.В. Определение релевантности параметров нейросети // Информатика и ее применения, 2019, 13(2).
• Грабовой А.В., Бахтеев О. Ю., Стрижов В.В. Введение отношения порядка на множестве параметров аппроксимирующих моделей // Информатика и ее применения, 2020, 14(2).
• A. Grabovoy, V. Strijov. Quasi-periodic time series clustering for human. Lobachevskii Journal of Mathematics, 2020, 41(3).
• Грабовой А.В., Стрижов В.В. Анализ выбора априорного распределения для смеси экспертов // Журнал Вычислительной математики и математической физики, 2021. 61(5).
• Грабовой А.В., Стрижов В.В. Анализ моделей привилегированного обучения и дистилляции // Автоматика и телемеханика, 2021 (текущая работа, на рецензировании)