Участник:Oleg Bakhteev

Материал из MachineLearning.

Текущая версия

Бахтеев Олег Юрьевич
МФТИ, ФУПМ
Кафедра «Интеллектуальные системы»
Направление «Интеллектуальный анализ данных»
bakhteev@phystech.edu

Весна 2014, 8 семестр

Восстановление панельной матрицы и ранжирующей модели по метризованной выборке в разнородных шкалах
Работа посвящена восстановлению ежегодных изменений рейтингов студентов при собеседовании в учебный центр. Рассматривается выборка, состоящая з экспертных оценок студентов, проходивших собеседование в учебный центр в течение нескольких лет и итоговых рейтингов студентов. Шкалы экспертных оценок меняются из года в год, но шкала рейтингов остается неизменной. Требуется восстановить ранжирующую модель, не зависящую от времени. Задача сводится к восстановлению панельной матрицы (то есть матрицы объект–признак–год), ставящей во взаимное соответствие некоторого студента (или усредненный “портрет” студента) и его предполагаемую оценку на собеседованиях за каждый год, и исследованию ранжирующей модели, полученной на основе этой матрицы, а так же анализу ее устойчивости на протяжении нескольких лет. Предлагается метод восстановления панельной матрицы, основанный на решении многомерной задачи о назначениях. В качестве метода восстановления ранжирующей модели используется алгоритм многоклассовой классификации с отношением полного порядка на классах и алгоритм ранжирования, основанный на методе опорных векторов.
Публикация
Бахтеев О. Ю. Восстановление панельной матрицы и ранжирующей модели по метризованной выборке в разнородных шкалах // Машинное обучение и анализ данных, 2015. T. 1. № 14. C. 1939-1960. [1]

Доклад на конференции
57-ая конференция МФТИ: доклад "Восстановление панельной матрицы и ранжирующей модели в разнородных шкалах"

Осень 2014, 9 семестр

Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков
Рассматривается задача восстановления пропущенных значений в выборках, содер- жащих значительное число пропусков. Вводится понятие устойчивости восстановления пропуска, а также исследуется возможность применимости подхода для восстановления пропущенных значений. Исследуется случай, когда восстановление производится по k бли- жайшим соседям. Рассматриваются теоретические аспекты применимости данного под- хода для сильно разреженных данных. Рассматривается вариант восстановления пропу- щенных значений с использованием восстановленных значений в качестве источника для восстановления других элементов.

Публикация
Бахтеев О.И. Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков // Машинное обучение и анализ данных. 2015. T. 1, №11. C. 1484 - 1499. PDF

Осень 2015, 11 семестр

Системы и средства глубокого обучения в задачах классификации
В работе рассматривается задача классификации временных рядов, т.е. упорядоченных по времени измерений некоторой величины. Рассматривается алгоритм классификации, основанный на искусственных нейросетях глубокого обучения, где под глубоким обучением понимается суперпозиция моделей. В качестве исследуемой структуры сети рассматривается композиция ограниченной машины Больцмана, автокодировщика и softmax-сети. Исследуется возможность обучения нейронной сети на процессоре графического ускорителя. Проводится анализ зависимости ошибки классификации от количества параметров и размера обучающей выборки.

Публикация
Бахтеев О.Ю., Попова М.С., Стрижов В.В. Системы и средства глубокого обучения в задачах классификации // Системы и средства информатики, 2016, 26(2) : 4-22. PDF

Осень 2016

Доклады на конференциях
Выбор модели глубокого обучения субоптимальной сложности с использованием вариационной оценки правдоподобия // Интеллектуализация обработки информации ИОИ-2016. link

Весна 2017

Выбор моделей глубокого обучения субоптимальной сложности

В работе рассматривается задача построения моделей глубокого обучения субоптимальной сложности. Под сложностью модели понимается минимальная длина описания совокупности данных и модели классификации или регрессии. Вводятся статистические предположения о распределении параметров. На основе данных предположений предлагается оптимизируемый функция правдоподобия модели. Для выбора оптимальной модели предлагаются вариационные методы оценки правдодобия модели для получения вариационной оценки рассматривается ряд методов, основанных на градиентных алгоритмах оптимизации. Проводится вычислительный эксперимент на выборке рукпописных цифр.

Бахтеев О. Ю., Стрижов В. В. Выбор моделей глубокого обучения субоптимальной сложности // Автоматика и Телемеханика, 2018

Осень 2017

Оптимизация гиперпараметров моделей глубокого обучения градиентными методами

Решается задача оптимизации гиперпараметров модели глубокого обучения. Для оптимизации гиперпараметров модели предлагаются алгоритмы, основанные на градиентном спуске. Так как сложность рассматриваемых алгоритмах сопоставима со сложностью оптимизации параметров модели, предлагается проводить оптимизацию параметров и гиперпараметров в единой процедуре. Для выбора адекватных значений гиперпараметров вводятся вероятностные предположения о распределении параметров. В качестве оптимизируемой функции выступает байесовское правдоподобие модели и кросс-валидация. Для получения оценки правдоподобия используются вариационные методы. Проводится вычислительный эксперимент на нескольких выборках.

O. Y. Bakhteev, V. V. Strijov. Comprehensive analysis of gradient-based hyperparameter optimization algorithms // New Generation Computing (in review).

Доклады на конференциях

Градиентные методы оптимизации гиперпараметров моделей глубокого обучения // ММРО-2017

Детектирование переводных заимствований в текстах научных статей из журналов, входящих в РИНЦ // ММРО-2017