Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 474, осень 2009

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Московский физико-технический институт, Факультет управления и прикладной математики

Курс читается студентам 6-го курса кафедры "Интеллектуальные системы"


Практика

Создание библиотеки алгоритмов выбора линейных моделей Кирилл Чувилин, Екатерина Крымова Krymova2009FeatureSelection
Композиции нейронных сетей для задачи регрессии Елена Ежова, Андрей Гущин GushchinEzhova2009NeuralNet
Построение системы порождения и выбора моделей Николай Разин, Александр Фрей FreyMVR
Создание библиотеки алгоритмов конструктивного порождения моделей Александр Фрей, Николай Разин FreyMVR
Порождение и выбор авторегрессионных моделей Ирина Лебедева Lebedeva2009Autoregression

Задания

  1. Зарегистрироваться в репозитории sourceforge и прислать свой ник на электронную почту Константину Скипору.
  2. Составить список участников и список рецензентов (по два рецензента на каждого участника).
  3. Ознакомиться со списоком материалов по практике.
  4. Ознакомиться с приемами работы в Matlabе.
  5. Изучить структуры данных Matlaba.
  6. Прочесть Matlab Style Guide.
  7. Получить алгебраическое выражение для инвертированного метода сортировки [1].
  8. Прочесть IDEF0.
  9. Прочесть CRISPWP-DM.

Полезные ссылки

  1. См. статьи в разделе Регрессионный анализ
  2. Отчет о выполнении исследовательского проекта
  3. Отчет о выполнении вычислительного эксперимента
  4. Примеры отчетов об экспериментах: пример 1, пример 2
  5. Введение в Матлаб
  6. Документирование функций Matlab
  7. Matlab Programming Style Guidelines (pdf)
  8. Работа с репозиторием SourceForge.net
  9. Корневая папка репозитория SourceForge/mlalgorithms
  10. Протокол рецензирования программных систем (временная ссылка)
  11. Шаблон отчета о выполнении исследовательского проекта (временная ссылка)
  12. Шаблон описания программной системы systemdocs.doc (doc)
  13. Описание стандарта IDEF0 (pdf)
  14. Описание стандарта CRISP-DM (pdf)
  15. Оценка гиперпараметров нелинейнных регрессионных моделей (pdf)

Экзамен

  • 19 января в 10:30 ауд. 355.

I. Теория

  1. Регрессионный анализ, регрессионная модель, линейная регрессия, МНК, МГУА.
  2. Сингулярное разложение, метод главных компонент, регуляризация.
  3. Методы выбора линейных моделей Lasso, LARS, Optimal brain surgery.
  4. Построение интегральных индикаторов «без учителя» и «с учителем», согласование экспертных оценок в линейных и ранговых шкалах.
  5. Связанный Байесовский вывод, вычисление гиперпараметров.
  6. Аппроксимация Лапласа, нелинейная регрессия, метод Левенберга-Марквардта.

II. Практика

  1. Стандарт IDEF0 в проектировании архитектур программных систем.
  2. Стандарт анализа данных CRISP-DM.
  3. Содержание отчета об исследовательском проекте.
  4. Организация вычислительного эксперимента и отчет.
  5. Основные структуры данных Matlab.
  6. Соглашение о документировании функций Matlab.
  7. Стилевые соглашения Matlab.
  8. Описание программной системы systemdocs.

III. Задачи

  1. Индексное описание многослойного МГУА с выбором пар признаков на каждом слое.
  2. Постановка регрессионной задачи построения модели улыбки волатильности.
  3. Постановка регрессионной задачи прогнозирования временных рядов с выраженной периодикой.
  4. Дана выборка – множество пар измерений координат окружности, выполненных с некоторой случайной аддитивной ошибкой. Требуется методом наименьших квадратов найти центр и радиус этой окружности.
  5. Есть измерения координат границ плоских и объемных физических тел (несложной формы), сделанные с ошибкой. Предложить примеры моделирования форм этих тел с помощью методов линейной регрессии, поставить задачу.
  6. Показать, что согласованные оценки интегральных индикаторов и весов показателей, полученные линейным алгоритмом, существуют, единственны, удовлетворяют требованиям согласованности.
  7. Вывести оценку весов показателей гамма-согласования как минимум суммы квадратов расстояний между выставленной и вычисленной оценками в пространствах оценок интегральных индикаторов и весов показателей.
  8. Показать, что сингулярные числа матрицы— это длины осей эллипсоида, заданного линейным отображением векторов с Евклидовой длиной равной единице; показать, что первое сингулярное число матрицы — это ее Евклидова норма; показать, что число обусловленности матрицы A^TA есть квадрат числа обусловленности матрицы A.
Личные инструменты