Прикладной регрессионный анализ (курс лекций, B.В.Стрижов, 2009)
Материал из MachineLearning.
(Различия между версиями)
(→Полезные ссылки) |
(→Экзамен) |
||
Строка 70: | Строка 70: | ||
== Экзамен == | == Экзамен == | ||
- | * 15 декабря в 10:30 ауд. 355. Теория ( | + | * 15 декабря в 10:30 ауд. 355. |
- | + | ||
+ | === I. Теория=== | ||
+ | |||
+ | # Регрессионный анализ, регрессионная модель, линейная регрессия, МНК, МГУА. | ||
+ | # Сингулярное разложение, метод главных компонент, регуляризация. | ||
+ | # Методы выбора линейных моделей Lasso, LARS, Optimal brain surgery. | ||
+ | # Построение интегральных индикаторов «без учителя» и «с учителем», согласование экспертных оценок в линейных и ранговых шкалах. | ||
+ | # Связанный Байесовский вывод, вычисление гиперпараметров. | ||
+ | # Аппроксимация Лапласа, нелинейная регрессия, метод Левенберга-Марквардта. | ||
+ | # Сложность моделей и Minimum Description Length. | ||
+ | # Генеративный и дискриминативный выбор моделей. | ||
+ | |||
+ | === II. Практика=== | ||
+ | |||
+ | # Стандарт IDEF0 в проектировании архитектур программных систем. | ||
+ | # Стандарт анализа данных CRISP-DM. | ||
+ | # Содержание отчета об исследовательском проекте. | ||
+ | # Организация вычислительного эксперимента и отчет. | ||
+ | # Основные структуры данных Matlab. | ||
+ | # Соглашение о документировании функций Matlab. | ||
+ | # Стилевые соглашения Matlab. | ||
+ | # Описание программной системы systemdocs. | ||
+ | |||
+ | === III. Задачи=== | ||
+ | |||
+ | # Индексное описание многослойного МГУА с выбором пар признаков на каждом слое. | ||
+ | # Постановка регрессионной задачи построения модели улыбки волатильности. | ||
+ | # Постановка регрессионной задачи прогнозирования временных рядов с выраженной периодикой. | ||
+ | # Дана выборка – множество пар измерений координат окружности, выполненных с некоторой случайной аддитивной ошибкой. Требуется методом наименьших квадратов найти центр и радиус этой окружности. | ||
+ | # Есть измерения координат границ плоских и объемных физических тел (несложной формы), сделанные с ошибкой. Предложить примеры моделирования форм этих тел с помощью методов линейной регрессии, поставить задачу. | ||
+ | # Показать, что согласованные оценки интегральных индикаторов и весов показателей, полученные линейным алгоритмом, существуют, единственны, удовлетворяют требованиям согласованности. | ||
+ | # Вывести оценку весов показателей гамма-согласования как минимум суммы квадратов расстояний между выставленной и вычисленной оценками в пространствах оценок интегральных индикаторов и весов показателей. | ||
+ | # Показать, что сингулярные числа матрицы— это длины осей эллипсоида, заданного линейным отображением векторов с Евклидовой длиной равной единице; показать, что первое сингулярное число матрицы — это ее Евклидова норма; показать, что число обусловленности матрицы <tex>A^TA</tex> есть квадрат числа обусловленности матрицы <tex>A</tex>. | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
[[Категория: Учебные курсы]] | [[Категория: Учебные курсы]] | ||
[[Категория: Регрессионый анализ]] | [[Категория: Регрессионый анализ]] |
Версия 17:28, 9 ноября 2009
Статья предназначена прежде всего для студентов группы 474, она будет наполняться в течение этого семестра. |
|
Московский физико-технический институт, Факультет управления и прикладной математики
Курс читается студентам 6-го курса кафедры "Интеллектуальные системы"
История
Курс, особенно прикладная часть, изменяется ежегодно. См. материалы прошлых лет:
- Прикладной регрессионный анализ (курс лекций, B.В.Стрижов, 2008)
- Прикладная регрессия и оптимизация (курс лекций, B.В.Стрижов)
- Информационное моделирование, программа курса (осень 2007)
- Прикладная регрессия и оптимизация, программа курса (осень 2006)
Также см. статьи в разделе
Практика
Создание библиотеки алгоритмов выбора линейных моделей | Кирилл Чувилин, Екатерина Крымова |
Создание библиотеки алгоритмов выбора нелинейных моделей | Welcome! |
Построение системы порождения и выбора моделей | Николай Разин, Александр Фрей |
Создание библиотеки алгоритмов конструктивного порождения моделей | Александр Фрей, Николай Разин |
Создание алгоритмов последовательной модификации моделей | Welcome! |
Порождение и выбор авторегрессионных моделей | Ирина Лебедева |
Порождение и выбор моделей классификации | Welcome! |
Задания
- Зарегистрироваться в репозитории sourceforge и прислать свой ник на электронную почту Константину Скипору.
- Составить список участников и список рецензентов (по два рецензента на каждого участника).
- Ознакомиться со списоком материалов по практике.
- Ознакомиться с приемами работы в Matlabе.
- Изучить структуры данных Matlaba.
- Прочесть Matlab Style Guide.
- Получить алгебраическое выражение для инвертированного метода сортировки [1].
- Прочесть IDEF0.
- Прочесть CRISPWP-DM.
Полезные ссылки
- Отчет о выполнении исследовательского проекта
- Отчет о выполнении вычислительного эксперимента
- Примеры отчетов об экспериментах: пример 1, пример 2
- Введение в Матлаб
- Документирование функций Matlab
- Matlab Programming Style Guidelines (pdf)
- Работа с репозиторием SourceForge.net
- Корневая папка репозитория SourceForge/mlalgorithms
- Протокол рецензирования программных систем (временная ссылка)
- Шаблон отчета о выполнении исследовательского проекта (временная ссылка)
- Шаблон описания программной системы systemdocs.doc (doc)
- Описание стандарта IDEF0 (pdf)
- Описание стандарта CRISP-DM (pdf)
- Оценка гиперпараметров нелинейнных регрессионных моделей (pdf)
Экзамен
- 15 декабря в 10:30 ауд. 355.
I. Теория
- Регрессионный анализ, регрессионная модель, линейная регрессия, МНК, МГУА.
- Сингулярное разложение, метод главных компонент, регуляризация.
- Методы выбора линейных моделей Lasso, LARS, Optimal brain surgery.
- Построение интегральных индикаторов «без учителя» и «с учителем», согласование экспертных оценок в линейных и ранговых шкалах.
- Связанный Байесовский вывод, вычисление гиперпараметров.
- Аппроксимация Лапласа, нелинейная регрессия, метод Левенберга-Марквардта.
- Сложность моделей и Minimum Description Length.
- Генеративный и дискриминативный выбор моделей.
II. Практика
- Стандарт IDEF0 в проектировании архитектур программных систем.
- Стандарт анализа данных CRISP-DM.
- Содержание отчета об исследовательском проекте.
- Организация вычислительного эксперимента и отчет.
- Основные структуры данных Matlab.
- Соглашение о документировании функций Matlab.
- Стилевые соглашения Matlab.
- Описание программной системы systemdocs.
III. Задачи
- Индексное описание многослойного МГУА с выбором пар признаков на каждом слое.
- Постановка регрессионной задачи построения модели улыбки волатильности.
- Постановка регрессионной задачи прогнозирования временных рядов с выраженной периодикой.
- Дана выборка – множество пар измерений координат окружности, выполненных с некоторой случайной аддитивной ошибкой. Требуется методом наименьших квадратов найти центр и радиус этой окружности.
- Есть измерения координат границ плоских и объемных физических тел (несложной формы), сделанные с ошибкой. Предложить примеры моделирования форм этих тел с помощью методов линейной регрессии, поставить задачу.
- Показать, что согласованные оценки интегральных индикаторов и весов показателей, полученные линейным алгоритмом, существуют, единственны, удовлетворяют требованиям согласованности.
- Вывести оценку весов показателей гамма-согласования как минимум суммы квадратов расстояний между выставленной и вычисленной оценками в пространствах оценок интегральных индикаторов и весов показателей.
- Показать, что сингулярные числа матрицы— это длины осей эллипсоида, заданного линейным отображением векторов с Евклидовой длиной равной единице; показать, что первое сингулярное число матрицы — это ее Евклидова норма; показать, что число обусловленности матрицы есть квадрат числа обусловленности матрицы .