Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/Задание 1
Материал из MachineLearning.
Строка 1: | Строка 1: | ||
+ | __NOTOC__ | ||
+ | |||
{{notice|Внимание! Текст задания находится в стадии формирования. Просьба не рассматривать текущий вариант текста как окончательный вид задания.}} | {{notice|Внимание! Текст задания находится в стадии формирования. Просьба не рассматривать текущий вариант текста как окончательный вид задания.}} | ||
Строка 25: | Строка 27: | ||
<tex>b \sim R[b_{min},b_{max}]</tex>.<br> | <tex>b \sim R[b_{min},b_{max}]</tex>.<br> | ||
- | <br>Рассмотрим теперь модель посещаемости нескольких лекций спецкурса. | + | <br>Рассмотрим теперь модель посещаемости нескольких лекций спецкурса. Будем считать, что посещаемости отдельных лекций являются независимыми. Тогда:<br> |
- | + | ||
'''Модель 3'''<br> | '''Модель 3'''<br> | ||
{| class = "standard" | {| class = "standard" | ||
Строка 38: | Строка 39: | ||
|- | |- | ||
|} | |} | ||
+ | |||
+ | <br>По аналогии с моделью 2 можно сформулировать упрощенную модель для модели 3. | ||
+ | |||
+ | Задание состоит из трех вариантов. Распределение студентов по вариантам см. ниже. | ||
+ | |||
+ | == Вариант 1 == | ||
+ | Рассматривается модель 2 с параметрами <tex>a_{min}=15, a_{max}=30, b_{min}=250, b_{max}=350, p_1 = 0.5, p_2 = 0.05, p_3 = 0.5</tex>. Провести на компьютере следующие исследования: | ||
+ | # Найти математические ожидания и дисперсии априорных распределений для всех параметров <tex>a, b, c, d</tex>. | ||
+ | # Пронаблюдать, как происходит уточнение прогноза для величины <tex>c</tex> по мере прихода новой косвенной информации. Для этого построить график распределений <tex>p(c), p(c|b), p(c|a,b), p(c|a,b,d)</tex> при параметрах <tex>a,b,d</tex>, равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. Вычислить также мат.ожидания и дисперсии для этих распределений. | ||
+ | # Определить, какая из величин <tex>a,b,d</tex> вносит больший вклад в уточнение прогноза для величины <tex>c</tex> (в смысле дисперсии распределения). Для этого убедиться в том, что <tex>\mathbb{D}[c|d]<\mathbb{D}[c|b]</tex> и <tex>\mathbb{D}[c|d]<\mathbb{D}[c|a]</tex> для любых допустимых значений <tex>a,b,d</tex>. Найти множество точек <tex>(a,b)</tex> таких, что <tex>\mathbb{D}[c|b]<\mathbb{D}[c|a]</tex>. Являются ли множества <tex>\{(a,b)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}</tex> и <tex>\{(a,b)|\mathbb{D}[c|b]\ge\mathbb{D}[c|a]\}</tex> линейно разделимыми? | ||
+ | # Провести временные замеры по оценке всех необходимых распределений <tex>p(c),p(c|a),p(c|b),p(c|d),p(c|a,b),p(c|a,b,d),p(d)</tex>. | ||
+ | |||
+ | Взять в качестве диапазона допустимых значений для величины <tex>c</tex> интервал <tex>[0,a_{max}+b_{max}]</tex>, а для величины <tex>d</tex> — интервал <tex>[0,2*(a_{max}+b_{max})]</tex>. | ||
+ | |||
+ | == Вариант 2 == | ||
+ | |||
+ | == Вариант 3 == | ||
+ | |||
+ | == Оформление задания == | ||
+ | |||
+ | == Распределение студентов по вариантам == |
Версия 19:50, 10 октября 2010
Внимание! Текст задания находится в стадии формирования. Просьба не рассматривать текущий вариант текста как окончательный вид задания. |
Начало выполнения задания: 11 октября 2010 г.
Срок сдачи: 25 октября 2010 г., 23:59.
Рассмотрим модель посещаемости студентами одного курса лекции по спецкурсу. Пусть аудитория данного спецкурса состоит из студентов профильной кафедры, а также студентов других кафедр. Обозначим через количество студентов, распределившихся на профильную кафедру, а через — количество студентов других кафедр на курсе. Пусть студенты профильной кафедры посещают спецкурс с некоторой вероятностью , а студенты остальных кафедр — с вероятностью . Обозначим через количество студентов на данной лекции. Тогда случайная величина есть сумма двух случайных величин, распределенных по биномиальному закону и соответственно. Пусть далее на лекции по спецкурсу ведется запись студентов. При этом каждый студент записывается сам, а также, быть может, записывает своего товарища, которого на лекции на самом деле нет (просьба не воспринимать это как руководство к действию в реальности!!). Пусть студент записывает своего товарища с некоторой вероятностью . Обозначим через общее количество записавшихся на данной лекции. Тогда случайная величина представляет собой сумму и случайной величины, распределенной по биномиальному закону . Для завершения задания вероятностной модели осталось определить априорные вероятности для и для . Пусть обе эти величины распределены равномерно в своих интервалах и . Таким образом, мы определили следующую вероятностную модель:
Модель 1
, , |
Рассмотрим несколько упрощенную версию модели 1. Известно, что биномиальное распределение при большом количестве испытаний и маленькой вероятности успеха может быть с высокой точностью приближено пуассоновским распределением с . Известно также, что сумма двух пуассоновских распределений с параметрами и есть пуассоновское распределение с параметром . Таким образом, мы можем сформулировать вероятностную модель, которая является приближенной версией модели 1:
Модель 2
,
,
,
,
.
Рассмотрим теперь модель посещаемости нескольких лекций спецкурса. Будем считать, что посещаемости отдельных лекций являются независимыми. Тогда:
Модель 3
, , |
По аналогии с моделью 2 можно сформулировать упрощенную модель для модели 3.
Задание состоит из трех вариантов. Распределение студентов по вариантам см. ниже.
Вариант 1
Рассматривается модель 2 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить график распределений при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. Вычислить также мат.ожидания и дисперсии для этих распределений.
- Определить, какая из величин вносит больший вклад в уточнение прогноза для величины (в смысле дисперсии распределения). Для этого убедиться в том, что и для любых допустимых значений . Найти множество точек таких, что . Являются ли множества и линейно разделимыми?
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .