Доверительные интервалы для параметров регрессии
Материал из MachineLearning.
После того как были изучены [[статистические свойства МНК-оценок коэффициентов регрессии]], можно переходить к построению доверительных интервалов для коэффициентов регрессии, дисперсии шума, а также прогнозного значения отклика.
Доверительный интервал для коэффициентов регрессии
- Работаем в предположениях, что выполнены ОП1, ОП2 и ДП3. Тогда можем воспользовать тем свойством, что величина
:имеет распределение Стьюдента с
степенями свободы.
- Далее, если взять
(т.е. произведение
выделяет
-ю компоненту вектора
), то получим
- где
есть
-квантиль
распределения Стьюдента с
степенями свободы.
- Тогда двусторонний доверительный интервал с доверительной вероятностью
для коэффициента регрессии
будет иметь вид:
Доверительный интервал для дисперсии шума
- Регрессионные остатки (шум)
имеют нормальное распределние
. Для анализа неизвестной дисперсии
шума может быть использовано свойство, что случайная величина
:распределена по
закону хи-квадрат с
степенями свободы.
- Тогда доверительный интервал с доверительной вероятностью
для дисперсии шума равен:
:где
есть
-квантиль распределения хи-квадрат с
степенями свободы.
Доверительный интервал для прогнозного значения отклика
- Как и в случае построения доверительного интервала для коэффициентов регрессии, воспользуемся свойством, что величина
:имеет распределение Стьюдента с
степенями свободы.
- Пусть
- новый объект в регрессионной модели, положим
- Тогда доверительный интервал для значения отклика
с доверительной вероятностью
будеи иметь вид:
где ::
::
- Пусть
- Регрессионные остатки (шум)
- где
- Далее, если взять