Статистические свойства МНК-оценок коэффициентов регрессии
Материал из MachineLearning.
Строка 47: | Строка 47: | ||
:где RSS есть [[остаточная сумма квадратов]]; | :где RSS есть [[остаточная сумма квадратов]]; | ||
- | * Случайная величина <tex>\frac{RSS}{\sigma^2}</tex> распределена по закону [[распределение хи-квадрат|хи-квадрат]] с <tex>n-k</tex> степенями свободы | + | * Случайная величина |
+ | ::<tex>\frac{RSS}{\sigma^2} \sim \chi^2_{n-k}</tex> | ||
+ | :распределена по закону [[распределение хи-квадрат|хи-квадрат]] с <tex>n-k</tex> степенями свободы; | ||
* Оценки <tex>\hat\theta</tex> и <tex>s^2</tex> линейно независимы. Откуда получается, что величина | * Оценки <tex>\hat\theta</tex> и <tex>s^2</tex> линейно независимы. Откуда получается, что величина | ||
::<tex>\frac{\hat\theta-\theta}{\hat\sigma\sqrt{(X^TX)^{-1}}} \sim t_{n-k}</tex> | ::<tex>\frac{\hat\theta-\theta}{\hat\sigma\sqrt{(X^TX)^{-1}}} \sim t_{n-k}</tex> | ||
:имеет [[распределение Стьюдента]] с <tex>n-k</tex> степенями свободы. | :имеет [[распределение Стьюдента]] с <tex>n-k</tex> степенями свободы. | ||
+ | |||
+ | ==Литература== | ||
+ | # ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006. | ||
+ | # ''Магнус Я. Р., Катышев П. К., Пересецкий А. А.'' Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005. | ||
+ | |||
+ | ==См. также== | ||
+ | * [[Многомерная линейная регрессия]] | ||
+ | * [[Метод наименьших квадратов]] | ||
+ | * [[Доверительные интервалы???????]] | ||
+ | |||
+ | ==Ссылки== | ||
+ | |||
+ | [[Категория:Прикладная статистика]] | ||
+ | [[Категория:Регрессианный анализ]] |
Версия 01:27, 29 января 2009
Для того, чтобы МНК-оценки коэффициентов многомерной регрессии обладали полезными статистическими свойствами необходимо выполнение ряда предпосылок относительно оцениваемой регрессионной модели, называемых Основными Положениями.
Содержание |
Основные Положения
- ОП.0
(модель линейна по параметрам);
- ОП.1
- детерминированная
матрица,
(признаки линейно независимы);
- ОП.2 Регрессионные остатки
- 2.1. одинаково распределены;
- 2.2.
(модель несмещенная);
- 2.3.
(гомоскедастичность);
- 2.4.
(некореллированность).
- Дополнительное Предположение 3 (ДП3):
,
- т.е вектор регрессионных остатков
- нормально распределенный случайный вектор со средним 0 и матрицей ковариации
(
- единичная матрица размера
). В этом случаем модель называется нормальной линейной регрессионной моделью.
Свойства МНК-оценок без предположения о нормальности
Теорема Гаусса-Маркова. Пусть выполнены основные положения 0-2. Тогда оценка полученная по методу наименьших квадратов является эффективной в классе линейных (вида
) несмещенных оценок (Best Linear Unbiased Estimator, BLUE).
Исходя из этой теоремы можно выделить несколько основных свойств МНК-оценки
- Линейность:
-
где
-
- Несмещенность:
- Матрица ковариации равна:
- МНК-оценка
эффективна.
Итак, теорема Гаусса-Маркова утверждает, что любая другая линейная несмещенная оценка будет иметь большую дисперсию, чем МНК-оценка:
Нетрудно показать, что для любого вектора оценка
будет обладать теми же свойствами, что и МНК-оценка
. Поэтому:
- если взять
то получим что
- несмещенная, эффективная оценка
- если
то
- несмещенная, эффективная оценка
Свойства МНК-оценок с предположением о нормальности
Пусть теперь к тому же выполнено ДП3, т.е. - многомерная нормально распределенная случайная величина, или, что то же самое
имеют совместное нормальное распределение. Тогда к перечисленным выше свойствам добавятся следующие:
- МНК-оценка коэффициентов регрессии
имеет нормальное распределение:
- Несмещенная оценка для дисперсии шума
имеет вид:
- где RSS есть остаточная сумма квадратов;
- Случайная величина
- распределена по закону хи-квадрат с
степенями свободы;
- Оценки
и
линейно независимы. Откуда получается, что величина
- имеет распределение Стьюдента с
степенями свободы.
Литература
- Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.
- Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.