Математическое ожидание
Материал из MachineLearning.
Математическое ожидание — мера среднего значения случайной величины в теории вероятностей. В зарубежной литературе обозначается через (например, от англ. Expected value или нем. Erwartungswert), в русской
(возможно, от англ. Mean value).
Содержание |
Определение
Пусть задано вероятностное пространство и определённая на нём случайная величина
. Тогда, если существует интеграл Лебега от
по пространству
, то он называется математическим ожиданием, или средним значением, и обозначается
или
.
Основные формулы для математического ожидания
- Если
— функция распределения случайной величины, то её математическое ожидание задаётся интегралом Лебега — Стилтьеса:
-
.
Математическое ожидание дискретного распределения
- Если
— дискретная случайная величина, имеющая распределение
-
,
то прямо из определения интеграла Лебега следует, что
-
.
Математическое ожидание целочисленной величины
- Если
— положительная целочисленная случайная величина (частный случай дискретной), имеющая распределение вероятностей
то её математическое ожидание может быть выражено через производящую функцию последовательности
как значение первой производной в единице: . Если математическое ожидание
бесконечно, то
и мы будем писать
Теперь возьмём производящую функцию последовательности «хвостов» распределения
Эта производящая функция связана с определённой ранее функцией свойством:
при
.
Из этого по теореме о среднем (формуле конечных приращений) следует, что математическое ожидание равно просто значению этой функции в единице:
Математическое ожидание абсолютно непрерывного распределения
- Математическое ожидание абсолютно непрерывной случайной величины, распределение которой задаётся плотностью
, равно
-
.
Математическое ожидание случайного вектора
Пусть — случайный вектор. Тогда по определению
-
,
то есть математическое ожидание вектора определяется покомпонентно.
Математическое ожидание преобразования случайной величины
Пусть — борелевская функция, такая что случайная величина
имеет конечное математическое ожидание. Тогда для него справедлива формула:
-
,
если имеет дискретное распределение;
-
,
если имеет абсолютно непрерывное распределение.
Если распределение случайной величины
общего вида, то
-
.
В специальном случае, когда , Математическое ожидание
называется
-тым моментом случайной величины.
Простейшие свойства математического ожидания
- Математическое ожидание числа есть само число.
-
-
— константа;
- Математическое ожидание линейно, то есть
-
,
-
- где
— случайные величины с конечным математическим ожиданием, а
— произвольные константы;
- Математическое ожидание сохраняет неравенства, то есть если
почти наверное, и
— случайная величина с конечным математическим ожиданием, то математическое ожидание случайной величины
также конечно, и более того
-
;
-
- Математическое ожидание не зависит от поведения случайной величины на событии вероятности нуль, то есть если
почти наверное, то
-
.
-
- Математическое ожидание произведения двух независимых случайных величин
равно произведению их математических ожиданий
-
.
-
Дополнительные свойства математического ожидания
- Неравенство Маркова.
Пусть случайная величина определена на вероятностном пространстве
, и её математическое ожидание конечно. Тогда
,
где .
- Теорема Леви о монотонной сходимости.
Пусть — монотонная последовательность неотрицательных почти наверное интегрируемых случайных величин. Тогда
-
.
- Теорема Лебега о мажорируемой сходимости.
Пусть есть сходящаяся почти наверное последовательность случайных величин: почти наверное. Пусть в дополнение существует интегрируемая случайная величина
, такая что
почти наверное. Тогда случайные величины
интегрируемы и
-
.
- Тождество Вальда.
Пусть — независимые одинаково распределенные случайные величины.
— также является случайной величиной имеющей дискретное распределение и принимающая положительные целые значения. Далее,
и
должны иметь конечное математическое ожидание и
должно быть независимым от
. Тогда
-
.
- Лемма Фату.
Пусть есть неотрицательная последовательность интегрируемых случайных величин . Тогда выполняется следующее неравенство для нижних пределов:
-
.
- Математическое ожидание случайной величины
может быть выражено через её производящую функцию моментов
как значение первой производной в нуле:
Примеры
- Пусть случайная величина имеет дискретное равномерное распределение, то есть
Тогда её математическое ожидание
равно среднему арифметическому всех принимаемых значений.
- Пусть случайная величина имеет непрерывное равномерное распределение на интервале
, где
. Тогда её плотность имеет вид
и математическое ожидание равно
-
.
- Пусть случайная величина
имеет стандартное распределение Коши. Тогда
-
,
то есть математическое ожидание не определено.
Литература
- В.Феллер Глава XI. Целочисленные величины. Производящие функции // Введение в теорию вероятностей и её приложения = An introduction to probability theory and its applicatons, Volume I second edition. — 2-е изд. — М.: Мир, 1964. — С. 270—272.