Биномиальное распределение двух случайных величин

Материал из MachineLearning.

Перейти к: навигация, поиск

Биномиальное распределение — это распределение двух случайных величин X_1 и X_2 в дискретной временной последовательности t_1,t_2, первая случайная величина независимая, а вторая случайная величина зависима от первой, числовые значения случайных величин  n_1 и n_2 это числа успехов в  n испытаниях ( n_1+n_2=n ) с постоянными вероятностями успехов ( Бернулли распределений)  p_1 и p_2, пронормированных p_1+p_2=1 согласно аксиоматике Колмогорова .

Пространство элементарных событий  \sum_{i=1}^2\Omega_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})
Вероятность  \prod_{i=1}^2P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! n_2!}p_1^{n_1}p_2^{n_2}
Максимальная вероятность

(при математическом ожидании распределения)

 \left(\frac{n!}{n_i!n_2!}p_1^{n_1}p_2^{n_2}\right)_{max}= \frac{1}{2}
Математическое ожидание

(как максимальное произведение математических ожиданий случайных величин)

 \left(\prod_{i=1}^2E(t_i, X_i=n_i \mid t_{i-1},X_{i-1})\right)_{max}=\frac{1}{2}
Дисперсия  \sum_{i=1}^2D(t_i,X_i \mid t_{i-1},X_{i-1})=\sum_{i=1}^2(n-n_{i-1})p_iq_i
Максимальная дисперсия

(при математическом ожидании распределения)

D(X_1,X_2|X_1)_{max}=\left(\sum_{i-1}^2(n-n_{i-1})p_iq_i \right)_{max}=\frac{3}{4}
Ковариационная матрица B=\| b_{ij} \|, где

\rho _{ij} = \begin{cases} 1, & i=j,\\
0, & i \not= j
\end{cases}

Корреляционная матрица \Rho=\| \rho_{ij} \|, где

\rho _{ij} = \begin{cases} 1, & i=j,\\
0, & i \not= j
\end{cases}

\chi^2 - критерий  \chi^2=\sum_{i=1}^2 [X_i-(n -n_{i-1})p_i^{(0)}]^2/(n -n_{i-1})p_i^{(0)}=

=-n+\sum_{i=1}^2X_i^2 /(n-n_{i-1})p_i^{(0)}

Таблица – Характеристики биномиального распределения двух случайных величин

Биномиальное распределение появляется в так называемой биномиальной схеме повторных циклов случайных зависимых экспериментов. совместное распределение вероятностей двух случайных величин

 \prod_{i=1}^2P(t_i,X_i=n_i \mid  t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! n_2!} p_1^{n_1} p_2^{n_2}, \qquad \frac{n!}{n_1! n_2!}= {n \choose n_1}={n\choose n_2},
 2\le k \le n <\infty,  \qquad n_1+n _2=n, \qquad p_1+p_2=1,

определённых на точечных пространствах элементарных событий

 \Omega_1,\quad \Omega _2

и принимающих в дискретные последовательные моменты времени

 t_1,\quad  t_2, \quad  t_i<t_{i+1}

целые неотрицательные значения

n_1, n_2,

взаимосвязанные условием

n_1 +n_2=n,

согласно которому

X_2=n_2 \mid X_1=n_1

если в первый момент времени t_1 первая случайная величина X_1 приняла значение

n_1, \quad  0\le n_1\le n,

то во второй момент времени t_2 вторая случайная величина X _2 принимает значение

 n _2, \quad  0\le n_2\le n- n_1.

Каждый цикл экспериментов осуществляют методом выбора без возвращения в дискретной временной последовательности

 t_1, \quad  t_2. 


Содержание

Технические задачи и технические результаты

Для получения биномиального распределения необходимо решить две технические задачи и получить технические результаты, относящиеся к математической физике [1,2][1] ,[1]. Первая и вторая технические задачи — соответственно получение вероятности и получение математического ожидания биномиального распределения.

Технические результаты — набор технических параметров, с одной стороны, минимально необходимый для описания биномиального распределения и его случайных величин, с другой стороны, позволяющий при необходимости расширить число параметров с целью получения дополнительных сведений о распределении, например, таких как корреляционная матрица, ковариационная матрица , χ2 критерий и другие.

Минимально необходимый набор параметров при решении первой технической задачи: пространство элементарных событий, вероятность, математическое ожидание и дисперсия каждой случайной величины распределения, дисперсия распределения и произведение математических ожиданий его случайных величин как исходное выражение для решения второй технической задачи.

При решении второй технической задачи минимально необходимый набор параметров аналогичен предыдущему набору. Исключен из-за ненадобности один параметр — произведение математических ожиданий случайных величин и дополнен двумя параметрами — максимальной вероятностью и максимальной дисперсией биномиального распределения, совпадающей с математическим ожиданием биномиального распределения. Технические результаты — набор технических параметров, с одной стороны, минимально необходимый для описания биномиального распределения и его случайных величин, с другой стороны, позволяющий при необходимости расширить число параметров с целью получения дополнительных сведений о распределении, например, таких как корреляционная матрица, ковариационная матрица и другие.

При решении второй технической задачи минимально необходимый набор параметров аналогичен предыдущему набору. Исключен из-за ненадобности один параметр — произведение математических ожиданий случайных величин и дополнен двумя параметрами — максимальной вероятностью и максимальной дисперсией биномиального распределения, совпадающей с математическим ожиданием биномиального распределения.

Биномиальное распределение

совместное распределение вероятностей двух случайных величин

 \prod_{i=1}^2P(t_i,X_i=n_i \mid  t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! n_2!} p_1^{n_1} p_2^{n_2}, \qquad \frac{n!}{n_1! n_2!}= {n \choose n_1}={n\choose n_2},
 2\le k \le n <\infty,  \qquad n_1+n _2=n, \qquad p_1+p_2=1,

определённых на точечных пространствах элементарных событий

 \Omega_1,\quad \Omega _2

и принимающих в дискретные последовательные моменты времени

 t_1,\quad  t_2, \quad  t_i<t_{i+1}

целые неотрицательные значения

n_1, n_2,

взаимосвязанные условием

n_1 +n_2=n,

согласно которому

X_2=n_2 \mid X_1=n_1

если в первый момент времени t_1 первая случайная величина X_1 приняла значение

n_1, \quad  0\le n_1\le n,

то во второй момент времени t_2 вторая случайная величина X _2 принимает значение

 n _2, \quad  0\le n_2\le n- n_1.

Урновая модель биномиального распределения

Урновая модель биномиального распределения содержит одну исходную урну и две приёмные урны. Объем каждой из них не менее объёма исходной урны. Нумерация приёмных урн соответствует нумерации случайных величин биномиального распределения. В начальный момент времени исходная урна содержит n - множество различимых неупорядоченных элементов, а приёмные урны пусты. Первая выборка

n_1,\quad  0\le n_1\le n

в первый момент времени направляется в первую приёмную урну с вероятностью p_1 каждого элемента. Во второй момент времени все оставшиеся n-n_1 элементы исходной урны, образующие вторую выборку

n_2,\quad  0\le n-n_1\le n,

направляются во вторую приёмную урну с вероятностью p_2 каждого элемента. В результате исходная урна пуста, а все её элементы размещены в приёмных урнах. После обработки результатов разбиения множества на подмножества элементы возвращают на прежнее место, и урновая модель готова к проведению очередного цикла зависимых экспериментов. Произведение вероятностей попадания n_1, \quad n_2 элементов в две приёмные урны есть биномиальное распределение.

Получение математического ожидания

Математическое ожидание биномиального распределения получают одним из двух способов: как максимум произведения математических ожиданий его случайных величин, или как максимум вероятности распределения. Необходимые

k=n, \qquad n_i=1,  \qquad  0<p_i<1,

и достаточные условия: p_1=p_2=2^2

Математическое ожидание и максимальная вероятность:

\left(\prod_{i=1}^2E(t_i, X_i=n_i \mid t_{i-1},X_{i-1})\right)_{max}=\left(\prod_{i=1}^2(n-n_{i-1})p_i\right)_{max}=\frac{n!}{n^n}=\frac{1}{2},;
\left(\prod_{i=1}^2P(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})\right)_{max}=\left(\frac{n!}{n_i!n_2!}p_1^{n_1}p_2^{n_2}\right)_{max}=\frac{n!}{n^n}= \frac{1}{2}

равна математическому ожиданию, максимальная дисперсия

D(X_1,X_2|X_1)_{max}=\left(\sum_{i-1}^2(n-n_{i-1})p_iq_i \right)_{max}=\frac{n^2-1}{2n}=\frac{3}{4}.

Пространство элементарных событий биномиального распределения при получении его математического ожидания

\Omega(t_1, X_1=n_1=1 \mid t_2,X_2=n_2=1)

расположено в точках t_1, t_2 временной последовательности.

Способ получения вероятностей биномиального распределения

Этот способ относится к техническим задачам разделения дискретного целого на составные части случайных объёмов. Целым является множество дискретных элементов, различимых (хотя бы одним признаком, например, порядковыми номерами) и не упорядоченных (хаотично расположенных). Составные части множества — дискретные два подмножества n_1, \quad n_2, в сумме равные объёму множества: n_1+n_2=n, \quad 2\le n < \infty . Разделение множества на подмножества осуществляют выборками без возвращения. Выборки следуют во времени одна за другой. В начальный момент времени t_0 , не обязательно равный нулю t_0 \ne 0, множество содержит n, 2\le n < \infty различимых неупорядоченных элементов. В первый момент времени t_1 из n-множества осуществляют первую выборку случайного объёма n_1, 0 \le n_1 \le n с вероятностью p_1 каждого её элемента. Вероятность первой случайной величины P_1(t_1,\quad X_1=n_1) биномиального распределения определяется числом сочетаний {n \choose n_1} из n по n_1, умноженным на вероятность p_1 выбора одного элемента, возведённую в степень числа n_1 выбранных элементов:

P_1(t_1, X_1=n_1)={n \choose n_1}p_1^{n_1}.

Во второй момент времени t_2 из оставшихся n-n_1 элементов исходного множества осуществляют вторую выборку n_2=n-n_1 единственным способом: {n-n_1 \choose n_2}={n-n_1 \choose n- n_1} с вероятностью p_2 каждого элемента. Вероятность второй случайной величины при условии, что в первый момент времени вероятность первой случайной величины биномиального распределения приняла значение P(t_1,\quad X_1=n_1), определяется числом сочетаний {n-n_1 \choose n_2} из n-n_1 по n_2, умноженным на вероятность p_2 выбора одного её элемента, возведённую в степень числа n_2 выбранных элементов:

P_2(t_2, X_2=n_2 \mid t_1,X_1=n_1)={n-n_1 \choose n_2}p_2^{n_2}.

Произведение двух вероятностей есть вероятность распределения — совместное распределение вероятностей двух случайных величин: первая независимая, а вторая зависима от первой

\prod_{i=1}^2P_i(t_i,X_i=n_i \mid  t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1!n_2!}p_1^{n_1}p_2^{n_2},
\sum_{i=1}^2n_i=n, \quad \sum_{i=1}^2p_i=1.

Когда число случайных величин больше двух (k>2) и, следовательно, число n испытаний больше двух 2< k=n< \infty , имеют место вероятности полиномиального (мультиномиального) распределения интерпретации 21-го века

\prod_{i=1}^kP_i(t_i,X_i=n_i \mid  t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!}p_1^{n_1}\cdots p_k^{n_k},
\sum_{i=1}^kn_i=n, \quad \sum_{i=1}^kp_i=1.

Способ получения математического ожидания биномиального распределения

Этот способ относится к техническим задачам разделения дискретного целого на составные части и отличается от способа получения вероятностей полиномиального распределения интерпретации 21-го века тем, что число выборок k равно числу n элементов исходного множества k=n и каждая выборка имеет единичный объём: n_i=1,\quad i=1,2, \quad k=n . Целым является множество дискретных элементов, различимых (хотя бы одним признаком, например, порядковыми номерами) и не упорядоченных (хаотично расположенных). Множество содержит два элемента: n=2. Составные части множества — дискретные два подмножества n_1=1, \quad n_2=1, в сумме равные объёму множества: n_1+n_2= n, \quad n=2. Разделение множества на подмножества осуществляют выборками без возвращения. Выборки следуют во времени одна за другой. В начальный момент времени t_0 , не обязательно равный нулю t_0 \ne 0, множество содержит два различимых неупорядоченных элемента. В первый момент времени t_1 из n-множества осуществляют первую выборку n_1=1 единичного объёма с вероятностью p_1=n^{-1}. Вероятность первой случайной величины  X_1=n_1=1 биномиального распределения определяется числом сочетаний  {n \choose n_1} из n по n_1=1, умноженным на вероятность p_1=n^{-1} выбора одного элемента:

P_1(t_1, X_1=n_1=1)={n \choose n_1}p_1={n \choose 1}n^{-1}=\frac{n}{n}.

Во второй момент времени t_2 из оставшегося одного n-n_1 элемента исходного множества осуществляют вторую выборку n_2=1 единичного объёма с вероятностью p_2=n^{-1}. Вероятность второй случайной величины  X_2=n_2=1 при условии, что в первый момент времени вероятность первой случайной величины биномиального распределения приняла значение P_1(t_1, X_1=n_1=1), определяется числом сочетаний {n-n_1 \choose n_2} из n-n_1 по n_2=1, умноженным на вероятность p_2=n^{-1} выбора одного элемента:

P_2(t_2, X_2=n_2=1 \mid t_1,X_1=n_1=1)={n-n_1 \choose n_2}p_2={n-n_1 \choose 1}n^{-1}=\frac{n-1}{n}.

Произведение этих вероятностей есть математическое ожидание биномиального распределения интерпретации 21-го века— распределения двух случайных величин, первая их них независимая,а вторая зависима от первой

\prod_{i=1}^2P_i(t_i,X_i=n_i=1 \mid  t_{i-1},X_{i-1}=n_{i-1}=1)=\prod_{i=1}^2\frac{n-n_{i-1}}{n}=\frac {1}{2},
\sum_{i=1}^2n_i=n, \quad \sum_{i=1}^2p_i=1.

Когда число случайных величин больше двух k>2 и, следовательно, число n испытаний больше двух 2< k=n< \infty , имеет место математическое ожидание мультиномиального распределения интерпретации 21-го века

\prod_{i=1}^nP_i(t_i,X_i=n_i=1 \mid  t_{i-1},X_{i-1}=n_{i-1}=1)=\prod_{i=1}^n\frac{n-n_{i-1}}{n}=\frac {n!}{n^n},
\sum_{i=1}^nn_i=n, \quad \sum_{i=1}^np_i=1.

Биномиальное распределение как цепь Маркова

Биномиальное распределение появляется в последовательности двух испытаний, первое из них случайное независимое, а второе зависимое от первого испытания. Исходы испытаний конечны и счётны. По сути — это простейшая цепь Маркова. (X_0, называемое начальным распределением цепи Маркова, для биномиального распределения не имеет смысла t_0=0, \quad X_0=0, поскольку нумерация случайных величин начинается с единицы.) Единственная переходная вероятность

P(t_2>t_1,\quad X_2=n_2=n-n_1  \mid t_1<t_2,\quad X_1=n_1)

заключается в том, что вторая случайная величина X_2 во второй момент времени t_2 вынуждена принять числовое значение, равное  0\le n_2=n-n_1 , при условии, что в первый момент времени t_1 первая случайная величина X_1 приняла случайное число  0\le n_1\le n. Следовательно и вероятность биномиального распределения

\prod_{i=1}^2P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! n_2!}p_1^{n_1}p_2^{n_2}

как произведение первой независимой и второй зависимой случайных величин является цепью Маркова. Биномиальное распределение, как цепь Маркова, является стахостической.

Переходная вероятность биномиального распределения является дискретной функцией. Следовательно, биномиальное распределение является марковским процессом с дискретным временем.

Парадоксы биномиального распределения на элементарном уровне познания

Полностью эта проблема изложена в отдельной статье http://www.wikiznanie.ru/ru-wz/index.php/Парадоксы биномиального распределения.

Во всех областях научного знания за исключением теории вероятностей приставка би (в переводе с латинского означающая сдвоенный, состоящий из двух частей) используется правильно, например, в авиации биплан самолет со сдвоенными крыльями, в оптике бинокль — сдвоенный монокль, в комбинаторике бином — двучлен, и только в современной теории вероятностей биномиальное распределение — распределение, полученное не основе бинома (двучлена), является распределением одной случайной величины…

Парадокс заключается в том, что http://wikipedia.ru/wiki/биномиальное распределение считается распределением одной случайной величины, а на самом деле биномиальное распределение является распределением двух случайных величин, в котором первая случайная величина является независимой, а вторая зависима от первой.

Парадокс возник из-за ошибки в логике рассуждений и получил повсеместное распространение с середины 20-го века. Подобно тому, как из полинома (из многочлена) методом дедукции получают бином (двучлен), а из бинома методом индукции получают полином, так и по аналогии из полиномиального распределения (из распределения с числом случайных величин больше двух) методом дедукции обязаны получить биномиальное распределение (распределение с двумя случайными величинами), а из биномиального распределения (из распределения с двумя случайными величинами) методом индукции обязаны получить полиномиальное распределение (распределение с числом случайных величин больше двух).

Этот парадокс настолько распространён и настолько прост, что может быть проиллюстрирован на элементарных примерах. 1. Пусть в полиноме 10 членов. Сократив в нём число членов до двух, получим два:10:5=2. 2. В биноме 2 члена. Умножив их на 5, получим, что в полиноме 10 членов: 2х5=10. 3. Пусть в полиномиальном распределении 10 случайных величин. Сократив число случайных величин до двух, по аналогии обязаны получить биномиальное распределение с двумя случайными величинами: 10:5=2. Однако принято считать, что биномиальное распределение это распределение одной случайной величины, иными словами, если 10 разделить на 5, то получится один! Это первый парадоксальный результат: 10:5=1. 4. Число случайных величин биномиального распределения традиционной интерпретации, равное одному, умножив на 5 получим, что в полиномиальном распределении 5 случайных величин: 1х5=5. Это второй парадоксальный результат, поскольку изначально исходили из того, что в полиномиальном распределении 10 случайных величин.

Во времена В. Я. Буняковского биномиальное распределение, как распределение двух случайных величин и на его основе полиномиальное распределение (оба так ещё не называемые) впервые были опубликованы им в 1846 году [1].

В современной записи биномиальное и полиномиальное распределения Буняковского имеют следующий вид:

P(X_1=n_1, X_2=n_2)= \frac{n!}{n_1! n_2!} p_1^{n_1}p_2^{n_2},
2\le k \le n< \infty, \quad n_1+n_2=n, \quad p_1+p_2=1,
P(X_1=n_1,\ldots,X_k=n_k)=\frac{n!}{n_1!\cdots n_k!}p_1^{n_1}\cdots p_k^{n_k},
2\le k \le n< \infty, \quad n_1+\ldots+n_k=n, \quad  p_1+ \ldots +p_ k =1.


Литература