Биномиальное распределение двух случайных величин

Материал из MachineLearning.

Версия от 11:50, 28 октября 2013; Vitsemgol (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Биномиальное распределение — это распределение двух случайных величин $X_1$ и $X_2$ в дискретной временной последовательности $t_1,t_2$ , первая случайная величина независимая, а вторая случайная величина зависима от первой, числовые значения случайных величин $n_1$ и $n_2$ это числа успехов в $n$ испытаниях ( $n_1+n_2=n$ ) с постоянными вероятностями успехов ( Бернулли распределений) $p_1$ и $p_2$ , пронормированных $p_1+p_2=1$ согласно аксиоматике Колмогорова .

Таблица – Характеристики биномиального распределения двух случайных величин
Пространство элементарных событий	$\sum_{i=1}^2\Omega_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})$
Вероятность	$\prod_{i=1}^2P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! n_2!}p_1^{n_1}p_2^{n_2}$
Максимальная вероятность (при математическом ожидании распределения)	$\left(\frac{n!}{n_i!n_2!}p_1^{n_1}p_2^{n_2}\right)_{max}= \frac{1}{2}$
Математическое ожидание (как максимальное произведение математических ожиданий случайных величин)	$\left(\prod_{i=1}^2E(t_i, X_i=n_i \mid t_{i-1},X_{i-1})\right)_{max}=\frac{1}{2}$
Дисперсия	$\sum_{i=1}^2D(t_i,X_i \mid t_{i-1},X_{i-1})=\sum_{i=1}^2(n-n_{i-1})p_iq_i$
Максимальная дисперсия (при математическом ожидании распределения)	$D(X_1,X_2\|X_1)_{max}=\left(\sum_{i-1}^2(n-n_{i-1})p_iq_i \right)_{max}=\frac{3}{4}$
Ковариационная матрица	$B=\\| b_{ij} \\|$ , где $\rho _{ij} = \begin{cases} 1, & i=j,\\ 0, & i \not= j \end{cases}$
Корреляционная матрица	$\Rho=\\| \rho_{ij} \\|$ , где $\rho _{ij} = \begin{cases} 1, & i=j,\\ 0, & i \not= j \end{cases}$
$\chi^2$ - критерий	$\chi^2=\sum_{i=1}^2 [X_i-(n -n_{i-1})p_i^{(0)}]^2/(n -n_{i-1})p_i^{(0)}=$ $=-n+\sum_{i=1}^2X_i^2 /(n-n_{i-1})p_i^{(0)}$

Биномиальное распределение появляется в так называемой биномиальной схеме повторных циклов случайных зависимых экспериментов. совместное распределение вероятностей двух случайных величин

$\prod_{i=1}^2P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! n_2!} p_1^{n_1} p_2^{n_2}, \qquad \frac{n!}{n_1! n_2!}= {n \choose n_1}={n\choose n_2},$

$2\le k \le n <\infty, \qquad n_1+n _2=n, \qquad p_1+p_2=1,$

определённых на точечных пространствах элементарных событий

$\Omega_1,\quad \Omega _2$

и принимающих в дискретные последовательные моменты времени

$t_1,\quad t_2, \quad t_i<t_{i+1}$

целые неотрицательные значения

$n_1, n_2,$

взаимосвязанные условием

$n_1 +n_2=n,$

согласно которому

$X_2=n_2 \mid X_1=n_1$

если в первый момент времени $t_1$ первая случайная величина $X_1$ приняла значение

$n_1, \quad 0\le n_1\le n,$

то во второй момент времени $t_2$ вторая случайная величина $X _2$ принимает значение

$n _2, \quad 0\le n_2\le n- n_1.$

Каждый цикл экспериментов осуществляют методом выбора без возвращения в дискретной временной последовательности

Содержание

1 Технические задачи и технические результаты
2 Биномиальное распределение
3 Урновая модель биномиального распределения
4 Получение математического ожидания
- 4.1 Способ получения вероятностей биномиального распределения
- 4.2 Способ получения математического ожидания биномиального распределения
5 Биномиальное распределение как цепь Маркова
6 Парадоксы биномиального распределения на элементарном уровне познания
- 6.1 Литература

Технические задачи и технические результаты

Для получения биномиального распределения необходимо решить две технические задачи и получить технические результаты, относящиеся к математической физике [1,2]^[1] ,^[1]. Первая и вторая технические задачи — соответственно получение вероятности и получение математического ожидания биномиального распределения.

Технические результаты — набор технических параметров, с одной стороны, минимально необходимый для описания биномиального распределения и его случайных величин, с другой стороны, позволяющий при необходимости расширить число параметров с целью получения дополнительных сведений о распределении, например, таких как корреляционная матрица, ковариационная матрица , χ2 критерий и другие.

Минимально необходимый набор параметров при решении первой технической задачи: пространство элементарных событий, вероятность, математическое ожидание и дисперсия каждой случайной величины распределения, дисперсия распределения и произведение математических ожиданий его случайных величин как исходное выражение для решения второй технической задачи.

При решении второй технической задачи минимально необходимый набор параметров аналогичен предыдущему набору. Исключен из-за ненадобности один параметр — произведение математических ожиданий случайных величин и дополнен двумя параметрами — максимальной вероятностью и максимальной дисперсией биномиального распределения, совпадающей с математическим ожиданием биномиального распределения. Технические результаты — набор технических параметров, с одной стороны, минимально необходимый для описания биномиального распределения и его случайных величин, с другой стороны, позволяющий при необходимости расширить число параметров с целью получения дополнительных сведений о распределении, например, таких как корреляционная матрица, ковариационная матрица и другие.

Биномиальное распределение

совместное распределение вероятностей двух случайных величин

$\prod_{i=1}^2P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! n_2!} p_1^{n_1} p_2^{n_2}, \qquad \frac{n!}{n_1! n_2!}= {n \choose n_1}={n\choose n_2},$

$2\le k \le n <\infty, \qquad n_1+n _2=n, \qquad p_1+p_2=1,$

определённых на точечных пространствах элементарных событий

$\Omega_1,\quad \Omega _2$

и принимающих в дискретные последовательные моменты времени

$t_1,\quad t_2, \quad t_i<t_{i+1}$

целые неотрицательные значения

$n_1, n_2,$

взаимосвязанные условием

$n_1 +n_2=n,$

согласно которому

$X_2=n_2 \mid X_1=n_1$

если в первый момент времени $t_1$ первая случайная величина $X_1$ приняла значение

$n_1, \quad 0\le n_1\le n,$

то во второй момент времени $t_2$ вторая случайная величина $X _2$ принимает значение

$n _2, \quad 0\le n_2\le n- n_1.$

Урновая модель биномиального распределения

Урновая модель биномиального распределения содержит одну исходную урну и две приёмные урны. Объем каждой из них не менее объёма исходной урны. Нумерация приёмных урн соответствует нумерации случайных величин биномиального распределения. В начальный момент времени исходная урна содержит $n$ - множество различимых неупорядоченных элементов, а приёмные урны пусты. Первая выборка

$n_1,\quad 0\le n_1\le n$

в первый момент времени направляется в первую приёмную урну с вероятностью $p_1$ каждого элемента. Во второй момент времени все оставшиеся $n-n_1$ элементы исходной урны, образующие вторую выборку

$n_2,\quad 0\le n-n_1\le n,$

направляются во вторую приёмную урну с вероятностью $p_2$ каждого элемента. В результате исходная урна пуста, а все её элементы размещены в приёмных урнах. После обработки результатов разбиения множества на подмножества элементы возвращают на прежнее место, и урновая модель готова к проведению очередного цикла зависимых экспериментов. Произведение вероятностей попадания $n_1, \quad n_2$ элементов в две приёмные урны есть биномиальное распределение.

Получение математического ожидания

Математическое ожидание биномиального распределения получают одним из двух способов: как максимум произведения математических ожиданий его случайных величин, или как максимум вероятности распределения. Необходимые

$k=n, \qquad n_i=1, \qquad 0<p_i<1,$

и достаточные условия: $p_1=p_2=2^2$

Математическое ожидание и максимальная вероятность:

$\left(\prod_{i=1}^2E(t_i, X_i=n_i \mid t_{i-1},X_{i-1})\right)_{max}=\left(\prod_{i=1}^2(n-n_{i-1})p_i\right)_{max}=\frac{n!}{n^n}=\frac{1}{2},$ ;

$\left(\prod_{i=1}^2P(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})\right)_{max}=\left(\frac{n!}{n_i!n_2!}p_1^{n_1}p_2^{n_2}\right)_{max}=\frac{n!}{n^n}= \frac{1}{2}$

равна математическому ожиданию, максимальная дисперсия

$D(X_1,X_2|X_1)_{max}=\left(\sum_{i-1}^2(n-n_{i-1})p_iq_i \right)_{max}=\frac{n^2-1}{2n}=\frac{3}{4}.$

Пространство элементарных событий биномиального распределения при получении его математического ожидания

$\Omega(t_1, X_1=n_1=1 \mid t_2,X_2=n_2=1)$

расположено в точках $t_1, t_2$ временной последовательности.

Способ получения вероятностей биномиального распределения

Этот способ относится к техническим задачам разделения дискретного целого на составные части случайных объёмов. Целым является множество дискретных элементов, различимых (хотя бы одним признаком, например, порядковыми номерами) и не упорядоченных (хаотично расположенных). Составные части множества — дискретные два подмножества $n_1, \quad n_2$ , в сумме равные объёму множества: $n_1+n_2=n, \quad 2\le n < \infty$ . Разделение множества на подмножества осуществляют выборками без возвращения. Выборки следуют во времени одна за другой. В начальный момент времени $t_0$ , не обязательно равный нулю $t_0 \ne 0$ , множество содержит $n, 2\le n < \infty$ различимых неупорядоченных элементов. В первый момент времени $t_1$ из $n$ -множества осуществляют первую выборку случайного объёма $n_1, 0 \le n_1 \le n$ с вероятностью $p_1$ каждого её элемента. Вероятность первой случайной величины $P_1(t_1,\quad X_1=n_1)$ биномиального распределения определяется числом сочетаний ${n \choose n_1}$ из $n$ по $n_1$ , умноженным на вероятность $p_1$ выбора одного элемента, возведённую в степень числа $n_1$ выбранных элементов:

$P_1(t_1, X_1=n_1)={n \choose n_1}p_1^{n_1}.$

Во второй момент времени $t_2$ из оставшихся $n-n_1$ элементов исходного множества осуществляют вторую выборку $n_2=n-n_1$ единственным способом: ${n-n_1 \choose n_2}={n-n_1 \choose n- n_1}$ с вероятностью $p_2$ каждого элемента. Вероятность второй случайной величины при условии, что в первый момент времени вероятность первой случайной величины биномиального распределения приняла значение $P(t_1,\quad X_1=n_1)$ , определяется числом сочетаний ${n-n_1 \choose n_2}$ из $n-n_1$ по $n_2$ , умноженным на вероятность $p_2$ выбора одного её элемента, возведённую в степень числа $n_2$ выбранных элементов:

$P_2(t_2, X_2=n_2 \mid t_1,X_1=n_1)={n-n_1 \choose n_2}p_2^{n_2}.$

Произведение двух вероятностей есть вероятность распределения — совместное распределение вероятностей двух случайных величин: первая независимая, а вторая зависима от первой

$\prod_{i=1}^2P_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1!n_2!}p_1^{n_1}p_2^{n_2},$

$\sum_{i=1}^2n_i=n, \quad \sum_{i=1}^2p_i=1.$

Когда число случайных величин больше двух $(k>2)$ и, следовательно, число $n$ испытаний больше двух $2< k=n< \infty$ , имеют место вероятности полиномиального (мультиномиального) распределения интерпретации 21-го века

$\prod_{i=1}^kP_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!}p_1^{n_1}\cdots p_k^{n_k},$

$\sum_{i=1}^kn_i=n, \quad \sum_{i=1}^kp_i=1.$

Способ получения математического ожидания биномиального распределения

Этот способ относится к техническим задачам разделения дискретного целого на составные части и отличается от способа получения вероятностей полиномиального распределения интерпретации 21-го века тем, что число выборок $k$ равно числу $n$ элементов исходного множества $k=n$ и каждая выборка имеет единичный объём: $n_i=1,\quad i=1,2, \quad k=n$ . Целым является множество дискретных элементов, различимых (хотя бы одним признаком, например, порядковыми номерами) и не упорядоченных (хаотично расположенных). Множество содержит два элемента: $n=2$ . Составные части множества — дискретные два подмножества $n_1=1, \quad n_2=1$ , в сумме равные объёму множества: $n_1+n_2= n, \quad n=2$ . Разделение множества на подмножества осуществляют выборками без возвращения. Выборки следуют во времени одна за другой. В начальный момент времени $t_0$ , не обязательно равный нулю $t_0 \ne 0$ , множество содержит два различимых неупорядоченных элемента. В первый момент времени $t_1$ из $n$ -множества осуществляют первую выборку $n_1=1$ единичного объёма с вероятностью $p_1=n^{-1}$ . Вероятность первой случайной величины $X_1=n_1=1$ биномиального распределения определяется числом сочетаний ${n \choose n_1}$ из $n$ по $n_1=1$ , умноженным на вероятность $p_1=n^{-1}$ выбора одного элемента:

$P_1(t_1, X_1=n_1=1)={n \choose n_1}p_1={n \choose 1}n^{-1}=\frac{n}{n}.$

Во второй момент времени $t_2$ из оставшегося одного $n-n_1$ элемента исходного множества осуществляют вторую выборку $n_2=1$ единичного объёма с вероятностью $p_2=n^{-1}$ . Вероятность второй случайной величины $X_2=n_2=1$ при условии, что в первый момент времени вероятность первой случайной величины биномиального распределения приняла значение $P_1(t_1, X_1=n_1=1)$ , определяется числом сочетаний ${n-n_1 \choose n_2}$ из $n-n_1$ по $n_2=1$ , умноженным на вероятность $p_2=n^{-1}$ выбора одного элемента:

$P_2(t_2, X_2=n_2=1 \mid t_1,X_1=n_1=1)={n-n_1 \choose n_2}p_2={n-n_1 \choose 1}n^{-1}=\frac{n-1}{n}.$

Произведение этих вероятностей есть математическое ожидание биномиального распределения интерпретации 21-го века— распределения двух случайных величин, первая их них независимая,а вторая зависима от первой

$\prod_{i=1}^2P_i(t_i,X_i=n_i=1 \mid t_{i-1},X_{i-1}=n_{i-1}=1)=\prod_{i=1}^2\frac{n-n_{i-1}}{n}=\frac {1}{2},$

$\sum_{i=1}^2n_i=n, \quad \sum_{i=1}^2p_i=1.$

Когда число случайных величин больше двух $k>2$ и, следовательно, число $n$ испытаний больше двух $2< k=n< \infty$ , имеет место математическое ожидание мультиномиального распределения интерпретации 21-го века

$\prod_{i=1}^nP_i(t_i,X_i=n_i=1 \mid t_{i-1},X_{i-1}=n_{i-1}=1)=\prod_{i=1}^n\frac{n-n_{i-1}}{n}=\frac {n!}{n^n},$

$\sum_{i=1}^nn_i=n, \quad \sum_{i=1}^np_i=1.$

Биномиальное распределение как цепь Маркова

Биномиальное распределение появляется в последовательности двух испытаний, первое из них случайное независимое, а второе зависимое от первого испытания. Исходы испытаний конечны и счётны. По сути — это простейшая цепь Маркова. ( $X_0$ , называемое начальным распределением цепи Маркова, для биномиального распределения не имеет смысла $t_0=0, \quad X_0=0$ , поскольку нумерация случайных величин начинается с единицы.) Единственная переходная вероятность

$P(t_2>t_1,\quad X_2=n_2=n-n_1 \mid t_1<t_2,\quad X_1=n_1)$

заключается в том, что вторая случайная величина $X_2$ во второй момент времени $t_2$ вынуждена принять числовое значение, равное $0\le n_2=n-n_1$ , при условии, что в первый момент времени $t_1$ первая случайная величина $X_1$ приняла случайное число $0\le n_1\le n$ . Следовательно и вероятность биномиального распределения

$\prod_{i=1}^2P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! n_2!}p_1^{n_1}p_2^{n_2}$

как произведение первой независимой и второй зависимой случайных величин является цепью Маркова. Биномиальное распределение, как цепь Маркова, является стахостической.

Переходная вероятность биномиального распределения является дискретной функцией. Следовательно, биномиальное распределение является марковским процессом с дискретным временем.

Парадоксы биномиального распределения на элементарном уровне познания

Полностью эта проблема изложена в отдельной статье http://www.wikiznanie.ru/ru-wz/index.php/Парадоксы биномиального распределения.

Во всех областях научного знания за исключением теории вероятностей приставка би (в переводе с латинского означающая сдвоенный, состоящий из двух частей) используется правильно, например, в авиации биплан — самолет со сдвоенными крыльями, в оптике бинокль — сдвоенный монокль, в комбинаторике бином — двучлен, и только в современной теории вероятностей биномиальное распределение — распределение, полученное не основе бинома (двучлена), является распределением одной случайной величины…

Парадокс заключается в том, что http://wikipedia.ru/wiki/биномиальное распределение считается распределением одной случайной величины, а на самом деле биномиальное распределение является распределением двух случайных величин, в котором первая случайная величина является независимой, а вторая зависима от первой.

Парадокс возник из-за ошибки в логике рассуждений и получил повсеместное распространение с середины 20-го века. Подобно тому, как из полинома (из многочлена) методом дедукции получают бином (двучлен), а из бинома методом индукции получают полином, так и по аналогии из полиномиального распределения (из распределения с числом случайных величин больше двух) методом дедукции обязаны получить биномиальное распределение (распределение с двумя случайными величинами), а из биномиального распределения (из распределения с двумя случайными величинами) методом индукции обязаны получить полиномиальное распределение (распределение с числом случайных величин больше двух).

Этот парадокс настолько распространён и настолько прост, что может быть проиллюстрирован на элементарных примерах. 1. Пусть в полиноме 10 членов. Сократив в нём число членов до двух, получим два:10:5=2. 2. В биноме 2 члена. Умножив их на 5, получим, что в полиноме 10 членов: 2х5=10. 3. Пусть в полиномиальном распределении 10 случайных величин. Сократив число случайных величин до двух, по аналогии обязаны получить биномиальное распределение с двумя случайными величинами: 10:5=2. Однако принято считать, что биномиальное распределение это распределение одной случайной величины, иными словами, если 10 разделить на 5, то получится один! Это первый парадоксальный результат: 10:5=1. 4. Число случайных величин биномиального распределения традиционной интерпретации, равное одному, умножив на 5 получим, что в полиномиальном распределении 5 случайных величин: 1х5=5. Это второй парадоксальный результат, поскольку изначально исходили из того, что в полиномиальном распределении 10 случайных величин.

Во времена В. Я. Буняковского биномиальное распределение, как распределение двух случайных величин и на его основе полиномиальное распределение (оба так ещё не называемые) впервые были опубликованы им в 1846 году ^[1].

В современной записи биномиальное и полиномиальное распределения Буняковского имеют следующий вид:

$P(X_1=n_1, X_2=n_2)= \frac{n!}{n_1! n_2!} p_1^{n_1}p_2^{n_2},$