Теория вероятности и математическая статистика

Покажем, что второе эквивалентно первому.

Покажем, что если двумерная непрерывная случайная величина XY порождена композицией независимых испытаний, то X и Y независимы.

В силу определения независимых испытаний в композиционном пространстве

В силу определения независимых испытаний в композиционном пространстве A и B независимы.

Следовательно:

Многомерные дискретные случайные величины

Это система, состоящая из m дискретных одномерных случайных величин. Всю арифметику проделать самостоятельно.

Многомерные непрерывные случайные величины.

Система из m одномерных непрерывных случайных величин, у которой пространством элементарных событий является m-мерное арифметическое пространство либо его область, имеющая ненулевой объем.

m-мерная плотность вероятности удовлетворяет выражению

m-мерной функцией распределения называется числовая скалярная функция m действительных аргументов, которая численно равна:

Случайные величины x1, x2, ... xm независимы, если

Доказать, что если m-мерная случайная величина порождена композицией m-мерных испытаний, то события независимы.

Запишем аналог формул

для многомерного случая.

Для получения плотности вероятности необходимо n-мерную плотность проинтегрировать в бесконечных пределах по переменным, которые соответствуют случайным величинам, не входящим в

Найдем плотность n-мерной случайной величины.

Математическое ожидание скалярной функции случайных аргументов.

Двумерный дискретный случай.

XY

Числовая скалярная функция

является одномерной дискретной случайной величиной, со следующим отличием от обычного представления: для того, чтобы в испытании получить реализацию необходимо провести испытание над двумерной случайной величиной XY, зафиксировать ее результат xi,yi и подставить в . Полученное число и есть реализация случайной величины .

Таблица случайной величины строится по таблице

Двумерные непрерывные случайные величины

Случайную величину аппроксимируем дискретной по следующему правилу: пространство элементарных событий XY представим в виде совокупности прямоугольников с вершинами , если в результате испытания XY попало в прямоугольник (i,j), то эта случайная величина приняла значение . Вероятность наступления этого события равна:

точное значение мат. ожидания

n-мерный дискретный случай - многомерная дискретная случайная величина

Найдем



Вероятностное пространство зададим в виде

Тогда

n-мерный непрерывный случай

Теорема 1. Математическое ожидание суммы случайных величин равно сумме математических ожиданий

а) дискретный случай

б) непрерывный случай



Пусть n-произвольное число

Теорема 2. Математическое ожидание произведения независимых случайных величин равно произведению мат.ожиданий.

По определению имеем т.к. случайные величины X и Y независимы, то

Коэффициент ковариации

Коэффициентом ковариации называется выражение

Эта формула верна, т.к. верна следующая формула.



Пусть

Тогда

Если случайные величины XY независимы, то их коэффициент ковариации равен нулю, обратное в общем случае неверно.

Пример.

X - случайная величина, имеющая нормальное распределение с нулевым мат.ожиданием

Y=X2 (Y и X связаны функционально).

Найдем

Случайная величина называется нормированной случайной величиной, ее мат. ожидание равно 0, а дисперсия -1.



Коэффициентом корреляции случайных величин X и Y - это число

Следствие:

Если X и Y независимы, то коэффициент ковариации равен 0, то

Доказать, если независимы, то



Свойства коэффициента корреляции

По определению

т.к. всегда неотрицательна, то

2. Если , то с вероятность 1 X и Y связаны линейно.

Рассмотрим X*-Y*, отсюда M(X*-Y*)=0.

Если X и Y дискретные случайные величины, и дисперсия равна 0, то их сумма (разность) является постоянной

Пусть X и Y непрерывные случайные величины, то в соответствии с неравенством Чебышева



т.к.

Это неравенство и обозначает, что с вероятностью 1

откуда y=ax+b

где

Если коэффициент корреляции , то результаты опыта лежат на прямой

В общем случае Y можно представить в виде

Коэффициент корреляции является мерой близости линейной связи между случайными величинами X и Y: чем ближе коэффициент корреляции по модулю к 1, тем более тесно результаты конкретного испытания над X и Y соотносятся с прямой ax+b.

Нахождение плотности вероятности суммы двух независимых случайных величин

Дискретный случай.

Пусть X и Y - две дискретные независимые величины данного испытания и Z=X+Y. Возможное значение Z=z=x+y всегда представляет сумму двух возможных значений слагаемых X=x и Y=y. По правилу сложения

где суммирование распространено на те пары, которые в сумме дают Z. В силу независимости X и Y

Приняв во внимание, что y=z-x

последняя сумма распространяется не на все значения x, а только на такие, для которых z-x равно одному из возможных значений y.

Если условиться, что P(y=z-x)=0, если z-x не принадлежит к числу возможных значений Y, то

Аналогично

Формулы (1) и (2) определяют композицию величин X и Y.

Или

Непрерывный случай.

Пусть X и Y независимые непрерывные случайные величины. Пусть f(x,y) - двумерная плотность вероятности двумерной случайной величины XY. Плотность совместного распределения f(x,y) в силу независимости X и Y имеет вид

Рассмотрим функцию распределения случайной величины Z.



Для того, чтобы имело место событие действительное число необходимо и достаточно, чтобы случайная точка Q(x,y) попала в область 1.

Тогда эта вероятность равна

Дифференцируя под знаком интеграла

Двумерное нормальное распределение

Двумерная случайная величина XY распределена нормально, если ее плотность вероятности f(x,y) имеет вид

Свойства двумерного нормального распределения



т.е. X и Y имеет одномерное нормальное распределение.

Сделаем подстановку

тут мы для краткости обозначили

Прибавляя и вычитая в показателе степени по e по

Сделаем подстановку



3. то X и Y независимые случайные величины, то плотность вероятности двумерная распадается на произведение одномерных

Найдем условную плотность вероятности

Подставляя в полученное выражение значения и получаем

Вывод: условная плотность вероятности оказалось нормальной с мат. ожиданием



и дисперсией, постоянной

Многомерное нормальное распределение

n-мерная непрерывная случайная величина имеет нормальное распределение, если ее многомерная плотность вероятности в матричном виде

Показать, что формула

в двумерном случае переходит в

для n=2 находим

Показатель степени при

Найдем обратную матрицу матрице В

Проводим непосредственное доказательство

B - ковариационная матрица

Показать, что эта формула в двумерном случае совпадает с выражением, рассмотренном ранее.

Свойства n-мерного нормального распределения.

- определитель матрицы B - неотрицательное число.

По критерию Сильвестрова, если то все главные миноры матрицы B неотрицательные и определитель матрицы B неотрицателен.

Свойства многомерного нормального распределения.

Все одномерные плотности вероятности - это плотности вероятности одномерной нормальной случайной величины с параметрами, определяемыми координатами вектора X и главной диагональю ковариационной матрицы B. Кроме того, подвектор вектора

из k элементов, где



также распределен нормально.

Если все коэффициенты корреляционной или ковариационной матрицы B (все ее недиагональные элементы) равны нулю, то показать самим, что компоненты случайной величины являются независимыми.

если ,то многомерная плотность распадается на произведение одномерных, значит независимы.

Теорема.

Проводим линейное преобразование Y=AX. A - квадратная невырожденная матрица, тогда вектор Y также имеет n-мерное нормальное распределение вида

Следствие: Из доказательства теоремы вытекает, что ковариационная матрица



Оператор A переводит произвольную область из арифметического пространства Rn в некоторую область того же пространства.

Рассмотрим произвольную область S, принадлежащую пространству элементарных событий случайной многомерной величины X. Ей соответствует область D в пространстве элементарных событий случайного вектора Y. При этом

Запишем эти вероятности

где |I| - якобиан перехода



Т.к. область S и соответственно D произвольны, то плотность вероятности случайного вектора x равна

n-мерная плотность вероятности случайного вектора Y равна

Преобразуем показатель степени

Можно показать, что если нормальное распределение имеет данный вид, то B - ее ковариационная матрица

Следствие.

- многомерный нормальный вектор. A - прямоугольная матрица Тогда Y=AX имеет нормальное распределение вида

Y - m-мерный вектор.

Для определенности положим, что матрица A имеет вид

A = (A1 A2)

A1 - квадратная матрица размером

A2 - матрица размерности

Рассмотрим матрицу размерности . Считается, что m первых столбцов независимы.

равен определителю полученной квадратной матрицы и не равен нулю.

E - единственная квадратная матрица размерности

Следовательно, на основании доказанной теоремы, вектор Y имеет многомерное нормальное распределение.

Z=CX

Компоненты вектора Z имеют вид

Пусть матрица А произвольная, но т.к. ее ранг равен m она содержит m линейно независимых столбцов. Путем перестановки столбцом соберем эти столбцы в первые m. И соответствующим образом пронумеруем компоненты вектора Х. Попадаем в предыдущий случай.

Предельные случайные последовательности.

Рассмотрим вероятностное пространство в котором задана счетная последовательность случайных величин, каждая из которых является измеримой

Покажем, что событие измеримо, т.е. имеет вероятность наступления. Действительно событие

Каждое из этих событий в пересечении принадлежит - алгебре.

По определению - алгебры ей принадлежит и счетное перечисление этих событий, таким образом событие имеет вероятность наступления.

Пусть последовательность имеет предел при , который может быть постоянной или случайной величиной. В теории вероятности этот предел понимают следующим образом: под сходимостью последовательности к пределу понимают событие А которое может задаваться следующим образом:

1.

Событие А состоит из всех m, удовлетворяющих условию: для любого как угодно большого r существует такое m, что для всех n выполняется

2. А: Если предел ,то

Для любого, как угодно большого r существует такое m, что для всех n выполняется

3.Если предел случайная величина, то



Показать самим, что событие А с - алгебре и следовательно имеет вероятность наступления любое событие измеримо, как доказывалось ранее

измеримы, и следовательно имеет вероятность наступления.

Разность

-алгебре. Следовательно событие А имеет вероятность наступления.

Если предел константа, то эквиваленты 1 и 2, если случайная величина то 1 и 3.

Существующие определения сходимости случайных величин.

Пусть имеется счетная последовательность случайных величин и пусть предел последовательности.

1. Счетная последовательность сходится к пределу с вероятностью 1, если Р(А)=1.

Это не вероятность достоверного события.

2. Сходимость по поверхности.

Счетная последовательность случайных величин сходится к по поверхности, если

3. Сходимость в среднеквадратичном.

Последовательность случайных величин сходится к пределу в среднеквадратичном, если выполняется

Покажем, что из сходимости в среднеквадратичном следует сходимость по вероятности.

Воспользуемся Неравенством Чебышева

При любом конечном r если выполняется сходимость в среднеквадратичном, то этот предел существует и равен 0, т.к. числитель сходится к 0, а знаменатель конечен.

Теорема.

Счетная последовательность сходится к пределу с вероятностью 1 только тогда, когда

Указанное выше событие имеет своим дополнением событие



и сходимость с вероятностью 1 означает, что P(B)=0.

Очевидно, что условие теоремы достаточно рассмотреть для

.

Положим

События Вrm, m=1,2,.... убывают, и для

Докажем это.

Будем искать P(Br) так

Событие, обратное имеет следующую структуру:

Показать самим, что следующее событие включает предыдущее.



По построению справедлива следующая формула

По третьей аксиоме теории вероятности

Построенный ряд D1, D2...Dn образует неубывающую ограниченную последовательность, следовательно имеет предел сверху.

Поэтому возможен переход

Теорема Бернулли.

Рассмотрим систему независимых испытаний Бернулли.

Система испытаний неограниченна. С каждым i-видом испытаний свяжем дискретную величину Xi

Хi принимают значения 1, если в i-том испытании произошло событие А и 0 - в противном случае

Рассмотрим случайную величину

- число появлений события А в n испытаниях

Рассмотрим случайную величину

Это частость наступления события А в n испытаниях

Используем неравенство Чебышева

где e - произвольное неотрицательное число

Рассмотрим

Получена теорема Бернулли.

Частость наступления произвольного события при числе испытаний стремящемся к бесконечности по вероятности сходится к теоретической вероятности наступления события.

Обоснование того, что - частость наступления события A заключается в следующем: с тоски зрения ранее приведенного определения, независимым испытаниям эквивалентны две схемы:

· проведение n раз одного и того же испытания

· проведение n независимых испытаний над n копиями одного и того же.

Аналогия: 100 раз монету подбрасывает 1 человек или 100 человек подбрасывают по одной монете.

Закон больших чисел.

Рассмотрим независимые: одинаково распределенные случайные величины X1, X2, ..., Xn с конечным мат. ожиданием и дисперсией.

Рассмотрим их среднее арифметическое



Используя вспомогательное неравенство получим

Получаем

При числе испытаний, стремящихся к ? среднее арифметическое по вероятности сходится к математическому ожиданию.

В любом университетском учебнике доказывается сходимость с вероятностью 1.

Использование закона больших чисел.

Пусть имеется одна случайная величина X, над которой проведено n испытаний. Результаты испытаний

Тогда в силу примечания, сделанного Бернулли, эти n-чисел можно считать результатом одного испытания над n-мерной случайной величиной, у которой Xi независимы и распределены как X, т.е.

Тогда является реализацией следующего

Для справедлив закон больших чисел, следовательно является хорошей оценкой величины X.

Основы теории характеристических функций

Комплексная случайная величина Z определяется с помощью двумерной случайной величины (X,Y) следующим выражением

Операции над комплексными случайными величинами совпадают с операциями над комплексными числами.

Рассмотрим скалярную функцию случайных аргументов и числа i.

тогда в теории вероятности математическое ожидание случайной величины вычисляется по тем же формулам, что и , просто i считают постоянным параметром.

Найдем мат.ожидание случайной величины Z.

1. Для комплексной случайной величины справедливы свойства аддитивности и мультиплекативности мат.ожидания.

2. Комплексные случайные величины Z1 и Z2 называются независимыми, если независимы между собой двумерные случайные величины , т.е. попарно независимы

Пусть Z1 и Z2 независимые комплексные случайные величины. Найдем мат.ожидание произведения

3.

а) дискретный случай

б) непрерывный случай

Двумерная случайная величина XY имеет плотность вероятности f(x,y).

Характеристической функцией действительной случайной величины X называется функция

Свойства характеристической функции

1. Для дискретного случая

2. Для непрерывного случая

Будем считать, что плотность вероятности f(x) существует, тогда

3.

Это свойство гарантирует, что характеристическая функция всегда существует

4. Пусть случайная величина



y=ax+b

5. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций.

Пусть

хi - независимы

Тогда

Отсюда

6. Если у случайной величины Х конечен начальный момент n-го порядка, то

а) для - существуют к-е производные и при этом

б) имеет место разложение

Для того, чтобы полученное равенство было справедливо, необходимо доказать, что мы можем дифференцировать под знаком интеграла.

Для доказательства приведем ряд фактов.

1. Аналог теоремы Либега для интегралов Римана

Пусть функция интегрируема по Риману и при всех х

сходимость в каждой точке известна.

Пусть при этом

- некоторая функция, мажорирующая данную. Пусть при этом конечен интеграл

т.е.

Тогда

2. Некоторые свойства мат.ожиданий действительной случайной величины

1) Если х>0, то МХ>0 - доказать самим

Дискретный случай

Введем случайную величину

Аналогично

Очевидно, что

Следовательно

тогда

Пара может принимать значения:

а) (-?,+?) в этом случае говорится, что МХ не определено.

б) (-?,<?) в этом случае говорится, что МХ не ограничено.

в) (<?, ?) MX=-?

(<?, <?) MX<?

Очевидно, что

Вывод:

Если MX конечно, то конечно и M/X/

MX<?, то M/X/<?

Если MXk конечно, то конечно и M/Xk/

MXk<?, то M/Xk/<?

3. Пусть , тогда

на основании пункта 1.

4. Имеет место очевидное неравенство

5. Пусть существует , тогда для всех

Сумма интегралов

Возвращаемся к доказательству.

Докажем формулу



Доказательство проведем по мат.индукции.

Проверяем при k=0

формула справедлива.

Пусть формула справедлива для k<n. Докажем, что она справедлива для k+1.

Рассмотрим.

Получили:

Покажем, что интеграл конечен.

Если , то и конечно. А конечно по условию, тогда для

Таким образом можно применять теорему Либега.

Это мы доказали справедливость формулы

Доказательство разложения - пункт б) является справедливым, если при исследовании остаточного члена учесть, что /i/<1.

Размещено на Allbest.ur