Статистика как наука

5. Наиболее распространенным показателем степени изменчивости случайной величины является среднее квадратическое отклонение (сигма). Эту величину еще называют средняя квадратическая ошибка (погрешность) - с.к.о., квадратичная ошибка, стандартное отклонение. Это корень квадратный из дисперсии 2.

имеет размерность исследуемой случайной величины, и для дискретного ряда распределения среднеквадратичная ошибка отдельного измерения вычисляется по формуле

,

для сгруппированного дискретного и интервального ряда

или , 0 Рi 1,

где Xi - центральное значение градации, - среднее значение СВ, mi - частота градации, pi - относительная повторяемость (вероятность) градации, k - число градаций, n - длина ряда.

Подчеркнем, что приведенные выше формулы относятся к выборке СВ (т.е. к ряду с ограниченным числом членов n ), поэтому является лишь оценкой статистического распределения случайных величин (генеральной совокупности). Для определения необходимо произвести большое число N ( N ) серий из n измерений. Тогда

,

т.е. с.к.о. результата серии из n измерений (генеральной совокупности) в раз меньше с.к.о. отдельных измерений.

Дисперсия результата серии из n измерений в n раз меньше дисперсии 2 выборки отдельных измерений

.

По сравнению со средним абсолютным отклонением в с.к.о. больший вклад вносят значительные отклонения СВ от среднего, и оно мало зависит от незначительных отклонений от среднего.

Правило шести сигм (приближенная оценка с.к.о.)

Среднее квадратическое отклонение для симметричного или близкого к нему распределения при n 70 связано с амплитудой приближенным соотношением

А/6 или 0.17А.

При n < 70 АZ, где Z - коэффициент, определяемый в зависимости от объема выборки n

n	2	4	6	8	10	20	30	40	50	70
Z	0.89	0.49	0.39	0.35	0.32	0.27	0.24	0.23	0.2	0.17

С.к.о. результата серии из n измерений служит мерой ширины кривой распределения СВ. При правильно вычисленном с.к.о. около 2/3 (а точнее 68.269%) всех наблюдений должны лежать в интервале (). При () внутрь этого интервала попадут 95% СВ, а при () - 99.73% СВ.

Часто возникает необходимость сравнения изменчивости различных рядов или частей одного ряда. В этом случаях сопоставление разброса осуществляется с помощью коэффициента вариации (изменчивости)

.

Знаменатель в выражениях для дисперсии и среднего квадратического отклонения дискретного ряда представляет собой число степеней свободы. Это понятие играет большое значение в математической статистике. Число степеней свободы можно определить как число независимых измерений минус число тех связей, которые наложены на эти измерения при дальнейшей обработке материала. При определении среднего квадратического отклонения по n независимым наблюдениям мы имеем дело с f = (n-1) степеней свободы, т.к. при подсчете среднего значения на результаты измерений была наложена одна связь вида

Оценка достоверности (значимости) результата. Доверительные оценки параметров

Пусть в результате статистического наблюдения получен ряд из n независимых измерений дискретных случайных величин Х1, Х2, …, Хn (т.е. выборка). Требуется оценить истинное значение а (т.е. для генеральной совокупности, из которой взяты выборки объемом n) измеряемой величины. Это значит:

а) указать такую функцию g (Х1, Х2, …, Хn) от результатов измерений, которая дает достаточно хорошее приближение к значению а. Такая функция называется точечной оценкой или просто оценкой значения а.

g(Xi) a

б) указать границы интервала (g-, g+), который с заданной вероятностью Р покрывает истинное значение а. Такая оценка называется доверительной оценкой, вероятность Р - доверительной вероятностью (надежностью, достоверностью), интервал (g-, g+) - доверительным интервалом (точностью), а его границы - доверительными границами.

Обычно доверительная вероятность задается в виде одного из трех уровней: 0.95, 0.99 или 0.999 (или 95%, 99% и 99.9%).

Если все n измерений величины а произведены с одинаковой точностью (равноточные измерения), то в качестве оценки истинного значения а измеряемой СВ применяют среднее арифметическое значение результатов измерений. Если измерения не являются равноточными, но известны веса измерений, то в качестве оценки истинного значения СВ применяют среднее взвешенное значение. Таким образом, g(Х1, Х2, …, Хn) = . Т.е.

-< a < +.

При бесконечно большом числе измерений истинное значение измеряемой случайной величины равно среднему значению случайных величин, т.е.

при .

Доверительный интервал (-,+), который покрывал бы истинное значение а случайной величины Хi с доверительной вероятностью Р, определяется по формуле

.

А для самого истинного значения а случайной величины можно записать выражения

,

или (-,+),

или ,

где - среднее значение СВ, - среднее квадратическое отклонение, n - число измерений СВ, Р - доверительная вероятность, t - коэффициент Стьюдента.

Чем больше величина доверительного интервала (-,+), т.е. чем больше задаваемая погрешность результата измерений , тем с большей надежностью искомая величина а попадет в этот интервал (X P ).

Естественно, что величина надежности будет зависеть от числа измерений n , поскольку при увеличении n величина доверительного интервала уменьшается (n ).

Коэффициент Стьюдента определяется из таблиц и зависит от доверительной вероятности Р и числа степеней свободы f = n-1. Называется он так в честь ученого, предложившего этот параметр в 1908 г., - английского статистика и химика В.С. Госсета, публиковавшего свои работы под псевдонимом "Стьюдент" (студент).

Величину = 1 - Р, называют уровнем значимости. - это положительное малое число, определяющее величину ошибки определения истинного значения СВ. Если, например, задана доверительная вероятность 95% , то уровень значимости в этом случае будет равняться 5%.

В практике статистической обработки результатов широкое распространение получило правило трех сигм:

Отклонение истинного значения случайной величины от среднего значения результатов измерений не превосходит утроенной средней квадратической ошибки генеральной совокупности. Таким образом, правило трех сигм представляет собой приближенную доверительную оценку

.

Надежность этой оценки существенно зависит от количества измерений n в выборке. Зависимость Р от количества измерений n для правила трех сигм указана в следующей таблице

n	5	6	8	10	14	16	18	20	25	30	50	150
P	0.960	0.970	0.980	0.985	0.990	0.991	0.992	0.993	0.994	0.995	0.996	0.997	0.9973

Обычно для сгруппированного ряда применяют правило трех сигм с исправленной эмпирической дисперсией

,

где - поправка Шеппарда, h - ширина градации.

Необходимое количество измерений.

Увеличивая количество измерений n даже при неизменной их точности, можно увеличить надежность доверительных оценок или сузить доверительный интервал для истинного значения случайной величины.

.

Предположим, величина доверительного интервала для выборки из n1 значений равна . Мы хотим сузить величину в m раз. Каков должен быть объем выборки для достижения этой цели?

,

,

Т.е. .

Таким образом, уменьшение доверительного интервала в m раз обеспечивается увеличением количества измерений в m2 раз. Например, уменьшение доверительного интервала в 2 раза обеспечивается увеличением количества измерений в 4 раза.

Необходимое количество измерений для достижения требуемой достоверности Р можно определить заранее, задавая величину отношения (т.е. задавая величину доверительного интервала в долях от с.к.о., например, 0.5 или 0.1 ). Для определения количества измерений n в зависимости от q и Р применяется таблица

q	P
	0.95	0.99
1.0 ()	7	11
0.5 ()	18	31
0.4	27	46
0.3	46	78
0.2	99	171
0.1	387	668
0.05	1540	2659

На практике можно ограничиться меньшим числом измерений, если применить следующий прием. Сначала нужно произвести сравнительно небольшое количество измерений (в 3-4 раза меньше указанного в таблице). По результатам этих измерений рассчитать доверительный интервал. Затем уточнить необходимое количество измерений из тех соображений, что уменьшение доверительного интервала в m раз обеспечивается увеличением количества измерений в m2 раз. Например, уменьшение доверительного интервала в 2 раза обеспечивается увеличением количества измерений в 4 раза.

Нахождение взаимосвязи между явлениями

Во всех приведенных выше рассуждениях считалось, что явление характеризуется каким-либо одним признаком (параметром), и изучалось статистическое распределение случайной величины, являющейся значениями изучаемого параметра, в зависимости от частоты ее появления. Однако часто явление или процесс характеризуется двумя (или более) взаимосвязанными случайными величинами X и Y. Как значения X , так и Y подвержены случайным изменениям (вариациям). В рамках этих случайных ошибок возможны любые комбинации X и Y.

статистика интервальный ряд распределение

Двумерные ряды распределения случайных величин

Распределения, в которых рассматривается частота двух взаимосвязанных случайных величин, называют двумерными распределениями. Двумерные распределения характеризуются также средним значением и дисперсией (разбросом). Эти характеристики следует вычислять отдельно для обеих СВ X и Y . Средняя точка (центр) двумерного распределения лежит при значениях и . Общая дисперсия составляет сумму двух единичных дисперсий.

Признак (параметр), от которого зависит другой признак (параметр), принято называть факторным (или предиктором, т.е. по которому предсказывают). Зависимый признак называют результативным (или предиктантом, т.е. который предсказывается). Таким образом, взаимосвязанные явления рассматриваются как причинно-следственные связи.

Связи между явлениями или признаками в статистике классифицируются по ряду оснований.

По степени зависимости связи подразделяют на динамические (функциональные, детерминированные) и статистические (стохастические).

Размещено на http://www.allbest.ru/

Статистическая закономерность - одна из форм проявления всеобщей связи явлений в природе и обществе. Впервые этот термин стал употребляться в естественных науках в противоположность понятию динамической закономерности, т.е. такой формы закономерности, когда строго определенным значениям каких-либо факторов (независимой переменной) всегда соответствуют строго определенные значения величин, зависимых от этих факторов (зависимых переменных). При динамической закономерности количественные соотношения между величинами остаются справедливыми для каждого отдельного случая, каждого элемента совокупности, охваченного действием известного закона. Указанные соотношения могут быть выражены математическими строго определенными формулами, системой уравнений и т.д., т.е. динамическая зависимость является функциональной. Примером динамической закономерности являются закономерности соотношений силы тяжести, массы и расстояний между телами, определяемые законом всемирного тяготения.

Статистическая (стохастическая) закономерность - другая форма закономерности, когда какое-либо правило, закон, количественное соотношение выявляются только в достаточно большом числе элементов совокупности, находят свое выражение только в массе явлений. Наступление отдельного события при этой закономерности связано с известной вероятностью (т.е. отдельное событие может наступить или не наступить). Но в массе случаев общая закономерность необходимо найдет свое проявление. При статистической связи каждому значению факторного признака будет соответствовать не одно, а совокупность значений результативного признака. В этом случае для определения действующей связи возникает необходимость определения среднего значения результативного признака для каждого факторного признака.

Термин стохастический происходит от греч. "stochos" - мишень или бычий глаз. Стреляя в мишень, даже хороший стрелок не всегда попадает в цель - центр мишени. Выстрелы ложатся в некоторой области, близкой к центру. В этом смысле стохастическая связь означает приблизительный характер значений признака.

По направлению выделяют прямую (положительную) и обратную (отрицательную) связи.

По форме связи различают линейные (прямая линия) и криволинейные (парабола, гипербола, экспонента и т.д.)

Основные задачи изучения связей между явлениями сводятся к:

установлению формы корреляционной связи, т.е. вида регрессии (линейной, квадратичной и т.д.);

установлению аналитического уравнения связи, с помощью которого аппроксимируется связь между признаками;

оценке точности и возможности распространения связей, выявленных на основании статистической обработки выборочных данных, на генеральную совокупность, из которой взята выборка.

оценке тесноты связи по показателям корреляционной связи;

При рассмотрении вопроса о точности корреляционных связей следует помнить, что она определяется точностью оценок средних выборок (т.е. параметров распределений), использованных при расчете связи.

Одной из форм математического выражения связи причин и следствий при статистической закономерности служат уравнения регрессии (корреляции). В целом корреляционная связь - это такая статистическая связь, при которой изменение одной величины приводит к изменению среднего значения другой.

Термины:

Аппроксимация - приближенное выражение математических объектов через другие, более простые.

Корреляция - зависимость между случайными величинами, выражающаяся в том, что распределение одной величины зависит от значения другой величины.

Регрессия - зависимость среднего значения случайной величины от значений других случайных величин.

Исходные формы выявления и представления связей

1. Удобной формой представления данных является корреляционная таблица. Пусть есть две случайные переменные X и Y, характеризующие какое-либо явление или процесс, между которыми надо изучить связь. Сначала надо произвести группировку каждой СВ, т.е. определить градации X и Y. Градации X записываются по горизонтали в верхней части таблицы, причем самая низшая градация записывается слева. Градации Y записываются по вертикали вдоль левого края таблицы, причем самая низшая градация записывается вверху. Горизонтальные и вертикальные линии, отделяющие различные градации, образуют клетки таблицы, в которые заносятся соответствующие этим интервалам изменения СВ частоты. Когда большинство частот группируется около диагонали от левого верхнего угла до правого нижнего, т.е. когда большим значениям X соответствуют большие значения Y , говорят, что две СВ коррелируют положительно. Если же большим значениям X соответствуют малые значения Y, то говорят, что СВ коррелируют отрицательно. В итоговых строках и столбцах таблицы дается два распределения: распределение по признаку X (нижняя строка - сумма частот по столбцам) и распределение по признаку Y (крайний правый столбец - сумма частот по строкам). На основе этих распределений можно рассчитать средние значения СВ и для каждой градации.

2. Исходные данные, используемые для создания корреляционной таблицы, можно изобразить графически в виде точечной диаграммы - так называемого корреляционного поля (плоскости или решетки). По осям абсцисс и ординат откладываются интервалы изменения величин X и Y , а в двумерной плоскости каждой паре значений X и Y соответствует точка. По наибольшей плотности точек на корреляционной плоскости судят о форме корреляционной связи. Вообще, все значения случайных величин лежат внутри эллипса или окружности. Если по осям откладывать средние значения СВ X и Y , например, для центральных точек градаций Хi откладывать , то получим эмпирическую линию регрессии .

Ниже на диаграммах представлены примеры корреляционных связей в поле корреляционных решеток:

а - высокая положительная; б - средняя положительная; в - высокая отрицательная; г - средняя отрицательная; д - связь отсутствует; е - связь неопределенна; ж - криволинейная положительная; з - криволинейная отрицательная.

Когда большинство частот группируется около диагонали от левого нижнего угла до правого верхнего, т.е. когда большим значениям X соответствуют большие значения Y , говорят, что две СВ коррелируют положительно. Если же большим значениям X соответствуют малые значения Y, то говорят, что СВ коррелируют отрицательно. Когда все наблюдения попадают на прямую, тангенс угла наклона которой отличен от нуля или бесконечности, корреляция идеальная. Если все значения случайных величин лежат примерно внутри эллипса, главная ось которого расположена вертикально или горизонтально или внутри окружности, то это является признаком отсутствия корреляции. Если эллипс с наклонными осями - это признак слабой корреляции.

Следующая задача - проведение линии на графике, возможно ближе примыкающей к системе точек, нанесенных на плоскость (линии эмпирической регрессии) и подбора ее формулы. При выборе вида формулы весьма полезны альбомы кривых, которые приводятся в справочниках. Существуют также специальные методы приближенного определения параметров аппроксимирующей функции.

Метод наименьших квадратов для построения линии регрессии

Обычно при анализе связи между двумя случайными величинами желательно одну из них (скажем, Х) считать независимой, а другую (Y) - зависимой. Задача заключается в установлении такой связи между предиктором Х и предиктантом Y, которая позволила бы получить значения с наименьшей ошибкой.

Простейшим является случай, когда двумерное распределение или точечная диаграмма указывает на линейную связь между Х и Y. Тогда выражение = a + bX будет хорошо удовлетворять исходным данным и будет называться линией регрессии. Прямую регрессии можно провести на глаз так, чтобы она как можно ближе проходила около средних значений различных столбцов (при условии, что Х нанесено по горизонтали, а Y - по вертикали).

Наиболее часто для оценки коэффициентов линии регрессии используется метод наименьших квадратов. Этот метод был разработан в начале XIX в. в трудах Лежандра, Лапласа и Гаусса и применен ими для решения метрологических проблем астрономии и геодезии. Согласно определению, сумма квадратов отклонений отдельных величин Yi от значений, предсказываемых с помощью линии регрессии, является минимальной.

Пусть есть n пар значений случайных величин (Xi, Yi), n > 2. Известно, что между этими случайными величинами существует линейная зависимость = a + bX. Константы этой функции a и b надо определить аналитически. При этом требуется, чтобы разность между отдельными значениями случайной величины Yi и значениями , вычисленными из уравнения, была возможно меньше, т.е. отыскивается наиболее оптимальная функция. Следовательно, рассеяние точек относительно линии регрессии должно быть меньше, чем относительно любой другой прямой.

Коэффициенты регрессии вычисляются по формулам:

, (1)

. (2)

Иногда коэффициентом регрессии называют только угловой коэффициент b

,

т.к. зная его можно определить отрезок a , отсекаемый линией регрессии по оси ординат. При этом используется весьма важное свойство линии регрессии, что она проходит через среднюю точку (центр) двумерного распределения лежащую при значениях и .

, ,

или

(3)

Величины a и b являются статистическими параметрами, полученными из выборки, а не параметрами генеральной совокупности. На практике желательно знать, насколько репрезентативна для будущих данных, взятых из генеральной совокупности, полученная из выборки линия регрессии (т.е. насколько точным будет прогноз, составленный с помощью такого уравнения регрессии). С помощью статистической теории можно показать, в какой степени величины a и b отражают соответствующие параметры генеральной совокупности. В общем, чем больше наблюдений и чем меньше разброс точек относительно линии регрессии, тем надежнее величины a и b.

Степень несогласованности (разброса) наблюдаемых значений случайных величин и линией регрессии может быть оценена с помощью величины дисперсии, определяемой по формуле:

. (4)

Здесь число степеней свободы f = n - 2 , т.к. две степени свободы были использованы для определения параметров прямой.

Обычно вычисление дисперсии производят, пользуясь формулой, большая часть членов в которой подсчитывается при определении параметров линии регрессии:

, (5)

или .

Мы рассмотрели примеры аппроксимации дискретных рядов случайных величин. Можно аппроксимировать и интервальные (сгруппированные) ряды случайных величин. Исходные данные в этом случай группируются с частотами mx,y . На их основе, используя центральные значения каждой градации, рассчитываются групповые параметры Y, X, X2, XY, которые затем используются в формулах (1)-(2) для определения коэффициентов регрессии методом наименьших квадратов. Линия регрессии в этом случае конечно будет хуже отражать закономерности связи по сравнению с дискретными измерениями.

Линейная парная корреляция

Последний этап задачи изучения связей между явлениями - оценка тесноты связи по показателям корреляционной связи. Этот этап очень важен для выявления зависимостей между факторными и результативными признаками, а следовательно, для возможности осуществления диагноза и прогноза изучаемого явления.

Диагноз (от греч. diagnosis распознавание) - определение существа и особенностей состояния какого-либо объекта или явления на основе его всестороннего исследования.

Прогноз (от греч. prognosis предвидение, предсказание) - всякое конкретное предсказание, суждение о состоянии какого-либо явления в будущем (прогноз погоды, исхода выборов и т.п.). Прогноз - это научно обоснованная гипотеза о вероятном будущем состоянии изучаемой системы, объекта или явления и характеризующие это состояние показатели. Прогнозирование - разработка прогноза, специальные научные исследования конкретных перспектив развития какого-либо явления.

Вспомним определение корреляции:

Корреляция - зависимость между случайными величинами, выражающаяся в том, что распределение одной величины зависит от значения другой величины.

Корреляционная связь наблюдается не только между количественными, но и качественными признаками. Существуют различные способы и показатели оценки тесноты связей. Мы остановимся лишь на линейном коэффициенте парной корреляции, который используется при наличии линейной связи между случайными величинами. На практике часто возникает необходимость определить уровень связи между случайными величинами неодинаковой размерности, поэтому желательно располагать какой-то безразмерной характеристикой этой связи. Такой характеристикой (мерой связи) является коэффициент линейной корреляции rxy , который определяется по формуле

,

где , .

Обозначив и , можно получить следующее выражение для расчета коэффициента корреляции

.

Если ввести понятие нормированного отклонения, которое выражает отклонение коррелируемых значений от среднего в долях среднего квадратического отклонения:

, ,

то выражение для коэффициента корреляции примет вид

.

Если производить расчет коэффициента корреляции по итоговым значениям исходных случайных величин из расчетной таблицы, то коэффициент корреляции можно вычислить по формуле

.

Свойства коэффициента линейной корреляции:

1). Коэффициент корреляции - безразмерная величина.

2). |r| 1 или .

3). , a,b = const, - величина коэффициента корреляции не изменится, если все значения случайных величин X и Y умножить (или разделить) на константу.

4). , a,b = const, - величина коэффициента корреляции не изменится, если все значения случайных величин X и Y увеличить (или уменьшить) на константу.

5). Между коэффициентом корреляции и коэффициентом регрессии существует связь:

или .

Интерпретировать значения коэффициентов корреляции можно следующим образом:

Значение r	Характер связи	Интерпретация связи
r = 0	Отсутствует	Линейная связь X и Y отсутствует, но не исключена зависимость нелинейная
r = 1	Функциональная	Каждому значению факторного параметра строго соответствует одно значение результативного признака
0 < r <1	Прямая	С увеличением X увеличивается Y и наоборот
-1 < r <0	Обратная	С увеличением X уменьшается Y и наоборот

Количественные критерии оценки тесноты связи:

Величина коэффициента корреляции	Степень связи
|r| < 0.3	Практически отсутствует
0.3 < |r| < 0.5	Слабая
0.5 < |r| < 0.7	Умеренная
0.7 < |r| < 1	Сильная

В прогностических целях обычно используют величины с |r| > 0.7.

Коэффициент корреляции позволяет сделать вывод о существовании линейной зависимости между двумя случайными величинами, но не указывает, какая из величин обуславливает изменение другой. В действительности связь между двумя случайными величинами может существовать и без причинно-следственной связи между самими величинами, т.к. изменение обеих случайных величин может быть вызвано изменением (влиянием) третьей.

Коэффициент корреляции rxy является симметричным по отношению к рассматриваемым случайным величинам X и Y . Это означает, что для определения коэффициента корреляции совершенно безразлично, какая из величин является независимой, а какая - зависимой.

Значимость коэффициента корреляции

Даже для независимых величин коэффициент корреляции может оказаться отличным от нуля вследствие случайного рассеяния результатов измерений или вследствие небольшой выборки случайных величин. Поэтому следует проверять значимость коэффициента корреляции.

Значимость линейного коэффициента корреляции проверяется на основе t-критерия Стьюдента:

.

Если t > tкр (P, n-2), то линейный коэффициент корреляции значим, а следовательно, значима и статистическая связь X и Y.

Можно рассчитать значение критического коэффициента корреляции

.

Для удобства вычислений созданы таблицы значений доверительных границ коэффициентов корреляции для различного числа степеней свободы f = n-2 (двусторонний критерий) и различных уровней значимости = 0,1; 0,05; 0,01 и 0,001. Считается, что корреляция значима, если рассчитанный коэффициент корреляции превосходит значение доверительной границы коэффициента корреляции для заданных f и .

Для больших n и = 0,01 значение доверительной границы коэффициента корреляции можно вычислить по приближенной формуле

.

Размещено на Allbest.ru