Критерии согласия. Статистическое оценивание в лесном хозяйстве

Размещено на http: //www. allbest. ru/

Критерии согласия. Статистическое оценивание в лесном хозяйстве



План

1. Критерии согласия

2. Критерий согласия Пирсона

3. Критерий согласия Колмогорова-Смирнова

4. Применение статистического оценивания в лесном хозяйстве



1. Критерии согласия

статистический лесной пирсон вариационный

Статистические критерии являются важнейшей частью оценивания рядов распределения. Во многих случаях на основании некоторых гипотез или каких-то данных делается предположение о виде законов распределения интересующей нас случайной величины Х. Мы часто имеем опытные данные в виде эмпирических дискретных рядов распределения, которые аппроксимируем некоторой кривой распределения: нормальной, типа А, в- распределения, логнормальной, Пуассона и т.д. Но здесь без дополнительных исследований нельзя утверждать, что примененная для аппроксимации кривая отвечает имеющемуся закону распределения искомой случайной величины Х.

Например, сделав перечет диаметров деревьев, мы в зависимости от возраста древостоя, его происхождения, густоты, условий произрастания можем аппроксимировать эмпирическое распределение разными кривыми. Заранее нельзя с полной уверенностью заявить, которое распределение соответствует нашему ряду распределения замеренных диаметров. Поэтому появляется потребность проверить соответствие теоретического распределения опытным данным.

В силу ограниченного числа наблюдений теоретическая кривая будет в какой-то мере отличаться от фактического распределения опытных данных, даже если предположение о законе распределения сделано правильно. В связи с этим возникает необходимость решать следующую задачу: является ли расхождение между опытным законом распределения и предполагаемым законом распределения следствием ограниченного числа наблюдений, т.е. зависит от случайных причин, существенно не влияющих на характер распределения, или оно является существенным и связано с тем, что действительное распределение случайной величины отличается от предполагаемого. Для решения поставленной задачи служат критерии согласия.

Идея этих критериев заключается в том, что на основании определенного статистического материала они позволяют проверить гипотезу Н, состоящую в том, что случайная величина Х имеет функцию распределения F(х).

Для того чтобы принять или опровергнуть гипотезу Н, будем рассматривать случайную величину Y, характеризующую степень расхождения теоретического и статистического распределений. Величину Y можно выбирать различными способами. Например, в качестве Y можно взять максимальное отклонение статистической функции распределения F*(х). Очевидно, закон распределения случайной величины Y зависит от закона распределения случайной величины Х, над которой производились опыты, и от числа опытов n.

Предположим, что закон распределения случайной величины нам известен. Тогда пусть в результате проведенных n опытов над случайной величиной Х величина Y приняла некоторое значение y. Спрашивается, можно ли объяснить принятое значение Y=y случайными причинами или же это значение слишком велико и указывает на наличие существенной разницы между теоретическим и статистическим распределениями, т.е. непригодность гипотезы Н.

Для ответа на этот вопрос допустим, что верна гипотеза Н, и вычислим вероятность того, что случайная величина Y за счет случайных причин, связанных с ограниченным объемом опытного материала, примет значение не меньше, чем наблюдаемое значение y, т.е. вычислим вероятность Р( Y ? y). Если эта вероятность мала, то гипотезу Н следует опровергнуть как мало правдоподобную, а если же эта вероятность значительна, то экспериментальные данные не противоречат гипотезе Н.

Для вычисления вероятности Р(Y?y) необходимо знать закон распределения случайной величины Y, который, как мы уже отмечали, зависит от закона распределения случайной величины Х (функции распределения F(х)) и от числа опытов N. Оказывается, что при некоторых способах выбора случайной величины Y ее закон распределения при достаточно большом N практически не зависит от закона распределения случайной величины Х. Именно такими мерами расхождения и пользуются в математической статистике и в биометрии в качестве критериев согласия, по которым оценивают соответствие распределения, полученного в опыте, теоретическому.

Критерии согласия можно разделить на две группы: в первой не используют значения выборочных статистик, во второй - критерии строят с использованием параметров генеральной совокупности, т.е. оценок последних на основе статистик. Из критериев второй группы наиболее интересны критерии Колмогорова-Смирнова и щ2 для сравнения выборочной и теоретической функций распределения. Однако использование статистик вместо параметров, которые неизвестны в задачах аппроксимации, обычно приводит к завышению (иногда значительному) вероятностей согласия.

Из параметрических критериев наиболее употребляем и научно обоснован критерий согласия Пирсона.

2. Критерий согласия Пирсона

Этот критерий был предложен К. Пирсоном в 1900 году. Он базируется на определении некоторой статистики, которую автор определил как . Опустим доказательства для обоснования величины , которые сводятся к исследованию распределения случайной величины с н-степенями свободы, в силу краткости курса лесной биометрии. Здесь же отметим, что критерий представляет сумму отношений между квадратами разностей эмпирических и вычисленных или ожидаемых частот к ожидаемым частотам:



. (1)

Здесь ? - знак суммирования; р - эмпирическая частота;

рЧ - ожидаемая или теоретически вычисленная частота.

Если разность между эмпирическими и вычисленными частотами обозначить через d, т.е. принять р - р? = d, то формула (1) приобретает более простой вид:

. (2)

Чтобы вычислить критерий хи - квадрат, необходимо каждое отклонение эмпирического ряда от его ожидаемого значения возвести в квадрат и разделить на величину ожидаемого значения, затем полученные результаты сложить.

Когда эмпирические и вычисленные численности полностью совпадают друг с другом, разность

р - р? = d

равна нулю. Чем больше различия между наблюдаемыми и ожидаемыми численностями, тем больше и указанная разность, а следовательно, и величина критерия хи - квадрат, которая может возрастать до бесконечности. Поскольку различия между ожидаемыми и эмпирическими частотами возводятся в квадрат, то значения критерия хи - квадрат могут быть только положительными. Поэтому при установлении разности



р - р? = d

знаки можно не учитывать.

Преимущественное значение этого критерия состоит в том, что он применим к оценке опытных и ожидаемых значений в самых различных случаях - как при сравнении данных по одному, так и по нескольким независимым признакам, а также и для сравнения данных опыта и контроля. Особенно часто критерий хи-квадрат используется в генетике для сравнительной оценки результатов расщепления. Находит свое широкое применение этот критерий во многих областях лесного хозяйства, в частности, в лесной таксации.

Критерием «хи-квадрат» часто руководствуются для оценки выборочных распределений с их теоретически вычисленными частотами. Методика расчета теоретических значений эмпирических частот вариационного ряда изучена нами ранее.

Критерий согласия Пирсона для сравнения рядов распределений определяют по одной из эквивалентных формул, первую из которых применяют при сравнении эмпирических ni и теоретических частот, вторую - частостей и вероятностей рi,

, (3)

где N - общее число наблюдений;

m - количество сравниваемых групп частот.

Критические значения берут по таблицам (приложение Н) с учетом числа степеней свободы (V).

Если верна нулевая гипотеза Н0, заключающаяся в том, что распределение в генеральной совокупности соответствует выбранному теоретическому закону распределения, т.е. Н0 : > 0 (против альтернативной, или рабочей = 0, - проверку проводят одностороннюю. Так как не может быть отрицательным, то величина из (3) асимптотически подчиняется распределению

с н = m - l - 1 степенями свободы,

где l - число параметров, использованных при расчете теоретического распределения. Количество параметров (l) зависит от вида распределения. Для распределений, которые наиболее часто применяются в лесном хозяйстве, число параметров следующее:

- распределение Пуассона - 1 ();

- нормальное, логнормальное, биномиальное - 2 (, у);

- обобщенное нормальное (типа А или Грамма-Шарлье), Вейбула, система кривых Пирсона или Джонсона - 4 (, у, б, Е).

Из разности m - l вычитают единицу, поскольку одна дополнительная связь накладывается на частоты, чтобы суммы частот выборочного и теоретического распределений были равными.

Вывод распределения критерия получают при условии, что все из сравниваемых частот не очень малы, поэтому при использовании (3) частоты ni должны быть больше 5, т.е. ni > 5. В связи с этим в практических задачах для одновершинных распределений, сходных с нормальным, частоты крайних интервалов рядов распределения нужно объединять. Отсюда следует, что одним из недостатков критерия является его малая чувствительность к отклонениям частот для крайних значений.

Второй его недостаток - зависимость от способа группировки частот. В некоторых работах по математической статистике утверждается, что лучшие результаты дает использование вместо интервалов равной длины интервалов равных вероятностей. Последний способ пока не привился в практике из-за усложненной сводки материалов, т.к. необходимо рассматривать упорядоченную по возрастающим значениям случайных величин выборку. Однако, несмотря на приближенный характер критерия , он удобен и достаточно надежен для получения обоснованных заключений в задачах для лесного хозяйства.

Порядок применения обычен. По (2) вычисляют статистическую характеристику критерия выч и сравнивают ее с табличным (критическим) значением 1-б (г) при уровне значимости б. Если выч < 1-б (г), то гипотезу принимают, т.е. можно считать, что эмпирический ряд подчиняется выбранному закону распределения.

При выборе величины б следует проверять гипотезу Н0 на тот предмет, что между выборочным и теоретическим рядами нет существенных различий, т.е. ошибка 1-го рода заключается в том, что в действительности имеющееся согласие признается ложным. Тогда ошибка 2-го рода сводится к тому, что, хотя в действительности ряд распределения не подчиняется данному теоретическому закону, критерий признает согласие. В этом случае ошибка 2-го рода более важна, чем ошибка 1-го рода, т.е. при формулировке гипотезы о согласии мы отступили от правил, изложенных выше. Однако здесь «поменять местами» Н0 и Нр невозможно, так как существуют разные теоретические законы распределения, по которым можно получить практически одинаковые частоты - значения . Поэтому вычисление мощности критерия согласия не имеет большого практического значения и обычно не производится, а уровень значимости выбирают относительно большим, чтобы уменьшить вероятность ошибки 2-го рода. Для задач в лесном хозяйстве можно рекомендовать б = 0,1 или даже 0,2.

Приведем пример применения критерия согласия .

Возьмем распределение диаметров в древостое дуба (таблица 10.9), которое попытаемся аппроксимировать кривой нормального распределения.

Вычислим выравнивающие частоты для этого ряда распределения (схема вычислений описана в главе 5). В таблице 1 приведена схема нахождения по данным о численностях - фактическим и аппроксимированным кривой нормального распределения, и показана схема нахождения .

Таблица 1 Схема вычисления для распределения 238 диаметров в древостое дуба

Ступени толщины xi	Численности		()2	= =	Проверка
	фактические, ni	теоретические,
1	2	3	4	5	6	7
? 16	12	10	2	4	0,4	14,40
20	21	18	3	9	0,4	24,50
24	30	33	-3	9	0,3	27,27
28	44	45	-1	1	0,0	43,02
32	54	48	6	36	0,7	60,75
36	35	37	-2	4	0,1	33,11
40	23	24	-1	1	0,1	22,04
? 44	19	20	1	1	0,1	18,05
?	238	235	3	69	2,1	243,14

В таблице 1 мы величины численности ?5 объединили с соседними значениями, о чем было сказано выше.

Вычисленный критерий равен 2,1. Колонка 7 служит для контроля. При условии, если , то

= (4)



должен быть равен вычисленному по схеме таблицы 1. Поскольку у нас , то следует внести поправки, тогда формула приобретет вид

= (5)

Для нашего примера

= 243,14 - 238 - 3 = 2,1.

Сравним найденный критерий =2,1 с его табличным критическим значением (б) для разных уровней значимости (б), взятых из специальной таблицы (приложение Н). Число степеней свободы у нас равно: m-l-1 = 8-2-1 = 5. Для г=5 имеем б0,9 = 9,24; б0,8 = 7,29; б0,5 = 4,35; б0,2 = 2,67; б0,1 = 1,62; б0,05 = 1,15 и т.д. Следовательно, по критерию наш ряд распределения диаметров в древостое дуба соответствует нормальной кривой Гаусса-Лапласа с вероятностью более 80% (примерно 85-86%).

Рассмотренные выше критерии (t-критерий Стьюдента, ) вводились в предположении, что выборки взяты из нормально распределенной генеральной совокупности, а сами наблюдения независимы. Между тем во многих практических случаях распределение случайной величины неизвестно, а в некоторых - известно то, что оно не соответствует кривой нормального распределения. Поэтому нам надо знать, какие отклонения от нормальности не искажают заключений, получаемых при помощи критериев, и как улучшить условия их применения. Не приводя системы доказательств по причинам, отмеченным выше (краткость курса изучаемой дисциплины), скажем лишь следующее.

В целом, критерии, относящиеся к средним генеральной совокупности (t-критерий Стьюдента), достаточно нечувствительны к отклонениям от нормальности распределений, особенно, если последние не очень асимметричны. Критерии, относящиеся к дисперсиям и F, наоборот, очень чувствительны, при этом отклонения от нормального эксцесса играют гораздо большую роль, чем отклонения от симметричной формы. Применение критериев о дисперсии требует осторожности и проверки исходного распределения на нормальность, особенно при малых выборках. Если не подтверждается гипотеза о нормальности, то хорошие результаты дает применение преобразования распределений в нормальные. Так, если необходимо выровнять дисперсии выборок с приближенно равными коэффициентами изменчивости, то хорошие результаты дает логарифмическое преобразование

y = lnx.

Преобразование Джонсона хороший пример преобразования к нормальному виду. Для распределений, близких биномиальному, хорошие результаты дает преобразование

,

для пуассоновского

или

(для малых значений), для распределений со значительной левой асимметрией преобразование Фишера

и т.д.



Одним из критериев для проверки отклонения от нормальности (в случае больших выборок) могут служить основные ошибки асимметрии и эксцесса. В соответствии со стандартными методами распределение следует считать приближенно нормальным, если

б /mб <2 и Е/mЕ< 2.

Для более точного суждения о значимости б и Е в зависимости от уровня значимости и числа наблюдений можно использовать специальные таблицы для б (приложение О) и Е (приложение П). При пользовании этими таблицами надо иметь в виду, что распределение б симметрично, т.е. (1- б) = -(б) при данном N. Так, если б = 0,05, а выборочные значения б < 0,389 и Е < 0,77 при N = 100, то гипотезу о нормальности распределения принимают.

Для вышеприведенного примера с распределением 238 стволов дуба по диаметру и высоте (глава 10) мы получили следующие величины.

Для ряда распределения диаметров:

=30,7; у=1,9; =7,6; v=24,7%; б=-0,01; Е=-0,44;

=0,49; mу=0,09; =0,35; mб=0,39; mE=0,78.

Для ряда распределения высот:

=25,0; у=1,7; =3,4; v=13,6%; б=-0,79; Е=0,35;

=2,21; mу=0,078; =1,56; mб=0,39; mE=0,78.

В нашем случае:

; ;

; .

На основе проведенных вычислений можем утверждать, что распределение диаметров соответствует нормальному закону (это подтверждается критерием согласия ), а распределение высот этому распределению не отвечает.

Величина критических значений б и Е (приложение О, П, Р) для распределения диаметров и высот (объем совокупности, от которой зависят в1 и в2, одинаков) в1 = 0,246; в2 = 0,55. Величины в1 и в2 подтверждают сделанный выше вывод о соответствии кривой нормального распределения ряда распределения по диаметру и отклонению от него (по б) для ряда высот.

3. Критерий согласия Колмогорова-Смирнова

Сравнительную оценку двух однородных вариационных рядов, как и сопоставление частот эмпирического и вычисленного распределений, можно произвести и с помощью так называемых непараметрических, или порядковых, критериев. В отличие от критерия хи-квадрат и критерия t Стьюдента, применение которых основано на использовании выборочных характеристик (параметров) и у, при вычислении непараметрических критериев этого не требуется. Но для их применения необходимо упорядочение в виде кумуляции эмпирических и теоретических распределений, т.е. получение рядов накопленных частот.

Для непараметрических критериев характерно то, что они в равной мере пригодны для оценки выборочных распределений любого вида, тогда как применение параметрических критериев исходит из положения о нормальности распределения оцениваемых рядов.

Один из наиболее простых и удобных при сопоставлении эмпирических совокупностей большого объема - критерий, предложенный советскими математиками А.Н. Колмогоровым (1903-1987) и Н.В. Смирновым (1900-1966). Этот непараметрический показатель, обозначаемый греческой буквой л (лямбда), представляет собой максимальную разность (dmax) между значениями накопленных частот эмпирического и вычисленного рядов (без учета знаков d), отнесенную к корню квадратному из суммы всех вариант совокупности:



. (6)

В отличие от критерия хи-квадрат критерий «лямбда» не только прост по конструкции, но не требует и специальных таблиц, хотя такие таблицы имеются (приложение С) и применяются при уточненных расчетах, но пользуются ими редко. Для упрощенной оценки критерия Колмогорова-Смирнова используют предельные значения критерия лямбда, соответствующие трем уровням доверительной вероятности - Р1 = 0,95, Р2 = 0,99 и Р3 = 0,999, которые соответственно равны 1,36, 1,63 и 1,95. Этот вывод вытекает из следующего расчета. Предельное значение критерия

,

где Р - соответствующий уровень значимости. Если принять Р1=0,05, то . При Р2=0,01 л=1,63 и т.д. При вычислении критерия «лямбда» отпадает необходимость определения числа степеней свободы.

В тех случаях, когда сравниваются два эмпирических распределения, взятых из одной и той же генеральной совокупности, но имеющих разный объем, критерий «лямбда» вычисляется по следующей формуле:

dmax (7)

Здесь

dmax = ,



т.е. эта максимальная разность между значениями первого и второго рядов накопленных частот.

Вычисление критерия Колмогорова-Смирнова продемонстрируем на примере распределения 238 диаметров в дубовом древостое (таблица 10.9). Результаты приведены в таблице 2

Таблица 2 Вычисление критерия л для распределения 238 диаметров дуба, аппроксимированных кривой нормального распределения

Ступени толщины (разряды) хi)	Численности	Накопленные частоты (Pi)	d = Рф - Рт
	Фактические (ni)	выровненные	Фактические Pф	Теоретические Рт
12	3	3	3	3	0
16	9	7	12	10	2
20	21	18	33	28	5
24	30	33	63	61	2
28	44	45	107	106	1
32	54	48	161	154	7
36	35	37	196	191	5
40	23	24	219	215	4
44	17	16	236	231	5
48	2	4	238	235	3
Сумма	238	235	-	-	-

Максимальная величина разности

d = Рф - Рт

(без учета знаков) равна 7. Тогда

.



Полученная величина л (0,45) значительно меньше его предельного значения (1,36) для P=0,05. Таким образом, можно утверждать, что расхождения между теоретически вычисленными частотами (по кривой нормального распределения) и фактическими носят случайный характер, и наш ряд распределения можно описать с помощью кривой Гаусса-Лапласа (нормального распределения).

Теперь рассмотрим пример, когда сопоставлены два ряда распределения, и необходимо оценить, принадлежат ли они к одной генеральной совокупности. Для этого сравним данные замеров диаметров на 2 пробных площадках, заложенных в двадцатитилетних сосновых насаждениях в типе леса сосняк мшистый II класса бонитета, различных по происхождению: естественный древостой и лесные культуры. При этом объемы выборок отличаются (таблица 3).

Вычисление л проводится по формуле (7):

dmax

л =.

Вычислить л можно также по формуле

;

,

т.е. получили одинаковые величины в пределах точности округлений.



Таблица 3 Вычисление критерия Колмогорова-Смирнова для двух пробных площадей, заложенных в сосновых молодняках

Ступени толщины (классовые промежутки) (xi)	Численности	Частоты	Накопленные частоты	di =	max di
	л/к	естеств.			?Pi1	?Pi2
2	-	86	-	0,198	-	0,148	-	-
4	61	98	0,191	0,225	0,191	0,423	0,232	0,232
6	76	102	0,237	0,235	0,428	0,658	0,230	-
8	91	69	0,284	0,150	0,712	0,816	0,104	-
-10	46	35	0,144	0,080	0,856	0,896	0,040	-
12	29	27	0,091	0,062	0,947	0,958	0,011	-
14	17	12	0,053	0,027	-	0,985	-	-
16	-	5	-	0,015	-	1,000	0	-
?(N)	320	434	1,000	1,000	-	-	-	-

Анализ вычисленного значения л показывает, что сравниваемые совокупности принадлежат к разным генеральным совокупностям, и описываются различающимися кривыми: л=3,15>2,1, т.е. достоверность различий превышает 99% уровень. Это соответствует материалам, приводимым многими учеными, которые исследовали строение искусственных и естественных сосновых молодняков: И.И. Григалюнас, В.Ф. Багинский, В.С.Моисеев, А.А.Макаренко и другие.

Из опыта применения критериев л и следует, что критерий Колмогорова-Смирнова менее чувствителен, чем . В спорных случаях (при граничных значениях) л обычно подтверждает соответствие теоретическому распределению, а может это утверждение опровергать. В этом случае исследователь в силу своей классификации, особенностей задачи, ее важности и сложности принимают нулевую или альтернативную (рабочую) гипотезу.

При применении критерия л непременным условием применения должно быть относительно большое число (не менее 100) наблюдений. Поэтому простой по своей конструкции, он не приложим к оценке малочисленных совокупностей.

4. Применение статистического оценивания в лесном хозяйстве

Статистические критерии находят широкое применение в лесном хозяйстве, особенно при проведении научных исследований. Про применение t-критерия Стьюдента и F-критерия Фишера уже описано в главе 10.

Критерии согласия используют при многочисленных исследованиях товарности древостоев. Товарность насаждения зависит от многих факторов (их изучает лесная таксация и древесиноведение), но одним из главных являются закономерности распределения числа стволов по ступеням толщины в зависимости от среднего диаметра древостоя. Для того, чтобы убедиться, что распределение выбрано верно, применяют критерии согласия и л. Ошибка в выборе верного распределения может дорого стоить в прямом смысле этого слова, т.к. товарность древостоя определяет цену 1 м3 и стоимость древостоя на выделе.

Критерии согласия используют также для оценки относительной однородности разных выборок.

Это часто имеет значение для доказательства принадлежности древостоев на разных пробных площадях к одной или разным генеральным совокупностях как в примере, представленном выше.

Такое сравнение важно при подборе серии пробных площадей, закладываемых с разными целями в древостоях примерно одинакового возраста, но отличающихся происхождением, полнотой и густотой, режимом ухода, проведенными мелиоративными мероприятиями и т.д.

Заканчивая рассмотрение про статистическое оценивание приведем основные статистические оценки в компактном виде для удобства пользователя.

Ошибка среднего значения

, где

- среднее квадратическое отклонение

Ошибка среднего квадратического отклонения

Ошибка коэффициента вариации

или

Ошибка асимметрии

Ошибка эксцесса



Точность опыта

Количество наблюдений при заданной точности

Достоверность вывода

Ошибка суммы средних величин ()

Средняя ошибка разности двух средних величин при

N1=N2

при N1 ? N2



Ошибка произведения средних величин

Средняя ошибка частного средних величин

Оценка существенности различий между средними

t - критерий достоверности

Достоверность различия между дисперсиями

, где

р - эмпирические частоты

рґ - теоретические частоты



, где

Ni - объем ряда распределения

pi - накопленные частоты

Размещено на Allbest.ru