Дисперсионный анализ

Размещено на http://www.allbest.ru/

ДИСПЕРСИОННЫЙ АНАЛИЗ



1. Понятие о дисперсионном анализе

При проведении исследований часто надо определить, насколько существенно влияние одного или нескольких факторов на конечный результат. Не всегда здесь можно применить регрессионный анализ с получением разного вида моделей. Наиболее часто такие проблемы возникают в генетике, лесной селекции, лесовосстановлении, лесной энтомологии и в других областях лесной науки. В этом случае необходимо проводить статистический анализ результатов наблюдений, зависящих от разных одновременно действующих факторов, делать выбор этих факторов и оценку “силы” их влияния.

Основой решения перечисленных вопросов является изучение стабильности и однородности дисперсий изучаемого признака и разложение ее на составляющие, порожденные действием рассматриваемых факторов. Некоторые из факторов, меняющиеся в эксперименте или наблюдении (например, порода деревьев, тип леса, цвет желудей и пр.), могут быть качественными, другие количественными. Количественными величинами обычно выражают параметры деревьев и древостоев: высота, диаметр, запас древостоя и т. д. В то же время некоторые из этих показателей могут выражаться и качественными признаками, например деревья крупные, мелкие или деревья первой, второй, третьей величины и т. д.

В зависимости от соотношения между количественными и качественными факторами применяют один из трех достаточно близких по идеям и математическому аппарату методов анализа: регрессионный, дисперсионный и ковариационный. В регрессионном анализе подход количественный, в дисперсионном все факторы рассматривают как качественные; в ковариационном анализе часть факторов изучают как количественные, другую часть - как качественные.

Сказанное не означает, что в дисперсионном анализе факторами не могут быть количественные переменные - применение дисперсионного анализа к количественным факторам при обработке лесоводственной информации встречается повседневно. Однако заключение о влиянии факторов делают на качественной основе: проверяют гипотезу о влиянии данного фактора при выбранном уровне значимости. Если изучают влияние одного меняющегося фактора, то дисперсионный анализ называют однофакторным, двух - соответственно двухфакторным и т.д.

Для характеристики основных типов моделей, встречающихся в дисперсионном анализе, рассмотрим два реальных примера.

В первом примере допустим, что в вегетационных опытах испытывали влияние двух уровней радиоактивного загрязнения почвы цезием-137 на рост и развитие сеянцев сосны, ели, дуба и березы. Методами дисперсионного анализа требуется оценить влияет ли порода и уровень загрязнения цезием-137 на интенсивность роста.

Во втором случае из совокупности спелых сосновых одновозрастных древостоев Гомельской области отобрано случайным образом 50 насаждений, для которых определены средняя высота и средний коэффициент формы q₂. Требуется установить, влияет ли средняя высота древостоя на величину q₂.

При схожести в общей постановке вопроса ситуация в примерах существенно различается. В первом примере факторы представляют собой фиксированные, постоянные величины. Исходные данные для анализа можно здесь рассматривать как выборку из бесчисленного множества опытов над конкретной породой с данными плотностями радиоактивного загрязнения. Во втором - изучаемый фактор (средняя высота) сам является случайной величиной, а выбранные для исследования насаждения могут рассматриваться как случайная выборка из всех сосновых древостоев не только данной области, но и всей Беларуси.

Аналогично приведенным примерам возможны три основные модели дисперсионного анализа: с фиксированными (постоянными) факторами, со случайными и со смешанными, т.е. когда часть факторов постоянна, а другая - случайная. Общая теория разработана для модели, названной первой. Для двух остальных в сложных задачах не всегда можно найти приемлемую теоретическую схему. Правда, в большинстве практических случаев для всех трех моделей можно применять одинаковые вычислительные схемы и оценки. К тому же во многих задачах, возникающих в лесном хозяйстве, можно ограничиться первой моделью. Пример по оценке влияния высоты на q₂ целесообразно использовать в модели с постоянными факторами: сначала зафиксировать некоторые значения (уровни) высот, а затем по ним выбирать насаждения.

Сущность дисперсионного анализа. Дисперсионный, или вариансный, анализ (analysis of variance) представляет собой в настоящее время самостоятельную и очень важную главу биологической статистики. Сущность его заключается в установлении роли отдельных факторов в изменчивости того или иного признака.

Дело в том, что влияние тех или других факторов на изучаемый признак (или признаки) никогда не может быть выделено в чистом виде. Хотя при проведении опытов и стараются сохранить условия максимально однородными, все же различные опыты дают несколько неодинаковые результаты. Объясняется это тем, что на них влияют многочисленные случайные обстоятельства, и другие факторы, меняющиеся от опыта к опыту и не поддающиеся контролю. Тем более велика роль таких дополнительных неконтролируемых факторов при проведении анализа не в экспериментальных условиях, а при изменениях непосредственно в лесу.

Поэтому возникает задача разложения общей изменчивости признака на составные части: с одной стороны, определяемые изучаемыми конкретными факторами, а с другой -- вызываемые случайными, неконтролируемыми причинами. Дисперсионный анализ позволяет оценивать значимость влияния отдельных факторов, а также их относительную роль в общей изменчивости.

Методы дисперсионного анализа были разработаны английским математиком и биологом Р.Фишером и применялись первоначально главным образом для анализа результатов опытов в растениеводстве и в животноводстве. Для различных схем опытов были разработаны соответствующие схемы дисперсионного анализа. Однако в дальнейшем выявилась полная возможность использования дисперсионного анализа как при изучении биологического материала, взятого из природы, так и любых экспериментальных данных, в том числе и в лесном хозяйстве. Поэтому описание дисперсионного анализа приводится во всех учебниках по биометрии. Наиболее полными здесь являются работы К.Е. Никитина и А.З. Швиденко, П.Ф. Рокицкого, Н.Н. Свалова, на которые мы будем опираться в изложении настоящей главы.

Общие предпосылки. Представим себе, что мы анализируем отклонение некоторой случайной величины (или нескольких случайных величин) от средней арифметической. Исследуемым объектом пусть будет популяция деревьев сосны. При этом считаем, что отклонение от среднего значения () в некоторой степени связано с действием на данную величину какого-то определенного фактора, например географического, т.е. его влияние может быть выражено в принадлежности к некоторому типу роста. Тогда

х - = А + С

где -- средняя арифметическая популяции;

х -- конкретное значение переменной (варианта);

А--доля отклонения переменной, связанная с влиянием данного конкретного фактора;

С -- остаточная часть отклонения, не объяснимая влиянием данного фактора. Это смесь всех неконтролируемых и неопределенных факторов, иначе говоря, результат случайных отклонений.

Очень важно, что в фактическом отклонении варианты (переменной) от средней фигурируют 2 компонента:

а) та часть отклонения, которая зависит именно от данного фактора, т. е. по нашей символике - А

б) остаточная часть, не зависящая от данного фактора - С

В таком случае можно сравнить значения А и С.

При достоверном влиянии изучаемого фактора значение А будет в достаточной степени превышать значение С. По степени превышения А над С можно судить о том, насколько достоверно влияние фактора, А.

Приведенную общую схему, относящуюся к отдельному отклонению, можно перенести на вариацию многих вариант, т. е. выразить степень вариации дисперсий через величину

= +

т. е. общая дисперсия равна сумме 2 дисперсий, а именно определяемой вариацией фактора А, и дисперсии, определяемой другими, неконтролируемыми (случайными) причинами - С.

Более сложный случай -- отклонение переменной х от средней арифметической популяции под влиянием 2 причин: влияния факторов А и В. Например, фактором А для наших деревьев сосны может быть географический район, т. е. влияние местности, а фактором В -- класс роста.

Тогда

х - = А + В + АВ + С

Здесь А -- доля отклонения, связанная с влиянием фактора А;

В -- доля отклонения, связанная с влиянием фактора В;

АВ -- доля отклонения, связанная с влиянием не отдельных

факторов А и В, а их взаимодействия;

С--остаточная, случайная часть отклонения.

В значениях дисперсий общая дисперсия может быть представлена как

= + + +

При большом числе факторов схему можно усложнять и дальше. Так, при 3 факторах

х - = А + В + C + АВ + BC + AC + ABC + С

А, В, С--главные факторы;

АВ, ВС и AC -- взаимодействие первого порядка;

АВС--взаимодействие второго порядка.

Аналогично можно выразить изменчивость вариант в дисперсиях (²) и среднеквадратических отклонениях - .

Нетрудно заметить, что сказанное выше непосредственно связано с тем, что изложено в разделе, когда описывали дисперсии.

Градации факторов и их характер. Обычно каждый изучаемый в эксперименте фактор А имеет не одно, а несколько значении, которые называют градациями или уровнями фактора А. В пределах же каждого уровня отдельные переменные (варианты) принимают разные значения, т.е. наблюдается случайная вариация. То же относится и к более сложным случаям, когда в общей изменчивости участвует несколько факторов, каждый из которых может иметь свои уровни. Проводя дисперсионный анализ влияния различных факторов, следует иметь в виду различный характер уровней факторов. В одних случаях эти уровни фактически точно установлены. Например, изучая влияние сезонов года, выделяют зиму, весну, лето, осень. Внешние условия этих сезонов года строго фиксированы.

С другой стороны, могут быть такие факторы, уровни которых не являются точно фиксированными или которые имеют вообще все возможные случайные градации. Так, например, среди факторов, влияющих на плодоношение дубовых деревьев является возраст насаждения, его полнота, условия погоды (особенно поздние весенние заморозки) и многое другое. Но каждому из этих признаков свойственна своя вариация и достаточно большая Такие факторы называют случайными, понимая под этим только то, что случайными могут быть разные их уровни. Впрочем, надо иметь в виду, что случайные уровни некоторых из них тоже можно сделать фиксированными.

Отсюда следует, что возможны очень разные схемы или модели дисперсионного анализа. Они могут различаться по числу анализируемых факторов (одно-, двух-, трехфакторные и т. д.), по характеру градаций внутри факторов: с фиксированными факторами, со случайными или смешанные схемы.

Есть так называемые иерархические модели, которые широко используются в лесоводстве. В этом случае уровни одного фактора не располагаются случайно среди уровней других факторов, но связаны с ними иерархически. Так, в лесоводстве, изучая леса, мы выделяем роды, виды, подвиды древесных растений. Но в пределах некоторых географических районов деревья даже одного вида могут иметь разный рост в зависимости от количества тепла, осадков и преобладающих почв. Подрбные схемы будут рассмотрены ниже.

При наличии единых общих принципов конкретные методы дисперсионного анализа будут зависеть от того, с какой схемой расположения материала приходится иметь дело.

Таким образом, весь изучаемый материал может быть разбит на ряд групп, различающихся как по отдельным факторам, так и по их градациям. Изучение методами дисперсионного анализа вариации внутри этих групп, между группами и, наконец, вариации всего материала в целом дает возможность установить, влияют ли данные факторы на изменчивость или нет и какие из них имеют больший удельный вес в общей изменчивости.

Нулевая гипотеза. Как и в других случаях статистического анализа, при дисперсионном анализе следует исходить из первоначально принимаемой нулевой гипотезы, а именно: что данный фактор А (или В, или С и т.д.) не влияет. Если правильна нулевая гипотеза, должна быть равна нулю (то же относится к , и т.д.), т. е. вся вариация сводится только к случайной.

Для того чтобы отбросить нулевую гипотезу, нужно доказать, что достоверно (т. е. с вероятностью не меньшей чем 0, 95, или с уровнем значимости 0, 05) отличается от нуля. Достоверность значения может быть установлена, как это обычно делают по отношению к любому статистическому показателю, т. е. путем деления его на его ошибку, т. е. , где показывает уровень достоверности.

Простейшая схема варьирования при различии по одному фактору. Для того чтобы понимать смысл расчетов при дисперсионном анализе, очень важно с самого начала ясно представлять возможную вариацию в тех группах, на которые разбивается фактический материал.

Разберем простейшую схему, когда анализируется влияние только одного фактора, могущего принимать разные градации, или количественные уровни:

1, 2, ..., i, ..., а

Отдельные наблюдения (варианты) разбиваются на группы согласно этим градациям фактора, изучаемого в опыте или при наблюдениях в природе. Важно, что изучаемый фактор только один, например: вид удобрения, вносимого в питомнике, или принадлежность к разным древесным видам, или влияние радиоактивного загрязнения, или роль способов обработки почвы и т. д. При наличии двух или нескольких факторов потребуются более сложные схемы.

Распределение вариант при различии по одному фактору представлено в таблице 1.

Таблица 1 - Схема варьирования при различии групп по одному фактору

Группы	Отдельные варианты (наблюдения) хij	Суммы	Средние
по одно	1	2	3	..	j	..	n	по груп-	по груп-
му фак-								пам	пам i
тору
1	х11	х12	х13		х1j		х1n	x1=T1	1
2	х21	х22	х23		х2j		х2n	x2=T2	2
:
:
i	хi1	хi2	хi3		хij		хin	xi=Ti	i
:
:
а	хa1	хa2	хa3		хaj		хan	xa=Ta	a
								xij=T

Число наблюдений (вариант) в каждой группе n, но равное число в группах не обязательно. При неравном числе можно исходить из среднего числа n_i.

N = an (=an_i)

Обычно разные уровни принято обозначать буквой i, а отдельные варианты (наблюдения) -- буквой j. Поэтому каждую варианту, независимо от того, где она находится, можно обозначать в общем виде как х_ij. В пределах каждого уровня (группы) отдельные варианты принимают случайные значения:

x._i, х.₂, х._з, ..., х._j, ..., х._n

Суммы вариант по каждой группе (в графе «суммы по группам») обозначены буквами T₁, Т₂, ..., T_i, ..., T_a. В общем виде их можно обозначить T_i. Общая же сумма всех вариант xij=T. В последней графе даны средние по группам: ₁, ₂, ..., _{i, .}.., _a. В общем виде групповые средние можно обозначить через _i. Общую же среднюю для всех вариант всех групп -- через .

Разное варьирование вариант и его характеристика. После введения всех этих обозначений можно приступить к разбору варьирования данных, представленных в таблице 18.1.

Можно выделить 3 типа, или направления, варьирования:

а) общее варьирование всех вариант (х_ij), независимо от того, в какой группе они находятся, вокруг общей средней ;

б) варьирование групповых средних _i, или, иначе, средних каждого уровня данного изучаемого фактора, вокруг общей средней ;

в) варьирование вариант х_ij внутри каждой группы вокруг каждой групповой средней _i.

Для характеристики этих варьирований при проведении дисперсионного анализа используются уже известные из прежних разделов настоящего учебного пособия величины:

а) суммы квадратов отклонений от средней арифметической;

б) средние квадраты отклонений, т.е. суммы квадратов, деленные на количество степеней свободы. Это дисперсии ².

Суммы квадратов. Для всех 3 типов варьирования можно вычислить суммы квадратов. Слово «отклонений» для краткости будем отбрасывать. В общем виде они будут следующими:

1. Общая сумма квадратов

Значок ij около знака суммы обозначает, что суммирование производится по всем вариантам всех групп.

2. Сумма квадратов для групповых средних

Чтобы эта величина была того же порядка, что и первая, введен множитель n_i, т.е. среднее число вариант в каждой группе. Если число вариант во всех группах одинаково, то просто n.

3. Сумма квадратов отклонений вариант от групповых средних внутри каждой группы, иначе говоря, для случайной вариации внутри групп

Два знака сумм указывают, что суммирование производится дважды: внутри каждой группы, т.е. по отдельным j (от 1 до n), а затем по всем уровням i - от 1 до а.

Степени свободы. Чтобы вычислить средние квадраты (дисперсии), надо разделить каждую сумму квадратов на соответствующие им числа степеней свободы, которые будут следующими:

для общей дисперсии

df=N - 1 (N=an);

для дисперсии групповых средних

df= a - 1;

для случайной вариации вариант внутри групп

df = (n - 1) а = nа - а = N - а.

Нетрудно заметить, что сумма чисел степеней свободы для групповых средних и для вариации внутри групп должна равняться числу степеней свободы для общей дисперсии:

(N - a) + (a - 1) = N - 1

Общая схема дисперсионного анализа при одном факторе. Общая схема дисперсионного анализа приведена в таблице 2.

Из таблицы 2 видно, что общая вариация разлагается на 2 компонента: один из них -- это вариация групповых средних (по градациям фактора A) вокруг общей средней ; другой -- вариация отдельных вариант внутри групп. Последнюю вариацию можно рассматривать как случайную в том смысле, что она создается многими неконтролируемыми факторами кроме учитываемого фактора А. При делении сумм квадратов, обозначаемых ss, на число степеней свободы получаются средние квадраты (дисперсии) -- ms, непосредственно измеряющие суммарную вариацию, и 2 ее компонента.

Таблица 2 - Схема дисперсионного анализа (анализа дисперсии) при одном факторе

Источник варьирова- ния	Сумма квадратов ss	Число степеней свободы df	Средний квадрат ms	Номер формулы для ms
Общее (все варианты)		N-1		(18.15)
Групповые средние (фактор A)		a-1		(18.16)
Варианты внутри групп (случайные отклонения)		N-a		(18.17)

В дальнейшем мы увидим, что весь этот анализ понадобится для того, чтобы сравнить 2 средних квадрата -- второй и третий, пользуясь критерием

F

Рабочие формулы для вычисления сумм квадратов. Вычисление сумм квадратов отклонений непосредственно по исходным данным вполне возможно, но требует много труда. Его редко используют даже при компьютерной обработке. Поэтому лучше воспользоваться рабочими формулами, основанными на одной из формул для суммы квадратов отклонений, а именно той, где сумма квадратов отклонений вычисляется по значениям вариант:

Второй член является как бы поправкой к первому. В литературе он обозначают буквой С, т.е.

.

Если далее использовать приведенные выше обозначения x_i для каждой группы (уровня фактора А) через T_i (T₁, Т₂, ..., Т_i..., Т_a), суммы всех вариант--Т, число наблюдений в каждой группе обозначать n_i, общее число вариант --N, то рабочие формулы будут выглядеть довольно просто:

общая сумма квадратов

сумма квадратов для групповых средних

сумма квадратов для вариант внутригрупп, т.е. для случайных отклонений



Практически совсем не обязательно вычислять все 3 суммы квадратов, достаточно вычислить только 2, например, первую и вторую. Третья может быть получена путем вычитания второй из первой.

При делении сумм квадратов на числа степеней свободы получаются средние квадраты (вариансы). Таким образом, рабочие формулы для них будут следующими:

для общего варьирования

ms = ²=

ля групповых средних

ms = ²=

для случайных отклонений

ms = ²=

Ниже на примерах однофакторной и двухфакторной модели рассмотрены основные методы дисперсионного анализа и иллюстрирующие их вычислительные схемы.



2. Однофакторный дисперсионный анализ

Для понимания сути однофакторного дисперсионного анализа допустим, что изучается зависимость случайной величины (х) от меняющегося фактора А, градации (или уровни) которого обозначены А_i. Тогда каждое наблюдение можно обозначить через х_ij, где i - уровень фактора А, j -номер наблюдения. Исходные данные удобно представить в виде таблице 3.

Таблица 3 - Исходные данные для однофакторного дисперсионного анализа

Уровни фактора Аi	Результаты измерений	Среднее по факторам
А1	х11 х12... х1j...x1m1	1
А2	х21 х22... х2j...x2m1	2
...	...............	...
Аi	хi1 хi2... хij...xim1	i
...	...............	...
Аk	хk1 хk2... хkj...xkm1	k

В таблице 3 k строк (или групп) - по числу уровней фактора А, в каждой группе m_i наблюдений (число наблюдений неодинаково); при равном числе наблюдений подход не меняется, но приводимые ниже формулы несколько упрощаются, так как все m_i равны m. Для подготовки данных к анализу образуем суммы квадратов, где знаком S² обозначены дисперсии:

- общую сумму квадратов всех наблюдений от общего среднего ;

- сумму квадратов отклонений групповых средних i от общего среднего , взвешенную через число наблюдений по группам:

- сумму квадратов отклонений внутри групп (от групповых средних).

Простые преобразования позволяют разложить первую сумму на две другие, что аналогично

Эта уже известная нам формула является основой дисперсионного анализа. Рассмотрим оценки дисперсий, связанных с введенными суммами. Сумма связана с оценкой общей дисперсии изучаемого признака, если ее разделить на число степеней свободы n-1=k(m_i -1). По сумме можно оценить дисперсию между уровнями факторов A_i - межгрупповую дисперсию. Число степеней свободы k-1. Наконец, позволяет оценить дисперсию внутри групп (или остаточную). Так как оценка дисперсии каждой из групп связана с m_i - 1 степенью свободы, то общее число степеней свободы

k (m_i -1) = N-k,

где N -- число наблюдений.

Дальнейший анализ зависит от типа рассматриваемой модели. Для модели с фиксированными факторами ответ на основной вопрос дисперсионного анализа сводится к проверке гипотезы Н₀: ₁ =₂ =... = _k, т.е. утверждения, что все групповые средние не зависят от влияния фактора А.. Тогда, если верна Н₀, межгрупповая дисперсия (в генеральной совокупности) должна быть равна внутригрупповой, т. е. сформулированная гипотеза может быть заменена эквивалентной Н₀: =. Допустим, что x_ij - независимые наблюдения над случайной величиной , распределенной нормально со средним и дисперсией ². Тогда отношение

F(k, n-k) =

используют в качестве статистической характеристики критерия:

если вычисленное значение F меньше табличного при уровне значимости а, то гипотезу об отсутствии влияния фактора А не отклоняют. Если же факторы случайны, то проверка гипотезы о равенстве групповых средних представляет небольшой интерес (уровни фактора А -- сами случайные величины) и проверяют гипотезу о том, что межгрупповая дисперсия в генеральной совокупности равна нулю Н₀: = 0.

В статистической теории показано, что в качестве статистической характеристики критерия можно применять величину. В дальнейшем мы не будем обсуждать различия между моделями со случайными и фиксированными факторами. Полная схема однофакторного дисперсионного анализа приведена в таблице 4.



Таблица 4 - Схема однофакторного анализа

Тип дисперсии	Число степе-	Сумма квадратов	Оценка дисперсии	Гипотеза при факторах	Статистиче-ский
	ней свободы			фиксиро-ванных	случайных	критерий
Межфакторная (между группами)	k-1		/(k-1)	1 =2 =... = k,	=0
Внутрифакторная (внутри групп)	k(mi-1) =n-k		/(n-k)
Общая	n-1

Влияние фактора А можно оценить иным путем. Тогда корреляционное отношение и гипотеза о равенстве групповых средних в генеральной совокупности сводится к виду Н₀: ² = 0 при альтернативной Н_а: ²>0. Величина ² связана с F простым соотношением и подчиняется в-распределению со степенями свободы k₁. Есть таблицы критических значений корреляционного отношения ² при а= 0, 05 (приложение Т); если фактическое значение ² больше табличного, то гипотеза о равенстве групповых средних отклоняется. Использование ² в качестве оценки влияния иногда более удобно, чем.

Для расчета мощности F-критерия (если Н₀ не отклонена) необходимо предположить, что верна альтернативная гипотеза Н_а: ² > 0. Тогда F-критерий подчиняется нецентральному F-pacпределению, зависящему от числа степеней свободы k_a и k_b и параметра нецентральности



² = n²

Обычно при расчете мощности, т.е. при работе с нецентральным F-распределением, пользуются графиками, построенными аналогично графику F-распределения. На рисунке 1 в качестве примера приведен график мощности F-критерия при а = 0, 05 для числа степеней свободы числителя k_i = 7; при k₁ = 1 можно пользоваться графиком мощности одностороннего t-критерия. Для других k_i графики мощности приведены в специальных изданиях.

Рисунок 1 График функции мощности F-критерия для k₁=7 (по К.Е. Никитину и А.З. Швиденко)

В качестве статистической характеристики Н_а на рисунке 18.1 использована величина

=



где _a² -- альтернативное корреляционное отношение.

При расчетах мощности F-критерия следует иметь в виду, что альтернативная гипотеза H_a: ² > 0 сложна и для расчетов необходимо выбрать некоторое конкретное значение _a², при котором теснота связи в генеральной совокупности имеет в рамках решаемой задачи практическое значение, т. е. проверить Н_о против простой H_a: ² = _a². Техника расчета мощности F-критерия рассматривается в табл. 18.4. Заметим, что при помощи определяют ², которое может быть еще признано существенным при данных k_м, k_b, и 1 -

² = ²k_a / n,

а также число наблюдений, обеспечивающее признание существенности наличия связи с данным ² и при заданных а и .

Обычно в дисперсионном анализе реальных задач мало отвергнуть гипотезу Н₀. Если признается, что фактор влияет на изучаемый признак, то для выяснения соотношения между групповыми средними можно применить t-критерий Стьюдента для попарного сравнения x_i..

Определенный интерес представляет метод множественного сравнения, позволяющий оценить сравнения любых сочетаний групповых средних. Допустим, например, что в таблице 18.4 исходные данные представляют результаты измерений для составления некоторых лесотаксационных таблиц и необходимо выбрать целесообразное сочетание уровней А_i, т.е. решить вопрос о составлении двух отдельных таблиц для A₁+А₂ и А₃+...+A_k или трех таблиц A₁+A₂+A₃, A₄+A₅+...+A_k и т.д. Применяют два метода множественного сравнения: S-метод Шеффе и T-метод Тьюки. Рассмотрим применение первого из них (анализ -- однофакторный).

Пусть представляет интерес множественное сравнение



=c₁₁+ c₂₂+... c_kk, c_i = 0

для которого несмещенной оценкой служит

=c₁₁+ c₂₂+... c_kk,

Для статистики оценку дисперсии вычисляют по формуле

где _b²--сумма квадратов внутригрупповых отклонений.

Тогда для сравнения доверительный интервал при доверительной вероятности 1 - a имеет вид

-s +s

где постоянная s определяется по формуле

s²=(k-1) F_a(k-1; n-k),

где F_a(k-1; n-k) - квантиль F-распределения с числом степеней свободы (k - 1), (n-k).

В качестве примера проведем дисперсионный анализ для определения влияния средней высоты (Н) на видовое число (f). Исходные данные для расчета показаны в таблице 5.



Таблица 18.5 - Исходные данные для дисперсионного анализа влияния средней высоты на видовое число

Hi, м	Видовые числа, fij *1000	fij	ni	i
1	2	3	4	5
22	455, 436, 466, 467, 446, 483	2753	6	458, 8
24	467, 446, 502, 448, 429	2292	5	458, 4
26	465, 466, 417, 510, 480	2238	5	467, 6
28	502, 489, 442, 530, 467, 501	2931	6	488, 5
30	452, 467, 456, 433, 467, 456	2731	6	455, 2
32	503, 483, 458, 451, 469	2364	5	472, 8
34	446, 427, 430	1303	3	434, 3
36	468, 434, 407, 370	1679	4	419, 8
		У18391	У40	=460

Здесь изучается влияние средней высоты древостоя на величину среднего видового числа условно одновозрастных спелых ельников. При расчетах на компьютерах суммы , и удобнее вычислять по формулам

=

=

= ,

а вместо исходных данных использовать их отклонения от некоторого начального значения, например, от общего среднего , что упрощает расчеты. Групповые средние приведены в колонке 5. Число групп k=8, общее число наблюдений n = 40. Общее среднее =460. Перейдем к отклонениям от среднего (таблица 6) и вычислим показатели, необходимые для применения формул.

Из таблицы 18.5 = 36195, = 14587, = 36195 - 14587 = 21608. Результаты вычислений запишем в таблицу 6, учитывая, что число степеней свободы для групповой дисперсии paвно k-1=8-1=7, для общей N -1=40-1=39, а для внутригрупповой N -k =40-8=32.

Таблица 6 - Вычисление сумм квадратов в однофакторном дисперсионном анализе

Hi, м	fij - =xij	xij	mi	i
22	-5, -24, +6, +7, -14, +23	7	6	-1, 2	1411	8, 6
24	+7, -14, +42, -12, -31	-8	5	-1, 6	3114	12, 8
26	+5, +6, -43, +50, +20	+38	5	+7, 6	4810	288, 8
28	+42, +29, -18, +70, +7, +41	+171	6	+28, 5	9559	4873, 5
30	-8, +7, -4, -4, -27, +7	-29	6	-4, 8	923	138, 2
32	+43, +23, -2, -9, +9	+64	5	+12, 8	2544	819, 2
34	-14, -33, -30,	-77	3	-25, 7	2185	1981, 5
36	+8, -26, -53, -90	-161	4	-40, 2	11649	6464, 2
		-9	40	-0, 23	36195	14587

Таблица 7 - Итоги однофакторного дисперсионного анализа

Тип дисперсии	Сумма квадратов	Число степеней свободы	Оценка дисперсии
Межгрупповая	14587	7	2084
Внутригрупповая Общая	21608 36195	32 39	675 928

Статистическая характеристика (F_выч), полученная из, равна F_выч = 2084/675 =3, 09. При а=0, 05 табличное значение F, взятое из приложения Ж, при н=7 и N -k=32 будет равно 2, 3. Так как F_выч > F_табл., то гипотезу об отсутствии влияния высоты на среднее видовое число древостоя отклоняют: средние в генеральной совокупности не все равны между собой, а зависят от значения средней высоты.

Для расчета методом множественного сравнения предположим, что необходимо выяснить, для каких значений высот можно составить единые таблицы, использующие средние видовые числа. Испытаем, например, возможность объединения высот 22, 24, 26 в одну группу, остальных -- во вторую. Функция сравнения по

= (458, 8+458, 4+467, 6) -(488, 5+455, 2+472, 8+434, 3+419, 8) = 7, 5

а оценка дисперсии по

=

Постоянную s находим из

s=[(8-1) F_{0, 05} (7, 32)]^1/2 = (72, 3)^1/2 4, т. е. для вероятности 0, 95 имеем доверительный интервал 7, 5 - 4 * 3, 85 7, 5+4 * 3, 85 или --7, 9 22, 9.

Так как доверительный интервал содержит ноль, нет оснований объединять материал в указанные группы в зависимости от значении высоты.

В данном примере изменена постановка задачи: вместо однофакторного применен двухфакторный анализ (включен дополнительно средний диаметр), после чего удалось удовлетворительным образом сгруппировать материал. Далее используем корреляционное отношение и расчет мощности критерия. Проверим Н₀ несколько иначе. Вычислим корреляционное отношение ², равное отношению межгрупповой дисперсии к сумме квадратов (таблица 7): = 14587 / 36195 = 0, 403. Гипотеза Н_0: ² = 0 равносильна Н_{0: 1} = _2... = _k. Проверим Н_0: ² = 0 при альтернативной Н_а: ² > 0. Из приложения Т находим критические значения ² =0, 387 при k₁ =7, k₂ =32, т.е. гипотезу об отсутствии влияния высоты на видовое число при а =0, 05 отклоняем.

3. Двухфакторный дисперсионный анализ

Выше уже указывалось, что при участии в общей вариации 2 факторов А и В анализ осложняется наличием взаимодействия между этими факторами. Поэтому общая сумма квадратов при двухфакторной схеме разлагается на 4 компонента: а) вариация под влиянием фактора А; б) вариация под влиянием фактора В; в) вариация под совместным влиянием А и В, т.е. взаимодействия А и В, и г) случайные отклонения.

Кроме того, надо помнить, что при двухфакторной схеме каждый уровень одного фактора должен сочетаться с любым уровнем второго фактора. Так, если изучаются какие-то данные за 3 года о животных из 3 различных местообитаний, то необходимо, чтобы по каждому месту были данные всех трех лет. Если же этого нет, то нужно применять другую схему анализа.

Распределение вариант при варьировании по 2 факторам показано в таблице 8. В графах «вар.» помещены варианты, в графах «пок.» -- показатели Т и х.

Символом r обозначается количество групп (уровней) по фактору А, т.е. количество горизонтальных рядов (1, 2, 3, ..., i, ..., r}; с --количество групп (уровней) по фактору В, т.е. количество вертикальных столбцов, или колонок {1, 2, 3, ..., j, ..., с); n -- число наблюдений в каждой клетке таблицы. В данном случае n равно 3, но не обязательно, чтобы оно было одинаковым во всех клетках. Все же для простоты расчетов выгоднее последнее, тогда nrb = N, т.е. общему числу всех наблюдений.

Так как варьирование групп по фактору А и по фактору В всегда сравнивают со случайными отклонениями вариант в пределах каждой группы как мерилом случайной вариации (_е²), то последняя должна быть измерена на достаточном материале. Это значит, что в каждой клетке надо иметь не менее 2 наблюдений, а еще лучше, если их будет больше.

Каждая варианта (наблюдение) может быть обозначена в общем виде как х_ijk, т.е. как k-ое наблюдение в ряду i и в вертикальном столбце j. Конкретная же варианта х имеет 3 значка. Первый обозначает номер группы по фактору А, т.е. номер горизонтальной строчки, второй -- номер группы по фактору В, т.е. номер вертикального столбца, третий -- номер в данной клетке. В каждой клетке даны сводные показатели: сумма вариант клетки (Т..) и средняя арифметическая их (..). Значки при них указывают номера горизонтальной строчки и вертикального столбца. В общем виде показатели для каждой клеточки Т_ij и _ij.

Показатели для горизонтальных строчек, то есть для градаций фактора А, даны справа в вертикальных столбцах: Т₁, Т₂, ..., Ti., ..., Т_r и соответственно ₁., ₂. и т.д. В общем виде их будем обозначать T_i._. и _i. или просто T_i и _i.

Для вертикальных столбцов (градаций по фактору В) показатели представлены в нижней части таблицы 18.8. Это суммы

Т.₁, Т.₂, ..., T._j, ..., Т._с и средние .₁, .₂, ..., ._j, ..., ._с В общем виде они будут обозначаться как T._j, и ._j или просто Т_j и _j.

Общая сумма всех вариант всех клеточек обозначается T, а общая средняя арифметическая --.

Вычисление сумм квадратов и средних квадратов. После введения всех этих обозначении можно перейти к построению общих формул сумм квадратов, необходимых для проведения дисперсионного анализа при 2 факторах.

Они будут следующими:

Общая сумма квадратов



т. е. простая сумма квадратов отклонений всех наблюдении от общей средней арифметической.

Сумма квадратов для варьирования по фактору A

nc

т. е. помноженная на nс сумма квадратов отклонений всех значений _i от общей средней арифметической.



Таблица 8

Сумма квадратов для варьирования по фактору В

nr

т. е. помноженная на nr сумма квадратов отклонений всех значений _j от общей средней арифметической.

Сумма квадратов для взаимодействия A и В



n

Наконец, сумма квадратов для случайных отклонений

т. е. сумма квадратов отклонений вариант от средних отдельных клеток таблицы.

Числа степеней свободы df таковы: для общего варьирования rcn-1, для варьирования по фактору A r-1, для варьирования по фактору В с-1, для взаимодействия A и B (r-1)(с-1), для случайных отклонений rс(n-1).

Общая схема разложения вариации при двухфакторной схеме дисперсионного анализа представлена в табл. 8. В ней же даны и общие формулы для средних факторов, которые получаются путем деления сумм квадратов на число степеней свободы.

Рабочие формулы при двухфакторном анализе. Для упрощения расчетов лучше применить рабочие формулы для сумм квадратов, а именно:

для общего варьирования

для варьирования по фактору А



для варьирования по фактору B

для варьирования, характеризующего взаимодействие А и В,

для варьирования случайных отклонений (внутри всех групп)

В этих формулахn -- число вариант в каждой клеточке;

с -- число вертикальных столбцов, т.е. групп по фактору В;

r -- число горизонтальных строчек, т.е. групп по фактору А.

Величина означает уже фигурировавшую ранее сумму квадратов всех вариант. Далее приходится иметь дело с различными суммами вариант:

Т_ij -- сумма вариант по отдельным клеткам (как рядов, так и столбцов);

Т_i -- сумма вариант для i-рядов, т.е. рядов по уровням (группам) фактора А;

Т_j -- сумма вариант для j-столбцов, т.е. колонок по уровням (группам) фактора В;

Т -- общая сумма всех вариант.

Применение этих формул для сумм квадратов дает возможность пользоваться не средними, имеющимися в таблице 18.8, а только суммами вариант, кроме только того, что понадобится сумма квадратов всех вариант . Поэтому в схеме варьирования таблицы 18.8 можно не записывать средних в отдельных клетках.

Коэффициенты при отдельных суммах ( и т.д.) служат для приведения всех величин к одному порядку. Число степеней свободы для всех сумм квадратов приведено в таблице 9.

Таблица 9 - Схема дисперсионного анализа при 2 факторах

Источник варьирования	Сумма квадратов ss	Число степеней свободы df	Средний квадрат ms
Общее		rcn-1		18.49
Фактор А (групповые средние по фактору А)		r-1		18.50
Фактор В (групповые средние по фактору В)		c-1		18.51
Взаимодей-ствие А и В	-	(r-1)(c-1)	-	18.52
Случайные отклонения		rc(n-1)		18.53

Поэтому можно записать следующие рабочие формулы для средних квадратов, получающиеся путем деления сумм квадратов на соответствующие числа степеней свободы:

для общего варьирования

ms =

для варьирования по фактору А

ms=

для варьирования по фактору B

ms=

для варьирования А и В

ms=

для случайных отклонений



ms=

Примеры дисперсионного анализа при двухфакторной схеме.

Приведем пример, описанный П.Ф. Рокицким. Допустим, что проводились опыты по удобрению карповых прудов известью (600 кг/га негашеной извести), суперфосфатом (72, 8 кг/га Р₂О₅) и известью и суперфосфатом вместе (с трехкратной повторностью). Четвертый пруд в каждом блоке не удобрялся. Окончательные данные о продуктивности прудов (в переводе на 300 рыб в каждом пруду) представлены в таблице 10.

Таблица 10 - Продуктивность карповых прудов с применением удобрений

Группы по факто	Группы по фактору В (фосфорные удобрения)
тору А	О	Р
(кальцие	вари-	Tij	вари-	Tij	Тi	i
вые удоб	анты		анты
рения)	xijk		xijk
O	58		72
	84	T11=181	72	T12=208	T1.=389	1.=64, 83
	39		64
Ca	49		74
	55	T21=152	74	T22=233	T2.=385	2.=64, 17
	48		85
Tj		T.1=333		T.2=441	T=774
j		.1=55, 5		.2=73, 5		=64, 5

=52312



Таким образом, n=3, r=2, c=2, N=12. Применение рабочих формул позволит вычислить значения сумм квадратов.

Общая сумма квадратов

= 52312 - 49923 = 2389.

Cумма квадратов для варьирования по фактору А (кальций)

=(389²+385²)-49923=49924-49923=1

Сумма квадратов для варьирования по фактору B (фосфор)

= (333²+441²)-49923 = 50895-49923 = 972.

Сумма квадратов для взаимодействия А и В,

=(181²+208²+152²+233²)- 49924-50895+49923=243.

Сумма квадратов для случайных отклонений

= 52312-51139 = 1173.



Сводка результатов дисперсионного анализа дана в таблице 11

Таблица 11 - Дисперсионный анализ данных о влиянии удобрений Са, Р и Са+Р на продуктивность карповых прудов

Источник	ss	df	ms	F факти-	F табличное
варьиро-вания				ческое	при Р=0, 05	при Р=0, 01
Общее	2389	11	-	-	-	-
Са	1	1	1	1/147=0, 007	-	-
Р	972	1	972	972/147=6, 6	5, 32	11, 26
Са+Р	243	1	243	243/147=1, 7	5, 32	11, 26
Случайные отклонения	1173	8	147	-	-	-

С помощью критерия F проверяется достоверность средних квадратов для источников варьирования: Са, Р и Са+Р. Роль Са оцениваем как F=1/147 = 0, 007, т.е. роль Са не доказана.

Для влияния Р F = 972/147 = 6, 6. Табличные значения F, взятые из приложения Ж, при df = 1 и df=8: для Р=0, 05-5, 32 и для Р = 0, 01-11, 26. Таким образом, эффект фосфора можно принять доказанным (нулевая гипотеза отвергается). Все же полученное значение F удовлетворяет только уровню значимости Р=0, 05. При более жестких требованиях следовало бы воздержаться от окончательного вывода до проведения новых, более полных исследований. Дело в том, что опыты были поставлены только на трех повторностях, поэтому число степеней свободы для случайных колебаний (df=8) ниже минимально допустимого числа 10, о чем говорилось выше. F для взаимодействия Са+ очень мало (= 1, 7), поэтому в данном случае влияние взаимодействия не доказано. Нулевая гипотеза остается в силе.

Оцениваемые параметры при двухфакторном дисперсионном анализе. При двухфакторном дисперсионном анализе, как и при анализе по одному фактору, значения средних квадратов оценивают определенные параметры вариации: при фиксированных уровнях факторов - условные, которые можно обозначит буквой ², и при случайных уровнях - отражающие действительную случайную вариацию и поэтому обозначающиеся обычными ².

Оцениваемые параметры для второго случая при двухфакторной схеме будут следующими (средние квадраты отмечены только номерами):

Источник варьирования	ms	Оцениваемые параметры
Фактор А	1	+n+nc
Фактор В	2	+n+nr
Взаимодействие А и В	3	+n
Случайные отклонения	4

Если сравнить оцениваемые параметры для 4 источников варьирования, то можно сделать вывод о возможности оценки влияния факторов А и В путем деления их средних квадратов не на средний квадрат случайных отклонении (ms₄), а на средний квадрат взаимодействия (ms₃). Этот способ получения F для А и В имеет смысл только при достоверном наличии взаимодействия, ибо в этом случае параметры, оцениваемые ms₁ и ms₃, отличаются на nc, а оцениваемые ms₂ и ms₃ -- на nr. Однако некоторые авторы считают более правильным во всех случаях брать знаменателем для F ms₄, т.е. . Для доказательства же влияния взаимодействия, очевидно, возможен только один способ -- деление ms₃ на ms₄.

Определение точных величин , и , совершенно необходимое в ряде селекционно-генетических исследований, может быть сделано путем ряда последовательных вычитаний средних квадратов и делений разностей на коэффициенты согласно формулам оцениваемых параметров.



=; =; =

4. Многофакторный дисперсионный анализ. Использование дисперсионного анализа в лесном хозяйстве

Дисперсионный анализ при трехфакторной схеме. При структуре материала, различающегося по 3 факторам, применяется принципиально та же схема анализа, что и при различиях по 2 факторам, но она более сложна и поэтому требует большого внимания при расчетах.

Общая сумма квадратов разлагается на 8 компонентов:

1. Эффект фактора А.

2. Эффект фактора В.

3. Эффект фактора С.

4. Взаимодействие А и В.

5. Взаимодействие А и С.

6. Взаимодействие В и С.

7. Взаимодействие А, В и С вместе (взаимодействие второго порядка).

8. Случайные отклонения.

Каждая отдельная варианта обозначается 4 значками, а именно х_ijkl. Соответствующие средние: - средняя арифметическая всех наблюдений; _i, _j и _k - средние для уровней по фактору А, по фактору В и по фактору С отдельно: _ij, _ik и _jk - средние для всех уровней по 2 факторам без учета третьего; _ijk - средние всех клеток решетки.

Чтобы не спутать буквы, можно обозначить число групп по факторам А, В и С одной буквой r со значками 1, 2, 3. Тогда общая схема анализа может быть представлена в таблице 12.

Средний квадрат, как обычно, получают делением суммы квадратов на число степеней свободы, поэтому для экономии места его можно не включать в таблицу. Общая схема анализа в сущности та же, которая была изложена выше для дисперсионного анализа по 2 факторам. В частности, таков же расчет сумм квадратов и степеней свободы для взаимодействия по двум факторам. Наряду с учетом взаимодействия А и В добавляется учет взаимодействий А и С и В и С. Новым является учет взаимодействия всех 3 факторов А, В и С.

Пользование квадратами отклонений различных средних от общей средней в случае анализа по 3 факторам еще более осложнило бы технику расчетов, поэтому и здесь для подсчета сумм квадратов целесообразно пользоваться рабочими формулами, в которых фигурируют квадраты вариант и суммы вариант по группам.

Таблица 12 - Схема дисперсионного анализа при 3 факторах

Источник вариации	ss	df
Общее	(xijkl-)2	nr1r2r3-1
Фактор А	nr2r3(i-)2	r1-1
Фактор В	nr1r3(j-)2	r2-1
Фактор С	nr1r2(k-)2	r3-1
Взаимодействие А и В	nr3(ij -i - j +)2	(r1-1)( r2-1)
Взаимодействие В и С	nr1(jk -j - k +)2	(r2-1)( r3-1)
Взаимодействие А и С	nr2( ik -i - k +)2	(r1-1)( r3-1)
Взаимодействие А, В и С	n(ijk -ij-ik-jk+i+j +xk-)2	(r1-1)( r2-1) (r3-1)
Случайные отклонения	(xijkl-ijk)2	r1r2r3 (n-1)

Они будут следующими:

общая изменчивость

эффект А

эффект В

эффект С

взаимодействие А и В

взаимодействие В и С



взаимодействие А и С

взаимодействие А, В и С

+

случайные отклонения

Во всех этих формулах поправка одна и та же - , т.е. квадрат суммы всех вариант, деленный на общее их количество. При вычислении первой части рабочих формул важно не спутать, какие конкретно суммы надо возводить в квадрат. Чтобы не загромождать текст, ограничимся только этими формулами для сумм квадратов в буквенной символике без окончательных формул для средних квадратов и без приведения конкретных примеров. Оцениваемые средними квадратами параметры при 3 факторах принципиально не отличаются от указанных выше для случая двухфакторного дисперсионного анализа. Они приведены в таблице 18.13. для случая, когда уровни по всем факторам будут случайными. Если же различия между уровнями по одному из факторов являются не случайными, а фиксированными (смешанная схема), соответствующий компонент вариации надо обозначать не ², а каким-либо иным значком, например х², как указывалось при разборе однофакторной схемы, или просто К со значком, обозначающим данный фактор А, В, С и т. д.

Таблица 13 - Оцениваемые параметры при трехфакторном дисперсионном анализе

Источник варьирования	ms	Оцениваемые параметры
Фактор А	1	+ n+nr3+nr2+nr2r3
Фактор В	2	+ n+nr3+nr1+nr1r3
Фактор С	3	+ n+nr2+nr1+nr1r2
Взаимодействие А и В	4	+ n+nr3
Взаимодействие В и С	5	+n+nr1
Взаимодействие А и С	6	+ n+nr2
Взаимодействие А, В и С	7	+n
Случайные отклонения	8

Разбор параметров, оцениваемых различными средними квадратами, показывает, что в данном случае оценить с помощью критерия F достоверность влияния отдельных факторов и их взаимодействия значительно сложнее, чем в предыдущих случаях дисперсионного анализа. Поэтому мы ограничимся сказанным, отослав читателя, которому понадобятся эти методы, к специальной литературе.

Иерархическая схема дисперсионного анализа. Все предыдущие схемы были факторными. В них предусматривалось, что уровни одного фактора сочетаются с любыми уровнями всех других факторов. Таким образом создаются группы вариант, на которые действуют любые сочетания всех изучаемых факторов. Обычные факторные схемы чаще всего применяются в опытах, план которых строится экспериментатором заранее. Очевидно, что такой план должен предусматривать наличие всех сочетаний градаций разных факторов (или почти всех, что иногда возможно при так называемых «выпавших» группах опыта).

Однако при анализе материала, взятого из природы или из хозяйства, обычные факторные схемы могут быть неосуществимыми, так как внутри градаций (групп) фактора А возможны различные, отличающиеся друг от друга градации (группы) факторов В, С и т.д.

Так, например, при изучении данных об удоях коров-дочерей, происходящих от разных родителей и относящихся к разным породам, обнаружится определенная связь между группами и влияющими на них факторами (рисунок 2).

дисперсионный анализ лесной хозяйство

Рисунок 2 Схема иерархических связей между факторами и их уровнями (по П.Ф. Рокицкому). Уровни низшего порядка располагаются только внутри определенных уровней высшего порядка. Факторы: А -- породы; В -- быки; С -- покрытые ими коровы; D -- дочери; х -- варианты, т.е. удои коров-дочерей по отдельным лактациям.



К породе I относятся только быки А, В, С. Остальные быки других пород (II и III). Бык А покрыл коров 1, 2, 3; бык В -- коров 4, 5 и 6; бык С -- опять иных коров 7, 8, 9, 10 и т.д. Корова 1 дала дочерей а и b; корова 2--дочь с; корова 3 -- дочерей d, е и f и т.д. Наконец, от каждой дочери было изучено по нескольку лактаций l₁, l₂ и т.д.

Варьирующие по отдельным лактациям удои коров зависят от 4 факторов: породы, быки, матери, дочери, но связь между ними осуществляется по иерархической лестнице -- от более общих факторов к более частным, или от факторов высшего порядка к факторам низшего порядка. Поэтому такие схемы, или модели, получили название иерархических.