Реальные и номинальные уровни значимости при проверке статистических гипотез

Размещено на http://www.allbest.ru/

1

Научный журнал КубГАУ, №114(10), 2015 года

РЕАЛЬНЫЕ И НОМИНАЛЬНЫЕ УРОВНИ ЗНАЧИМОСТИ ПРИ ПРОВЕРКЕ СТАТИСТИЧЕСКИХ ГИПОТЕЗ

Реальные и номинальные уровни значимости

Во многих монографиях, справочниках и таблицах (например, [1 - 3]) при рассмотрении задач проверки статистических гипотез критические значения статистик критериев указаны для априорно фиксированных (номинальных в терминологии [4]) уровней значимости . В качестве таковых обычно используются значения из тройки чисел 0,01, 0,05, 0,1, к которым иногда добавляют еще несколько: 0,001, 0,005, 0,02 и др.

Однако ясно, что для дискретных статистик (т.е. статистик с дискретными функциями распределения) к которым, в частности, относятся все непараметрические статистические критерии [5, 6], реальные уровни значимости могут и не совпадать с номинальными. Под понимается максимально возможный уровень значимости дискретной статистики, не превосходящий заданный номинальный (т.е при переходе к следующему по величине возможному значению дискретной статистики соответствующий уровень значимости оказывается больше заданного номинального). Поэтому в лучших таблицах [5, 6] для ограниченных объемов выборок (2 - 100) табулируются точные распределения дискретных статистик. Для каждой конкретной статистики реальный уровень значимости - функция от объемов выборок n = (n1, …, nt), т.е. = (n). (Здесь t - число выборок, по которым рассчитывается значение статистики; рассматриваем в основном случай двух выборок, т.е. t = 2).

Аналогичная проблема имеется при использовании программных продуктов. При разработке новых статистических программных продуктов необходимо выбрать режим использования реальных и номинальных уровней значимости. Поскольку это не вызывает недоразумений, будем обсуждать таблицы, предназначенные для принятия решений при проверке статистических гипотез.

В одних таблицах приведены [5, 6], в других - нет [1 - 3]. Возникает естественный вопрос: с чем это связано? Очевидно, есть две возможности. Либо в работах [1 - 3] нарушена культура табулирования, либо реальные и номинальные уровни значимости практически совпадают для всех n. Продемонстрируем, что по крайней мере для некоторых статистик выполнено первое из этих двух утверждений.

Критерий серий

В качестве примера рассмотрим критерий серий (Вольфовица) проверки однородности двух независимых выборок. Статистика этого критерия V - это число серий, т.е. частей общего вариационного ряда двух выборок, каждая из которых состоит из элементов одной выборки. При справедливости нулевой гипотезы о тождестве функций распределения, соответствующих двум независимым выборкам объемов n1 и n2, известно точное распределение [5, табл.6.7]

r = 2, 3, …, 2n1 при n1 = n2 и r = 2, 3, …, 2n1 + 1 при n1 < n2 (без ограничения общности можно принять, что объем первой выборки не превосходит объема второй выборки, т.е. n1 < n2).

Несложный расчет для номинального уровня значимости = 0,05 показывается, что

при n1 = n2 = 6 реальный уровень значимости = 0,0260;

при n1 = n2 = 8 реальный уровень значимости = 0,0178;

при n1 = n2 = 10 реальный уровень значимости = 0,0370;

при n1 = n2 = 12 реальный уровень значимости = 0,0190.

Таким образом, для рассматриваемых объемов выборок реальный уровень значимости в 2 - 3 раза меньше, чем номинальный. Это, очевидно, необходимо учитывать при интерпретации результатов анализа реальных статистических данных.

Непараметрические критерии проверки однородности двух независимых выборок

Проблема изучения соотношения реальных (истинных) и номинальных уровней значимости была поставлена нами в статье [4] на примере непараметрических критериев проверки однородности двух независимых выборок. В табл. 1, построенной в [4] на основе таблиц, приведенных в [5 - 7] для ряда непараметрических критериев проверки однородности двух независимых выборок, приведены реальные уровни значимости (n) для номинального уровня значимости = 0,05 и объемов выборок n1 = n2 = 6, 8, 10, 12. Проанализированы пять критериев.

1. Двухвыборочный критерий Вилкоксона, являющийся линейной функцией от критерия Манна-Уитни и подробно рассмотренный в статьях [8, 9]. Напомним, что статистика Вилкоксона S - это сумма рангов элементов первой выборки

в общем вариационном ряду, построенном по объединенной выборке, включающей в себя все элементы обеих выборок (без ограничения общности можно принять, что объем первой выборки не превосходит объема второй выборки, т.е. n1 < n2).

2. Критерий Ван-дер-Вардена [5, 7], представляющий собой дальнейшее развитие (модификацию) критерия Вилкоксона и предназначенный для анализа выборок, распределение которых близко к нормальному. Статистика Х критерия Ван-дер-Вардена имеет вид

,

где есть квантиль порядка p стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1, т.е. - обратная функция к .

3. Двухвыборочный двухсторонний критерий Смирнова однородности двух независимых выборок, рассмотренный в [5, 10]. Он основан на использовании разности эмпирических функций распределения и , построенных по первой и второй выборкам соответственно. Термин «двухсторонний» означает, что берется супремум модуля этой разности. Статистика двухвыборочного двухстороннего критерия Смирнова

в случае равенства объемов выборок n1 = n2 принимает значения, кратные 1/n1, поскольку только такие значения принимают эмпирические функции распределения и , а потому рассматриваемая статистика имеет ровно (n1+1) возможных значений.

4. Критерий знаков Z используют в случае равенства объемов выборок n1 = n2. Статистика этого критерия равна числу положительных разностей Xk - Yk элементов двух выборок с одинаковыми номерами. При справедливости нулевой гипотезы статистика Z имеет биномиальное распределение B(1/2; n1), а потому имеет (n1+1) возможных значений.

5. Критерий серий (Вольфовица) V, о котором шла речь выше в разделе 2 настоящей статьи. Число его возможных значений не превосходит 2n1.

Таблица 1. Реальные уровни значимости (n) для номинального уровня значимости = 0,05

Анализ содержания табл. 1 подтверждает предположение о существенности отличия реальных уровней значимости (n) от номинальных уровней значимости .

Обсуждение полученных результатов

Предположим теперь, что, несмотря на установленные отличия, мы используем при проверке гипотезы однородности таблицы [1 - 3], в которых указаны , а не . Это приводит к снижению мощности критерия по сравнению с соответствующим рандомизированным критерием, обеспечивающим равенство и .

Разъяснение. Поясним, что такое рандомизированный критерий. Пусть Y - статистика некоторого статистического критерия, принимающая дискретные значения, числа a и b, где a < b - два соседних значения этой статистики, такие, что P(Y > b) < и P(Y > a) > (вероятности взяты в предположении справедливости нулевой гипотезы). Если критическое значение критерия равно b, т.е. нулевая гипотеза принимается при Y < b, то = P(Y > b) < . Если же критическое значение равно следующему возможному (при движении в сторону уменьшения) значению a, т.е. нулевая гипотеза принимается при Y < a, то = P(Y > a) > . Рандомизированный критерий получим, если при Y = b в некоторой доле p случаев будем принимать нулевую гипотезу, а в остальных случаях - альтернативную. Поскольку. непараметрический однородность выборка статистический

P(Y = b) = P(Y > a) - P(Y > b),

то (реальный) уровень значимости рандомизированного критерия равен

(1 - p) P(Y = b) + P(Y > b) = (1 - p) P(Y > a) + p P(Y > b).

Ясно, что при соответствующем выборе параметра рандомизации p уровень значимости рандомизированного критерия совпадет с заданным номинальным уровнем .

Для малых объемов выборок (2 - 20 элементов) понижение мощности из-за того, что , может быть существенным. Для иллюстрации этого в табл. 2 приведены результаты моделирования наиболее употребительных (согласно [5]) критериев проверки однородности двух независимых выборок.

Изучение мощности статистических критериев методом Монте-Карло

Моделируются выборки одинакового объема из нормальных законов распределения с математическими ожиданиями m1 и m2 и дисперсиями и . Номинальный уровень значимости, определяющий конкретные критические значения для критериев, принят равным = 0,05. Мощность критерия определяется моделированием N = 5000 пар выборок. При использовании N = 5000 моделируемых пар выборок среднее квадратическое отклонение оценок мощности (при M > 0,95 имеем ).

Изучены критерии Вилкоксона S, Вольфовица V, Ван-дер-Вардена X, Смирнова D. Критерий Стьюдента t (см. например, [5]), как равномерно наиболее мощный в классе нормальных законов распределения, приведен для сравнительной оценки мощности рассматриваемых непараметрических критериев. (Моделирование и расчеты, приведенные в настоящей статье, выполнены Ю.Э. Камнем и Я.Э. Камнем [4], за что автор им искренне благодарен.)

Таблица 2. Мощности статистических критериев при = 0,05

Замечание. Приведенные в табл. 2 значения мощностей критериев интересны нам с точки зрения обсуждения их зависимости от различия реальных и номинальных уровней значимости. При этом необходимо подчеркнуть, что эти значения зависят от предположений, принятых при моделировании. Так, критерии Вилкоксона и Ван-дер-Вардена «настроены» на использование в случае распределений, близких к нормальному семейству. При проверке гипотезы о совпадении функций распределения двух независимых выборок из логистического распределения с альтернативой сдвига критерий Вилкоксона является асимптотически оптимальным. А в случае выборок из нормального распределения аналогичным свойством обладает критерий Ван-дер-Вардена, причем известно, что семейства нормальных и логистических распределений весьма близки - расстояние Колмогорова между ними не превышает 0,01 (см. по вопросам асимптотической оптимальности непараметрических критериев монографии [11 - 13]). Поэтому нет ничего удивительного в том, что мощности критериев Вилкоксона и Ван-дер-Вардена близки к оптимуму в случае нормального распределения - к мощности критерия Стьюдента. При этом мощности критериев Смирнова и особенно критерия Вольфовица заметно меньше. Однако для выборок из других распределений (например, распределений Вейбулла-Гнеденко или гамма-распределений) ситуация иная - критерий Смирнова, как показывает компьютерное моделирование, оказывается более мощным, чем критерии Вилкоксона и Ван-дер-Вардена. Более того, критерий Смирнова - состоятельный, т.е. позволяет отклонить любую конкретную альтернативу (при соответствующих объемах выборок), а критерии Вилкоксона и Ван-дер-Вардена не являются состоятельными, некоторых альтернатив они «не чувствуют». Поэтому вполне обоснованной является рекомендация о широком использовании состоятельных критериев Смирнова и типа омега-квадрат (Лемана-Розенблатта), данная в [14]. Что же касается критерия серий (Вольфовица), то из-за его отрицательных свойств (выраженной дискретности, низкой мощности) он в настоящее время выходит из употребления при анализе реальных данных, несмотря на прозрачность определения.

Выводы

Рассмотрения настоящей статьи позволяют сделать следующие выводы (см. также [4]).

1. При создании методик, таблиц, программных продуктов необходимо соблюдать определенную культуру табулирования. В качестве положительных примеров можно указать работы [5, 6].

2. При малых объемах выборок использовать номинальные уровни значимости вместо реальных уровней значимости для дискретных статистик недопустимо.

3. При конечных объемах выборок выбор того или иного критерия с дискретной статистикой должен сопровождаться исследованием влияния варьирования уровня значимости на качественную интерпретацию результатов проверки гипотез. В частности, выбор одного из двух конкурирующих непараметрических критериев K1 и K2 прежде всего должен зависеть от априорного выбора исследователем реального уровня значимости или , соответствующего первому критерию K1 или второму K2, в качестве номинального уровня значимости .

Последний (третий) вывод демонстрирует сложность сравнения критериев с дискретными статистиками между собой, поскольку точки скачков распределений их статистик не совпадают. Следовательно, в отличие от критериев с непрерывными статистиками нельзя выбрать единый фиксированный уровень значимости и сравнить свойства критериев при этом уровне значимости.

В заключение отметим, что для любого критерия проверки статистических гипотез реальный уровень значимости приближается к номинальному при безграничном возрастании объемов выборок, т.е. при . Поэтому для прикладных исследований значительный интерес представляет определение верхней оценки скорости сходимости (n) к . Соответствующие теоретические результаты для критериев проверки однородности двух независимых или связанных выборок можно получить, основываясь на оценках скорости сходимости в принципе инвариантности [15, гл.4]. Некоторые оценки приведены в [16, гл.2]. Скорость сходимости также может быть оценена методом статистических испытаний (Монте-Карло). Пример подобного исследования подробно рассмотрен в [17 - 18] в ходе обсуждения проблем вероятностно-статистического моделирования помех, создаваемых электровозами.

В настоящей статье затронута лишь небольшая часть непараметрических методов анализа числовых статистических данных [19, 20]. В частности, обратим внимание на непараметрические оценки плотности, которые используются для описания данных, проверки однородности, в задачах восстановления зависимостей и других областях эконометрики [21, 22]. Непараметрические оценки плотности рассмотрены в [15, раздел 5.6].

Литература

1. Афифи А., Эйзен С. Статистический анализ. Подход с использованием ЭВМ. - М.: Мир, 1982. - 488 с.

2. Гублер Е.В., Генкин А.А. Применение критериев непараметрической статистики в медико-биологических исследованиях. - Л.: Медицина, 1973. - 144 с.

3. Ивченко Г.И., Медведев Ю.И. Математическая статистика. - М.: Высшая школа, 1984. - 248 с.

4. Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез // Заводская лаборатория. Диагностика материалов. 1986. Т.52. № 12. С. 55-57.

5. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1983. - 416 с.

6. Холлендер М., Вульф Д. Непараметрические методы статистики. - М.: Финансы и статистика, 1983. - 518 с.

7. Ван-дер-Варден Б.Л. Математическая статистика. - М.: ИЛ, 1960. - 434 с.

8. Орлов А.И. Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона? // Заводская лаборатория. Диагностика материалов. 1999. Т.65. №1. С.51-55.

9. Орлов А.И. Двухвыборочный критерий Вилкоксона - анализ двух мифов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 104. С. 91 - 111.

10. Орлов А.И. Непараметрические критерии согласия Колмогорова, Смирнова, омега-квадрат и ошибки при их применении // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 97. С. 32-45.

11. Кендалл М. Дж., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973. - 900 с.

12. Кокс Д.Р., Хинкли Д.В. Теоретическая статистика. - М.: Мир, 1978. - 560 с.

13. Никитин Я.Ю. Асимптотическая эффективность непараметрических критериев. - М.: Наука, 1995. - 240 с.

14. Орлов А.И. Состоятельные критерии проверки абсолютной однородности независимых выборок // Заводская лаборатория. Диагностика материалов. 2012. Т.78. №11. С.66-70.

15. Орлов А.И. Прикладная статистика. - М. : Экзамен, 2006. - 671 с.

16. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

17. Карякин Р.Н., Орлов А.И., Адамов С.Ю. Вероятностная теория высших гармоник помех, создаваемых электровозами // Прикладной многомерный статистический анализ. Ученые записки по статистике, т.33. - М.: Наука, 1978. - С. 376-380.

18. Орлов А.И. Вероятностно-статистическое моделирование помех, создаваемых электровозами // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 106. С. 225 - 238.

19. Орлов А.И. Современное состояние непараметрической статистики // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 106. С. 239 - 269.

20. Орлов А.И. Структура непараметрической статистики (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 2015. Т.81. №7. С. 62-72.

21. Орлов А.И. Оценки плотности распределения вероятностей в пространствах произвольной природы // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 99. С. 15-32.

Аннотация

РЕАЛЬНЫЕ И НОМИНАЛЬНЫЕ УРОВНИ ЗНАЧИМОСТИ ПРИ ПРОВЕРКЕ СТАТИСТИЧЕСКИХ ГИПОТЕЗ

Орлов Александр Иванович д.э.н., д.т.н., к.ф.-м.н., профессор РИНЦ SPIN-код: 4342-4994

Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5,

При проверке статистических гипотез критические значения часто указывают для априорно фиксированных (номинальных) уровней значимости. В качестве таковых, обычно используются значения из тройки чисел 0,01, 0,05, 0,1, к которым иногда добавляют еще несколько: 0,001, 0,005, 0,02 и др. Однако, для статистик с дискретными функциями распределения, к которым, в частности, относятся все непараметрические статистические критерии, реальные уровни значимости могут и не совпадать с номинальными, отличаться в разы. Под реальным уровнем значимости понимается максимально возможный уровень значимости дискретной статистики, не превосходящий заданный номинальный уровень значимости (т.е при переходе к следующему по величине возможному значению дискретной статистики соответствующий уровень значимости оказывается больше заданного номинального). В статье рассмотрено различие между номинальными и реальными уровнями значимости на примере непараметрических критериев проверки однородности двух независимых выборок. Изучены двухвыборочный критерий Вилкоксона, критерий Ван-дер-Вардена, двухвыборочный двухсторонний критерий Смирнова, критерий знаков, критерий серий (Вольфовица). Рассчитаны реальные уровни значимости этих критериев для номинального уровня значимости 0,05. Проведено изучение мощности перечисленных статистических критериев методом Монте-Карло. Основной вывод: при малых объемах выборок использовать номинальные уровни значимости вместо реальных уровней значимости для дискретных статистик недопустимо

Ключевые слова: МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, НЕПАРАМЕТРИЧЕСКАЯ СТАТИСТИКА, ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ, ДВЕ НЕЗАВИСИМЫЕ ВЫБОРКИ, ПРОВЕРКА ОДНОРОДНОСТИ, УРОВЕНЬ ЗНАЧИМОСТИ, КРИТЕРИЙ ВИЛКОКСОНА, КРИТЕРИЙ ВАН-ДЕР-ВАРДЕНА, КРИТЕРИЙ СМИРНОВА, КРИТЕРИЙ ЗНАКОВ, КРИТЕРИЙ СЕРИЙ

REAL AND NOMINAL SIGNIFICANCE LEVELS IN STATISTICAL HYPOTHESIS TESTING

Orlov Alexander Ivanovich

Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci., professor

Bauman Moscow State Technical University, Moscow, Russia

In the statistical hypothesis testing, critical values often point to a priori fixed (nominal) significance levels. As such, typically researcher uses the values of three numbers 0.01, 0.05, 0.1, to which may be added a few levels: 0.001, 0.005, 0.02, and others. However, for the statistics with discrete distribution functions, which, in particular, include all nonparametric statistical tests, the real significance levels may be different from the nominal, differ at times. Under the real significance level we refer to the highest possible significance level of discrete statistics, not exceeding a given nominal significance level (ie, the transition to the next highest possible value corresponding discrete statistical significance level is greater than a predetermined nominal). In the article, we have discussed the difference between nominal and real significance levels on the example of nonparametric tests for the homogeneity of two independent samples. We have also studied two-sample Wilcoxon test, the criterion of van der Waerden, Smirnov two-sample two-sided test, sign test, runs test (Wolfowitz) and calculated the real significance levels of the criteria for nominal significance level of 0.05. The study of the power of these statistical tests is accomplished by means of Monte Carlo method. The main conclusion: the use of nominal significance levels instead of real significance levels for discrete statistics is inadmissible for small sample sizes

Keywords: MATHEMATICAL STATISTICS, NONPARAMETRIC STATISTICS, STATISTICAL HYPOTHESIS TESTING, TWO INDEPENDENT SAMPLES, HOMOGENEITY TESTING, SIGNIFICANCE LEVEL WILCOXON TEST, VAN DER WAEDEN TEST, SMIRNOV TEST, SIGN TEST, RUNS TEST

Размещено на Allbest.ru