Проверка статистических гипотез

Размещено на http://www.allbest.ru/

Проверка статистических гипотез

В статье показывается, что основные методы проверки статистических гипотез в большинстве своем логически некорректны. Для некоторых структурированных данных минимальная ошибка первого рода не гарантирует ни от отвержения абсолютно правильной гипотезы, ни от большой ошибки второго рода. Однако, несмотря на недостатки и редкое применение этих методов, они все еще используются на практике в научных исследованиях. И хоть дискредитация методов подразумевает их совершенность, все они имеют определенного рода недостатки.

Ключевые слова: методология, статистическая проверка гипотез, принцип Курно, ошибка первого рода, ошибка второго рода.

Проверка статистических гипотез - это последний этап математической обработки информации с помощью статистики. Словосочетание «проверка гипотез» не является точным. С помощью стандартных способов математической статистики можно подвергнуть гипотезу фальсификации, а если для этого на основе полученных проанализированных данных нет причин, гипотеза принимается.

Проблема проверки гипотез рассмотрены Карлом Поппером в положениях о фальсификационизме. Его философия подразумевает определение фальсификаторов конкретной гипотезы с целью ее опровержения. Если гипотеза будет опровергнута, последняя становится научной гипотезой. Если не было оснований опровергнуть гипотезу, то она также засуживает доверия. Теория Поппера так или иначе предполагает фальсификацию. Д. Майо, известный специалист, занимающийся вопросами философии науки, полагает, что для всех концепций философии науки методология проверки гипотез представляет интерес. Также эти методы используются и во множестве других дисциплин. Несмотря на то, что методы проверки используются на практике достаточно обширно, они очень часто подвергаются критике за неадекватность самих методов и их оснований (в некоторых науках, преимущественно нетехнических).

В математической статистике различают способы проверки адекватности как одной, так и нескольких гипотез. Технически проще осуществлять проверку одной гипотезы (как и рассматривается в философии Поппера). Кратко рассмотрим основные методы проверки гипотез. Методы проверки основываются на принципах А. Курно. Согласно его принципам, гипотеза может быть опровергнута, если при проведенном эксперименте допускается событие, появление которого маловероятно. Маловероятные события, вопреки принципам Курно, не могут быть невозможными ни физически, ни логически. При выполнимости принципов эмпирические частоты обеспечивают точную аппроксимацию теоретических вероятностей в теореме закона больших чисел. На основании принципа Курно исследователь редко опровергает корректную гипотезу. Опровержение корректной гипотезы также вероятно, как и попадание случайной величины в область опровержения гипотезы. Для исследователя все гипотезы имеют разную значимость. Представляющую наибольший интерес гипотезу называют основной (или нулевой). То событие, которое способно опровергнуть основную гипотезу, даже если она является безошибочной, называется ошибкой первого рода.

Рассмотрим пять основных критериев, критикующих проверку гипотез.

1. Критический анализ проверки гипотез на основе принципов Курно, в основе которых лежит логическая модель:

Если гипотеза Н верна, то реализация события z маловероятна. Если событие z, то гипотеза Н должна быть опровергнута.

Такая схема - как вариант приципаmodusTollens:

A > B, B A

В математической логике этот принцип корректен, но неверен в вероятностных рассуждениях.

Пример.

2. Категорический характер проверки гипотез.

После применения теории Фишера (предназначенной для проверки одной гипотезы), гипотеза принимается или опровергается. Иногда решается продолжение исследования. Однако это является уходом от ответа в принятии решения, существуют два варианта решения развития событий, и по сути, есть два пути6 гипотеза либо опровергается, либо подтверждается. Теория Фишера не говорит о степени подтверждения или опровержения гипотезы. статистический гипотеза доказательство логический

3. Неадекватность методов проверки гипотез.

Методология проверки гипотез основывается на вероятности события, связанного с гипотезой, которая является подтвержденной. Исследователь заинтересован в том, чтобы изучаемая гипотеза была обоснована с помощью подтвержденных данных.

Развитием теории Фишера является теория Неймана-Пирсона и изучает проверку нескольких гипотез и строится на существовании основной H0 или нескольких альтернативных гипотезах H1, H2, …, Hk, в простейшем случае k = 1. В этой теории, таким образом, помимо понятия ошибки первого рода добавляется понятие ошибки второго рода (так называется событие, которое заключается в подтверждении основной гипотезы при подтверждении также и альтернативной). Одновременно достичь минимальных ошибок первого и второго рода нельзя. При реалистичном подходе ошибка второго рода минимизирована, ошибка первого рода - фиксирована.

4. Если гипотеза отвергается на минимальной вероятности событий, это не означает, что гипотеза корректна. Это хорошо иллюстрирует известный пример [Cohen, 1994] исследования диагностики шизофрении для подростков. Вводятся две гипотезы, они описываются переменными: H0 и H1.

H0 - подросток является нормальным;

H1 - подросток является шизофреником;

D описывает, что исследуемые данные свидетельствуют в пользу шизофрении;

P - символ вероятности. Известно, что

P(H1) = 0,02, P(D/H1) > 0,95.

X описывает, что данные свидетельствуют о нормальности подростка, P(диагностики нормальности/H0) 0,97. С учетом введенных обозначений получаем P(X/H0) 0,97.

Тогда P(X/H0) 0,03 < 0,05. Отсюда появление события X при условии корректности гипотезы X имеет вероятность меньше 5 %. Тогда

P(D/H0) 0,03 < 0,05.

Мы получаем следующую статистику: только в трех процентах случаев у подростков диагностируется шизофрения, тогда как на самом деле они здоровы. Являются ли данные, утверждающие низкую вероятность, гарантией, что верная гипотеза не будет отвергнута? Для этого необходимо определить вероятность того, что больного шизофренией подростка определят как здорового, т.е. найти вероятность P(H0/D).

Тогда получим:

P(H0/D) = P(H0-D)/P(D),

P(H0-D) = P(H0) - P(D/H0),

P(D) = P(H0) - P(D/H0) + P(H1) - P(D/H1).

Где P(D) - вероятность того, что подросток болен шизофренией и равна сумме первых двух вероятностей. Первую вероятность получаем в результате произведения вероятности того, что подросток здоров, и условной вероятности того, что по результатам теста у подростка шизофрения, при том, что на самом деле он здоров. Вторая вероятность является произведением вероятности наличия шизофрении и условно вероятности того, что у испытуемого будет выявлена шизофрения по результатам теста, при условии, что он действительно болен.

P(H0/D) = 0,98 - 0,03 = 0,0294,

P(D) = 0,0294 + 0,02 - 0,95 =

= 0,0294 + 0,0190 = 0,0484,

P(H0/D) = 0,607

Таким образом, низкая вероятность данных, доказывающих наличие у подростка шизофрении при ее отсутствии, не является гарантией того, что гипотеза, предполагающая отсутствие шизофрении у ребенка, является корректной. На данном примере можно увидеть, что вероятность того, что подросток здоров, при том, что данные свидетельствуют о наличии шизофрении, очень большая.

5. При большом количестве данных велика вероятность опровержения любой гипотезы, что впервые было выявлено в 1930-х годах. Вплоть до 1980-х годов считалось, что много статистических данных не бывает. Со временем с развитием техники удалось обеспечить хранение большого количества информации, ее сохранность,

Размещено на Allbest.ru