Общие вопросы статистического анализа экспериментальных данных

Размещено на http://www.allbest.ru/

Общие вопросы статистического анализа экспериментальных данных

План

Введение

1. Документирование и представление первичных данных

2. Программное обеспечение прикладной статистики

Введение

Математическая статистика является теоретической основой анализа экспериментальных данных. Она представляет собой научную дисциплину, предметом исследования которой являются математические методы систематизации и использования статистических данных для научных и практических выводов.

Термин "статистика" (от латинского status) и производные от него слова получили свое современное понимание относительно недавно - каких-то 150 лет назад, хотя само по себе слово известно еще со средних веков, когда оно обозначало политическое состояние и науку о политическом состоянии отдельных государств. С таким пониманием этого слова можно встретиться даже в художественной литературе того времени. Так, например, в сцене на кладбище в пятом акте "Гамлета" В. Шекспира главный герой произносит следующие слова: "Возможно, голова, с которой этот осел обходится так пренебрежительно, принадлежала какому-нибудь статистику, который собирался перехитрить самого господа Бога."

В дальнейшем термин "статистика" приобрел более узкий смысл, как описание рядов чисел, характеризующих отдельные стороны деятельности государства, а затем был перенесен и на числовые ряды из других областей знания, таких, например, как метеорология и антропология. Этот смысл слова "статистика" сохранился до нашего времени и является общеупотребительным. Это слово употребляется также еще в двух смыслах: как название математической дисциплины, являющейся предметом рассмотрения в настоящем разделе, а также для обозначения числовой характеристики, описывающей множество данных.

Основы статистики как математической дисциплины были заложены еще в трудах П. Лапласа и К. Гаусса по теории ошибок. Решающее значение для развития математической статистики сыграли работы представителей русской классической школы теории вероятностей П.Л. Чебышева, А.А. Маркова, А.М. Ляпунова и др. Практически в том виде, в каком она существует и поныне, математическая статистика, особенно в той части, которая связана с решением практических задач анализа экспериментальных данных, сформировалась в конце XIX и начале XX века. Именно в это время трудами Ф. Гальтона, К. Пирсона и Р. Фишера, инициированными необходимостью решения ряда практических задач из биологии, были разработаны новые разделы в математической статистике, получен ряд основополагающих теоретических результатов, проведена огромная работа по составлению статистических таблиц, позволивших сделать математическую статистику инструментов практического анализа данных наблюдений и экспериментов. математический статистика систематизация

Доказывать важность статистики для естествознания нет никакой необходимости. И если среди специалистов-естественников иногда и возникают споры о том, важна ли статистика или нет, то это частично объясняется естественным недоверием, которое возникает у каждого при знакомстве с какой-либо трудной и не до конца понятной теорией, а частично - резонной критикой злоупотреблений статистическими методами в некоторых практических задачах, в которых использование этих методов не является естественным.

В многочисленных применениях математической статистики можно разграничить три типа ее взаимоотношений с естествознанием. Во-первых, это создание математического аппарата некоторых разделов отдельных естественных наук, во-вторых, это описание случайных процессов, протекающих в системах самой разной природы, и наконец, это обработка результатов экспериментов и наблюдений.

В основе этих взаимоотношений лежат совершенно объективные причины. В первом случае - это статистический характер ряда фундаментальных законов природы, во втором - случайный характер событий, образующих сложные естественные процессы, в третьем - экспериментальный характер естествознания.

Статистические методы - это не только способ обобщения опытных данных в виде определенных показателей. И в общих, и в частных случаях эти методы способны служить основой для принятия правильных решений тогда, когда нужно сделать выбор между альтернативными подходами. Самым важным в статистических методах является то, что они способствуют более глубокому пониманию изучаемых объектов и процессов и соответствуют природе вещей в окружающей нас среде.

Анализ данных играет чрезвычайно важную роль в работе естествоиспытателя. Он требует большого опыта и, в определенной степени, базируется на интуиции. Возникает вопрос, что можно посоветовать студенту или начинающему исследователю, желающему как можно быстрее достичь достаточно высокого уровня в анализе данных? Или все, что остается сказать, так это посоветовать приобрести большой опыт, который и является основой как для выработки интуиции, так и для использования строгих логических методов в анализе данных?

Конечно, опыт - вещь незаменимая. Его приобретение в профессиональной области вообще, и в анализе данных, в частности, начинается, как правило, с заимствования исходных подходов из литературы или из общения со специалистами, когда собственного опыта и интуиции еще недостаточно. (Кстати, этот учебник, как и любой другой, есть в определенной части набор начальных рекомендаций для "подражания"). Однако только ознакомление с тем, как анализируют данные другие, недостаточно для того, чтобы профессионально овладеть анализом данных. И связано это вот с чем.

Излагая результаты исследований, гипотезы, лежащие в их основе, и методы, с помощью которых эти результаты были получены, обычно используют логическую реконструкцию проведенной работы, которая, вообще говоря, не имеет практически никакого отношения к реальным психологическим процессам, имеющим место при решении конкретных исследовательских задач.

В научных статьях, монографиях, да и в учебниках тоже, зачастую описывают все так, как если бы заранее было известно, какие результаты должны быть получены. Все жестко логически упорядочено, все следствия получаются в результате последовательных дедуктивных шагов. И у начинающего исследователя или студента может сложиться впечатление, что именно так и строится процесс анализа данных. На самом деле, однако, это совсем не так. Следует об этом помнить и развивать собственные способности интуитивно понимать существо исследуемого процесса или явления, не копирую слепо последовательность строго логических шагов, которые так часто приводятся в публикациях. Кстати, иногда такое положение связано с ограничениями на объем публикаций, так что не удается привести все сформулированные, но оказавшиеся впоследствии ложными гипотезы, результаты тех расчетов, которые оказались ненужными т.д.

Конечно, профессионализм в анализе данных предполагает наличие некоторых стандартных "схем", число которых в значительной мере зависит от характера тех задач, с которыми приходилось встречаться ранее. Однако число реальных ситуаций настолько велико, что отыскивать готовую схему, полностью применимую в конкретном случае довольно проблематично. И здесь мы переходим к некоторым рекомендациям, которые, возможно окажутся полезными для выработки собственного опыта в организации анализа данных.

Прежде всего, анализ данных следует рассматривать как последовательную итеративную процедуру, в ходе которой происходит все большее и большее извлечение информации из исходных "сырых" данных и формулирование все более содержательных выводов. Начинать следует с наиболее простых методов обработки данных, эволюционно наращивая сложность этих методов. Несмотря на кажущуюся тривиальность такой рекомендации, ее необходимо здесь привести, так как начинающие (да и не только начинающие) исследователи, особенно те из них, которые располагают современными пакетами прикладных программ статистического анализа, грешат использованием сразу очень сложных подходов к анализу данных. Итог, как правило, разочарование, так как с помощью вычисленных показателей, ввиду их сложности и неоднозначности, не удается дать содержательную трактовку в рамках анализа данных.

Вторая рекомендация состоит в том, что целесообразно использовать в качестве начального приближения набор методов по аналогии, извлекаемых из работ, где анализ данных привел к интересным результатам. Получаемые собственные результаты дают основание либо остановиться в дальнейшем анализе, либо попробовать в соответствии с поставленной задачей другие показатели или их комбинации для содержательной трактовки.

Но даже остановившись с анализом на данном этапе, следует помнить, что использование иных, чем те, что уже были использованы, методов анализа данных может позволить взглянуть на имеющиеся экспериментальные данные совсем с другой, не менее интересной стороны.

И вообще, необходимо отчетливо осознавать, что только использование разных наборов показателей и методов анализа, позволит получить достаточно содержательную трактовку экспериментальных данных. К сожалению, это становится ясным лишь после опробывания всех этих показателей и методов. Но именно такая "избыточная" работа способствует выработке умения и интуиции.

1. Документирование и представление первичных данных

Приступая к статистическому анализу, необходимо иметь достаточный объем качественных экспериментальных данных. Для их получения принципиально важно планирование экспериментов, которое при своем правильном использовании позволяет очень существенно сократить силы и средства для получения исходных данных и повысить эффективность последующего анализа. Планирование экспериментов в настоящее время является самостоятельной математической дисциплиной на базе математической статистики, знакомство с основными идеями которой необходимо каждому естествоиспытателю.

Ввиду того, что результаты наблюдений и измерений обладают изменчивостью, иногда значительной, желательно иметь как можно больше исходных данных. К сожалению, не всегда объем данных достаточно велик, и приходится для получения достоверных выводов прибегать к довольно изощренным методам анализа. Но при этом следует помнить, что по возможности необходимо получить как можно больший объем данных, так как это главный залог достоверности получаемых в результате статистического анализа выводов. Но при этом не следует затрачивать слишком большие усилия для получения соответствующих величин с очень высокой точностью, так как это почти не сказывается на окончательных результатах статистического анализа.

Данные, независимо от их объема, должны быть тщательно документированы, что существенно облегчает преемственность работы с ними разных специалистов, позволяет возвращаться к анализу этих данных вновь, в связи с появлением новых гипотез, и т.д. Такое документирование обязательно должно включать в себя имя, как самого исследования, так и имена собранных массивов данных, переменных и способов анализа. Все это достигается при современном уровне развития математического обеспечения ЭВМ довольно простыми средствами, но позволяет решать при этом очень важные задачи, связанные с контролем переменных при проведении дальнейшего статистического анализа, обнаружением неточностей и ошибок и т.д.

Если экспериментальных данных достаточно много, то возникает проблема их группировки, т.е. представления в более компактной и наглядной форме. При этом надо различать вопросы, связанные с представлением динамических рядов, и группировкой тех данных, для которых пространственные и временные факторы не играют существенной роли. В этой главе мы будем иметь дело с данными второго типа. Проблемы анализа динамических рядов будут специально рассмотрены в главе 47.

Кроме того, следует иметь в виду, что экспериментальные данные могут быть разнотипны, т.е. представлены в количественной или порядковой шкалах, а также быть одно- и многомерными. И хотя большинство из обсуждаемых в этом разделе методов предполагают работу с одномерными количественными данными, определенное место уделено, как многомерным методам, так и методам анализа данных, представленных ранговыми и двоичными переменными.

Статистические данные в "сыром" виде представляют, как правило, беспорядочную массу материала. Поэтому первой задачей статистического анализа является такая группировка данных, при помощи которой можно было бы оценить их значение в связи с поставленной задачей, облегчить сравнение с другими данными того же рода и получить возможность дальнейшего анализа. Прежде чем результаты измерений или наблюдений будут подвергнуты дальнейшей обработке и обобщению, позволяющим делать из них выводы, им должна быть придана определенная форма и ясная структура.

Первым этапом предварительного анализа данных является их ранжирование. Ряд называется ранжированным, если все его значения расположены в порядке возрастания. Ранжирование позволяет представить общую структуру данных и подготавливает основу для дальнейшего анализа. Следующим шагом является группирование, т.е. объединение результатов наблюдений в определенные совокупности. И здесь сразу возникает вопрос о ширине интервала группирования. Строгих правил для выбора интервала группирования, а следовательно, и для выбора ширины интервала не существует. Практический же опыт первичного анализа экспериментальных данных показывает, что удовлетворительным в подавляющем числе случаев является число интервалов от 5 до 15. При этом следует иметь в виду, что чем однороднее материал, тем число интервалов выбирается большим и наоборот.

Определив, на какое число групп будут разбиваться все данные, ширину интервала группирования находят из соотношения

,

где - ширина интервала,

- соответственно максимальное и минимальное измеренные значения,

- число интервалов группирования.

Определив число интервалов и их ширину, приступают к заполнению таблицы распределения численностей, т.е. определяют какое число экспериментальных значений попадает в каждый класс-интервал. Табл.1 представляет пример таблицы распределения численностей. В качестве исходных данных для ее построения использовались результаты измерений ширины головы взрослых мужчин.

Исходные данные, используемые для построения таблиц распределения численностей, измеряются с определенной точностью, и может оказаться, что расчет ширины интервала приводит к тому, что одно или несколько значений попадают точно на границу интервала. При этом возникает проблема, к какому класс-интервалу относить эти значения. Чтобы избежать неоднозначности, принято верхнюю границу каждого из класс-интервалов, кроме последнего, уменьшать на величину, которая на порядок меньше точности проводимого измерения. Данные, приведенные в табл. 1, измерялись с точностью до миллиметра, поэтому верхние границы интервалов были уменьшены на 0,1 мм. Если бы замеры велись с точностью до десятой миллиметра, то следовало бы уменьшить верхние границы на 0,01мм и т.д. Этим самым мы гарантируем себя от попадания измеренного значения точно на границу и от неопределенности, к какому класс-интервалу его относить.

Таблицы распределения численностей позволяют экспериментатору представит материал измерений и наблюдений в упорядоченном виде и служат исходным пунктом для дальнейшего анализа. Фактически в этих таблицах сконцентрирована вся информация о характере экспериментальных данных.

Учитывая, однако, что человек лучше ориентируется в графически представленных данных, чем в цифрах, желательно таблицы распределения численностей изображать графически. Вообще значимость этапа графического представления данных трудно переоценить. Зачастую оказывается, что визуальный анализ графических изображений может исчерпать исследование экспериментальных данных или, по крайней мере, внести в него существенные коррективы. Но даже если такого визуального анализа оказывается недостаточно, наглядное представление материала занимает важнейшее место в предварительном анализе экспериментальных данных.

Существует несколько типов графических изображений данных, содержащихся в таблицах распределения численностей. Важнейшими из них являются гистограмма, полигон и кривая накопленных частот.

Гистограммой называется столбиковая диаграмма, графически представляющая таблицу распределения численностей. Каждый столбик гистограммы имеет своим основанием отрезок, равный по величине ширине класс-интервала, а высота этого столбика равна в соответствующем масштабе числу значений попадающих в данный класс-интервал. Образец гистограммы, соответствующий данным, представленным в табл. 1, приведен на рис 1. Другие гистограммы приведены на рис.2-4. Из этих гистограмм видно, что экспериментальные данные могут иметь самый различный характер: быть симметричными или скошенными, уплощенными или заостренными и т.д. Обо всех этих особенностях эмпирических распределений численностей мы будем подробно говорить далее, а здесь отметим только следующее.

Количество данных, по которым строятся гистограммы, может быть самым разным, и, чтобы иметь возможность сравнивать между собой графики, построенные в одном случае по десяткам, в другом - по тысячам значений, необходимо строит гистограммы не в абсолютных цифрах числа значений, попадающих в определенный класс-интервал, а в относительных, представляющих собой долю, которое составляет это число от общего числа экспериментальных данных, включенных в таблицу распределения численностей (третий столбец в табл. 1).

Выше мы уже говорили о том, что число интервалов разбиения выбирается произвольно в диапазоне от 5 до 15. При отсутствии достаточного опыта это число может быть выбрано неудачно, что приводит или к чрезмерному сглаживанию гистограммы, или к тому, что гистограмма получается "рваной" (рис.5 а, б соответственно). Как бы то ни было, истинный характер распределения численностей при этом затушевывается. Чтобы избежать этого существует графический способ аппроксимации гистограмм непрерывными кривыми, суть которого состоит в следующем.

По обе стороны от крайних интервалов гистограммы откладывается по одному интервалу с нулевой численностью. Фактически это просто отрезки на оси абсцисс, равные по ширине значению класс-интервала. Отметив середины каждого столбика гистограммы, их соединяют через один между собой. Из середины каждого столбика восстанавливают перпендикуляр до пересечения с отрезком прямой, соединяющим середины соседних столбиков. Затем находят середину отрезка, заключенного между основанием перпендикуляра и точкой пересечения, найденной на предыдущем шаге. Если теперь соединить эти середины между собой плавной линией, то полученная кривая достаточно хорошо соответствует распределению численностей и является более информативной, чем исходная гистограмма. Хотя предложенный эмпирический метод аппроксимации не имеет строгого обоснования, он дает вполне удовлетворительные результаты. Графическое представление изложенной процедуры дано на рис.6.

Другой тип графического представления таблиц распределения численностей реализуется с помощью так называемого полигона частот. Для его построения из середин каждого интервала восстанавливается перпендикуляр, высота которого равна числу или доле числа значений, попадающих в этот интервал. Концы всех перпендикуляров последовательно соединяются ломаной линией. Для того, чтобы получить замкнутый многоугольник, крайние точки этой ломаной соединяются с точками, лежащими на оси абсцисс и представляющими середины интервалов с нулевой численностью, расположенных по обе стороны от крайних интервалов.

Построение и использование полигонов частот целесообразно в тех случаях, когда на одном графике хотят поместить для сравнения изображения нескольких распределений численностей. В этом случае применять гистограммы нежелательно, так как столбики перекрывают друг друга и рисунок становится недостаточно наглядным. На рис.7 приведен полигон частот по данным табл. 1.

Еще один вид графического представления исходных данных - так называемые кривые накопленных частот (огивы). Эти интегральные кривые используются для сравнения законов распределения исследуемых случайных переменных и понадобятся нам в дальнейшем при обсуждении критерия Колмогорова - Смирнова в гл. 45.

Так же, как и полигоны, кривые накопленных частот могут быть использованы для графического сопоставления двух и более распределений. Кроме того, с их помощью иногда можно визуально установить некоторые закономерности, не обнаруживаемые при рассмотрении гистограмм и полигонов.

Принцип подготовки данных, необходимых для построения кривой накопленных частот, становится очевидным из рассмотрения табл. 2. Первые три столбца этой таблицы повторяют табл.1. Два последующих представляют собой накопленные к началу каждого следующего класс-интервала численности и частоты соответственно. График, представляющий собой кривую накопленных частот, показан на рис.8.

Помимо трех упомянутых, существует еще целый ряд графиков и диаграмм, с правилами построения можно ознакомиться по рекомендуемой литературе и по описаниям к пакетам прикладных программ, о которых пойдет речь в следующем параграфе. Каждый из существующих видов графических изображений экспериментальных данных может оказаться наилучшим в зависимости от характера исходных данных и той цели, которой хотят достичь. Но независимо от вида любой правильно построенный и хорошо изображенный график способствует лучшему пониманию данных, представленных таблично, позволяет осуществлять операции контроля и в конечном счете глубже разобраться в существе изучаемых процессов или объектов. Вот почему первичный анализ и интерпретация обобщенных исходных данных обязательно должны сопровождаться наглядным графическим представлением.

2. Программное обеспечение прикладной статистики

Современные информационные технологии существенно облегчают проведение трудоемких вычислений при статистическом анализе экспериментальных данных, и без использования современной вычислительной техники и программного обеспечения трудно себе представить серьезную экспериментальную работу. Однако следует сразу сделать одно замечание. В настоящее время имеется достаточное число хороших методов обработки данных, пригодных для решения большинства возникающих задач статистического анализа, и программное обеспечение, реализующее эти методы. Поэтому так или иначе формальное решение почти любой задачи обработки данных может быть всегда получено. В этой связи исследователь-экспериментатор должен качеством исходных данных и содержательной интерпретацией гарантировать, что полученный машинными методами результат имеет под собой реальный смысл.

Одним из широко используемых программных продуктов являются электронные таблицы, включающие в себя, помимо электронных бланков экспериментальных данных, программы обработки этих данных и программы графического представления, как исходных данных, так и результатов их анализа. Кроме того, в состав программного обеспечения электронных таблиц входят специальные, ориентированные на конкретную электронную таблицу, языки программирования, позволяющие пользователю создавать собственные, не входящие в стандартный набор, библиотеки программ обработки и представления экспериментальных данных.

Программное обеспечение современных электронных таблиц за счет стандартизации электронных форматов представления исходных данных и результатов вычислений позволяет использовать их как для дальнейшей более сложной обработки, так и для передачи в базы данных, где они сохраняются и могут подвергаться дальнейшим преобразованиям.

Электронные таблицы в достаточно полной мере реализуют требования к документированию и паспортизации экспериментальных данных, позволяют легко их редактировать и пополнять. Просмотр электронных таблиц позволяет достаточно легко обнаруживать грубые ошибки, допущенные в ходе документирования или паспортизации данных, при их вводе в таблицы, а также аномальные значения, которые должны быть предметом специального анализа.

Электронные таблицы позволяют осуществлять сортировку данных, в том числе и ранжирование, и получать первые, грубые представления о характере распределения экспериментального материала.

Другим интенсивно развиваемым программным средством для статистического анализа с использованием ЭВМ, являются пакеты прикладных программ (ППП).

Развитие ППП идет как по пути разработки и включения в них новых алгоритмов статистического анализа, так и по пути совершенствования человеко-машинного интерфейса, обеспечивающего простоту и доступность проведения анализа даже относительно неквалифицированному пользователю.

Все современные ППП имеют тщательно подобранную и хорошо оформленную документацию, позволяющую составить себе представление о потенциальных возможностях этих пакетов и правилах работы с ними. С помощью простых инструкций можно формулировать задания для обработки экспериментальных данных и легко исправлять возникающие иногда при этом ошибки.

Естественно, что все ППП статистического анализа предусматривают диалоговый режим работы, позволяющий легко манипулировать данными, представленными или в электронных таблицах, или вводимыми непосредственно с клавиатуры, или попадающие в ЭВМ через систему автоматизированного проведения экспериментов. Они обеспечивают возможность организации последовательных многошаговых процедур обработки данных, в том числе и большой размерности. Кроме того, практически все существующие и перспективные ППП представляют промежуточные и окончательные результаты в виде, доступном для использования другими программами и на других типах ЭВМ.

Мы умышленно не обсуждаем возможности конкретных ППП, равно как и электронных таблиц (например, BMDP, SPSS, Excel и др.), предназначенных для документирования и статистического анализа экспериментальных данных, так как к моменту выхода этого учебника в свет появятся новые версии уже существующих или совсем новые программные продукты. Однако мы думаем, Что принципиальные их возможности, приведенные выше, останутся неизменными в течение ближайшей перспективы.

В заключение хочется обратить внимание на два момента, связанных с использованием вычислительных машин и пакетов прикладных программ для статистической обработки данных.

Во-первых, пользователям-экспериментаторам надо отрешиться от того почти мистического благоговения, с которым они относятся к вычислительным машинам. Машина, хоть и электронная и вычислительная, не более, чем машина - великолепный помощник при выполнении рутинных операций. Правда, ЭВМ делают для нас через программы и базы данных доступными опыт и знания, заложенные в них специалистами, но все равно не могут заменить "маленькие серые клеточки", так же, как и для знаменитого героя А. Кристи.

Во-вторых, результаты, получаемые с помощью ЭВМ, верны настолько, насколько не ошибаются программисты, создающие программы, и пользователи, собирающие данные и организующие ввод этих данных в ЭВМ.

И, наконец, в-третьих, учитывая индуктивный характер выводов, получаемых с помощью статистической обработки данных, и существующую веру в непогрешимость ЭВМ и их программное обеспечение, велика опасность дать содержательную трактовку любому полученному результату, всерьез демонстрируя шуточный "постулат": число разумных гипотез, объясняющих любое данное явление, бесконечно.

В заключение этой главы еще раз отметим, что применение статистических методов в естествознании по существу представляет собой выбор некоторой статистической модели, проверку ее соответствия экспериментальным данным и анализ статистических и содержательных результатов, вытекающих из ее рассмотрения. Основная цель - получение осмысленных заключений из подверженных разбросу данных. А основные решаемые задачи при обработке данных с использованием методов математической статистики:

выбор и определение вида распределений для полученных в эксперименте наборов случайных величин;

оценка параметров распределений;

сравнение параметров разных распределений;

выявление статистических связей.

Подходы к решению этих задач будут рассмотрены в последующих главах.

Размещено на Allbest.ru