Основы научных исследований

В отличие от r_ух, множественный коэффициент корреляции изменяется в интервале

Это связано с тем, что коэффициенты парной корреляции обычно бывают разных знаков и для предотвращения самокомпенсации они возводятся во вторые степени, а из их суммы извлекается квадратный корень.

С помощью множественного коэффициента корреляции нельзя установить, является положительной или отрицательной корреляция между факторами и откликом. Только в том частном случае, когда все коэффициенты парной корреляции имеют одинаковые знаки, этот знак можно отнести и к множественной корреляции.

В простейшем случае трех переменных коэффициент множественной корреляции имеет вид

,

где - коэффициент парной корреляции между факторами.

Если факторы между собой не коррелированны, то (13.5) упрощается

(13.6)

Коэффициент множественной корреляции используется и как показатель полноты регрессионной модели. По нему можно судить, достаточно ли введено факторов в эксперимент. Если не все существенно влияющие факторы учтены, то коэффициент множественной корреляции, естественно, будет небольшим. Если все существенно влияющие факторы учтены, то этот коэффициент будет близким к 1. Практически модель считается полной, если ее коэффициент множественной корреляции >0,7. Если он меньше этой величины, но не меньше 0,5 то это говорит только о наличии корреляционной связи между факторами и откликом, но не о полноте модели. А поскольку от полноты модели зависит ее работоспособность (см. лекцию №17), то нужно стремится еще при планировании эксперимента ввести в него все существенные факторы.

13.3 Коэффициент частной корреляции

Показывает интенсивность связи между двумя переменными при фиксировании или исключении влияния остальных переменных.

Пусть имеет место множественная корреляция. Если случайные величины x₁ и x₂ тесно коррелированны друг с другом и отклик у зависит от x₁, то у будет также коррелировать и с x₂. При этом возможно, что между у и x₂ нет причинной связи и корреляция косвенная, через x₁. Поэтому необходимо исследовать частную корреляцию между у и x₁ при исключении влияния x₂ на у. Эта задача решается при помощи вычисления коэффициента частной корреляции r_y1.2:

(13.7)

Т.о. вычисление коэффициентов частной корреляции сводится к вычислению коэффициентов парной корреляции.

По (13.7) можно установить соотношения между этими коэффициентами. Если r_y2 = r₁₂ = 0, то r_y1.2 = r_y1. Если r₁₂ = 0, то r_y1.2 по модулю будет больше r_y1, а r_y2.1 - больше r_y2. Т.о. с уменьшением связи между x₁ и x₂ будет усиливаться коэффициент частной корреляции по сравнению с соответствующим коэффициентом парной корреляции. Это увеличение тем сильнее, чем больше по модулю r_y1 или r_y2. Если r_y2= 0, то r_y1.2 по модулю будет больше r_y1 и r_y2.1 больше - r_y2, если r_y1=0. Если коэффициенты корреляции имеют противоположные знаки, то всегда по модулю r_y1.2 будет больше r_y1.

В общем случае коэффициент частной корреляции любого фактора может быть найден по формуле:

(13.8)

При вычислениях по (13.8) сначала нужно найти коэффициенты парной корреляции, а затем приступать к определению коэффициентов корреляции более высокого порядка.

14.1 Постановка задачи регрессионного анализа

Основное назначение регрессионного анализа (РА) - получение по экспериментальным данным зависимостей, аппроксимирующих эти данные в виде алгебраических формул. Эти зависимости называются регрессионными моделями объектов исследования и в общем виде выглядят следующим образом

,

где е - помеха эксперимента.

Ограничимся рассмотрением только линейных по параметрам регрессионных моделей

(14.1)

где - среднее значение отклика;

а₀ - свободный член;

а_j - коэффициент регрессии при j-том факторе;

f_kj - k-тая базисная функция при j-том факторе;

q_j - число базисных функций j-того фактора;

n - число факторов.

Например:

В данном примере переменная аппроксимирована полиномом 2-й степени, скорость деформирования - логарифмической функцией, а температура - степенной.

Несмотря на наличие нелинейных базисных функций, зависимость (14.1) является линейной по параметрам, поскольку параметры регрессии - коэффициенты регрессии - входят в нее в первой степени. Однако благодаря наличию базисных функций такой моделью можно аппроксимировать и нелинейные зависимости.

Система базисных функций выбирается до проведения РА на основе априорной информации. Наиболее часто используются в качестве базисных функций полиномиальные переменные:

Ї 1-й степени: f₁(x₁) = x₁; f₂(x₂) = x₂... f_k(x_n) = x_n;

Ї 2-й степени: f₁(x₁) = x₁²; f₂(x₂) = x₂²... f_k(x_n) = x_n² и т.д.

Однако применяются и другие элементарные функции, а также полиномы Чебышева, Лежандра и т.п.

Теоретически в РА считается, что вид модели (14.1) известен и нужно по экспериментальным данным найти неизвестные коэффициенты регрессии и свободный член. Практически указать заранее форму будущей регрессии (т.е. набор базисных функций), адекватной объекту исследования, можно только в редких случаях. Обычно адекватная регрессия отыскивается методом проб и ошибок. При этом используется принцип постепенного усложнения модели. Вначале применяется простейшая линейная модель

,

и если она оказывается не адекватной, то порядок полинома увеличивается или же используются базисные функции иного вида.

14.2 Основные предпосылки регрессионного анализа

Методика РА создана с использованием некоторых предпосылок. Если они не выполняются, то корректное выполнение всех процедур РА приведет к неверным результатам. Поэтому при проведении РА необходимо обеспечить выполнение тех предпосылок, которые находятся под контролем исследователя, и проверить после проведения РА выполнение тех, которые от исследователя не зависят.

Всего имеется 5 основных предпосылок:

1. Помеха эксперимента е является случайной величиной с и . Постоянство дисперсии , называемой дисперсией воспроизводимости, означает, что интенсивность помехи не меняется при изменении значений факторов, т.е. величина не зависит от конкретного значения у_i в эксперименте. Выполнение этого требования нельзя обеспечить, поскольку оно определяется природой исследуемого объекта. Но выполнение его можно проверить статистическим анализом результатов эксперимента.

2. Помеха эксперимента подчиняется нормальному распределению с параметрами: (в соответствии с 1-й предпосылкой). Проверяется эта предпосылка после проведения эксперимента по распределению откликов в опытах или по специально поставленному опыту с фиксированными факторами и многократным дублированием. 3. Значения помехи эксперимента е в различных опытах не коррелированны. В активных экспериментах, где факторы управляемы, это требование обеспечивается рандомизацией опытов. Для этого порядок проведения опытов выбирают случайным образом. Рандомизация теоретически не может гарантировать полную не коррелированность помехи е, но на практике считается, что этого достаточно. В пассивных экспериментах, где факторы изменяются произвольным образом, для обеспечения данного требования необходимо временной интервал съема данных делать намного, на несколько порядков большим длительности действия исследуемых факторов.

4. Ошибка измерения или установки факторов x_i равна нулю. Это требование вытекает из самого определения регрессии как односторонней стохастической связи, но оно не может быть выполнено абсолютным образом. Его понимают так: вклад, вносимый случайными ошибками измерения или установки факторов в дисперсию воспроизводимости должен быть пренебрежимо мал по сравнению со вкладом других причин, образующих помеху е. Поэтому практически требуется, чтобы факторы измерялись с точностью, значительно превышающей корень квадратный из дисперсии эксперимента .

5. Факторы x_i должны быть взаимно не коррелированными. Выполнение этого требования необходимо для получения раздельных оценок коэффициентов регрессии с целью получения возможности изучения влияния каждого фактора на отклик отдельно. Невыполнение этого требования, кроме смешивания эффектов, приводит также к большим ошибкам вычислительного характера при оценивании коэффициентов регрессии.

В пассивных экспериментах выполнение этого требования проверяется расчетом парных коэффициентов корреляции между факторами после проведения опытов. Если окажется, что имеются > 0,4-0,5, то смешивание эффектов есть и модель не пригодна для изучения влияния каждого фактора на отклик отдельно (но может быть использована для расчетов их совместного влияния, хотя и с точностью существенно меньшей, чем точность эксперимента, по которому получена эта модель). Если > 0,8, то один из факторов (х_i или х_j) из модели можно исключить, повторив РА без этого фактора, и получить модель без смешивания эффектов.

В активных экспериментах выполнение данного требования можно обеспечить соответствующим выбором плана эксперимента. Если план обладает свойством ортогональности, то корреляция между факторами гарантированно отсутствует.

Особенно внимательно нужно относится к данному требованию при проведении модельных экспериментов. В этих случаях переменные всегда представляются в безразмерном виде, что даже при отсутствии корреляции между размерными параметрами процесса ведет к ее появлению между безразмерными. Например

Изменение параметра Н автоматически приводит к изменению всех безразмерных симплексов. Поэтому в модельных экспериментах нужно варьировать всеми размерными параметрами, хотя критериальное представление переменных позволяет варьировать n-k факторами, что и создает соблазн воспользоваться этой возможностью.

15.1 Метод наименьших квадратов

Пусть проведен однофакторный эксперимент, в котором исследована зависимость у от х. Установлено, что основные предпосылки регрессионного анализа выполняются. Требуется найти функцию регрессии .

Рассмотрим вначале простейший случай, когда эмпирическая зависимость может быть хорошо аппроксимирована линейной функцией

Задача линейного РА состоит в том, что, зная положение экспериментальных точек на плоскости ХОУ, так провести линию регрессии, чтобы ее отклонение от всех точек было минимальным, как это показано на рисунке 15.1.

Рисунок 15.1 Линейная регрессия

При выборе линии регрессии можно, казалось бы, добиваться выполнения условия

,

т.е. чтобы сумма отклонений всех расчетных точек от экспериментальных была равна нулю. Но соблюдение этого условия не позволяет однозначно определить линию регрессии, т.к. все прямые, проходящие через точку с координатами , удовлетворяют этому условию.

Для однозначного выбора функции регрессии используется какая-нибудь естественная характеристика точности аппроксимации. Чаще всего используется дисперсия остатков

(15.1)

Следовательно, мерой отклонения расчетных точек от экспериментальных в этом случае является сумма квадратов отклонений. Очевидно, что прямая наилучшим образом будет аппроксимировать экспериментальные данные, если будет минимальной. Для этого нужно минимизировать функцию

(15.2)

Метод, основанный на минимизации суммы квадратов отклонений расчетных значений откликов от экспериментальных называется методом наименьших квадратов (МНК).

С его помощью отыскиваются такие значения а₀ и а_і, которые сводят к минимуму . Для этого вычисляются частные производные от (15.1) и приравниваются к нулю

(15.3)

(15.4)

Воспользовавшись правилом Крамера, получим

(15.5)

Свободный член можно определить и проще, воспользовавшись уравнением прямой линии в следующем виде

15.2 Нелинейный регрессионный анализ

Линейные по параметрам регрессионные модели можно использовать для аппроксимации нелинейных зависимостей путем их линеаризации с помощью базисных функций . Например, эмпирические точки достаточно хорошо укладываются на кривую обратной гиперболы (рис. 15.2а). Очевидно, что преобразованием независимой перемен-ной перейти к линейной зависимости (рис.15.2б).

Рисунок 15.2 Линеаризация нелинейной зависимости

Следовательно, линеаризация состоит в подборе подходящей базисной функции, превращающей нелинейную зависимость в линейную. Практически следует нанести эмпирические точки на плоскость ХОУ и оценить, какая из известных функций может аппроксимировать данную кривую. Затем осуществить соответствующее преобразование х или у.

Например, если подходящей аппроксимацией является логарифмическая функция, то или . Получим линейные зависимости

или

Далее проводится линейный регрессионный анализ и определяются а₀ и а₁. Затем осуществляется обратное преобразование: или и получается искомая нелинейная зависимость.

15.3 Множественный регрессионный анализ

При исследовании многофакторных зависимостей возникает необходимость во множественном регрессионном анализе (МРА). Как и в случае однофакторных зависимостей, для определения функции регрессии используется МНК. Однако при этом решение системы уравнений, дающее значения а₀ и а_i существенно затруднено их большим количеством - число уравнений в системе равно числу опытов эксперимента, а оно не может быть меньшим, чем d+1. Поэтому МРА осуществляется при помощи компьютеров, которые решают системы нормальных линейных уравнений одним из численных методов (например, методом Гаусса-Жордана).

Для ввода массива данных в компьютер он записывается в виде матрицы: