Стратифікований випадковий відбір

Досить часто на практиці при проведенні вибіркового обстеження доступна деяка додаткова інформація щодо популяції, яка досліджується. Наприклад, відомо, що для деяких підмножин (субпопуляцій) середнє значення величини, яка цікавить дослідника, суттєво різняться. У такому випадку можливо дістати більш точні оцінки величини, що характеризує популяцію, за допомогою використання стратифікованого випадкового відбору.

При стратифікованому відборі популяція, що містить N одиниць, спочатку поділяється на субпопуляції (підпопуляції), що складаються відповідно з N_1, N₂,..., N_L одиниць. Ці підпопуляції не містять спільних одиниць і разом вичерпують усю популяцію, так що

N₁ + N₂ +... + N_L = N.

Такі підпопуляції називають стратами. Для того, щоб можна було повністю скористатися вигодами від стратифікації, значення N₁, N₂,…, N_L повинні бути відомі. За визначених страт, вибірка добувається з кожної страти, при цьому відбір у різних стратах відбувається незалежно. Обсяги вибірок всередині страт позначаються відповідно через n₁,n₂,..., n_L.

Якщо у кожній страті добувають просту випадкову вибірку, то спосіб відбору в цілому називається стратифікованим випадковим відбором (див рис.1).

Стратифікація є досить розповсюдженим методом. Це зумовлено багатьма причинами; наведемо основні з них.

1. Якщо бажано одержати з певною точністю дані про деякі підпопуляції популяції, то кожну таку підпопуляцію рекомендуєтся розглядати на правах самостійної "популяції".

2. Застосування стратифікації може бути продиктоване организаційними міркуваннями, наприклад, агентство, що здійснює вибіркове обстеження, може мати районні відділи, кожний з яких забеспечує проведення вибіркового обстеження деякої частини популяції.

3. Проблеми, пов'язані з відбором у різних частинах популяції, суттєво різняться. При вибіркових обстеженнях осіб, що перебувають у таких закладах, як готелі, лікарні, в'язниці, часто виділяють в окрему страту на відміну від осіб, що мешкають у звичайних будинках, оскільки до відбору в цих двох випадках необхідний різний підхід. При вибірковому обстеженні, розпочатому з метою вивчення ділової активності, ми можемо скласти список великих фірм, виокремивши їх в окрему страту. Для більш дрібних фірм можна застосувати один з видів територіального відбору.

4. Стратифікація дає виграш у точності при оцінюванні характеристик усієї популяції. Іноді неоднорідну популяцію вдається розділити на підпопуляції, кожна з яких внутрішньо однорідна. Якщо кожна страта однорідна в тому сенсі, що результати вимірювань в ній досить мало змінюются від одиниці до одиниці, то можна одержати точну оцінку середнього значення для будь-якої страти за невеликою вибіркою в цій страті. Далі ці оцінки можна об'єднати в одну точну оцінку для всієї популяції.

У теорії стратифікаційного відбору розглядаються властивості оцінок, знайдених за стратифікованими вибірками, та умови визначення найкращих обсягів вибірки за стратами, n_h, для отримання максимальної точності. Передбачається, що самі страти вже створені.

Для найбільш повного використання потенційних можливостей техніки стратифікованого випадкового обстеження необхідно розв'язати деякі практичні питання побудови стратифікованої вибірки. Перша проблема полягає у поділі всієї популяції на страти, а друга - у виборі методу отримання випадкової вибірки і методу оцінювання для кожної страти.

Введемо наступні позначення. Індекси h та i відповідають номеру страти та номеру одиниці в страті. Нехай

N_{h -} загальне число одиниць в страті h;

n_h - число одиниць у вибірці зі страти h;

Y_{h i} - значення, отримане для i-ої одиниці популяції в страті h;

y_{h i -} значення, отримане для i-ої одиниці вибірки зі страти h;

- вага страти h;

- частка відбору в страті h;

- середнє значення змінної Y популяції в страті h;

-вибіркове середнє значення змінної y в страті h;

- дисперсія змінної Y в страті h популяції.

Відмітимо, що у знаменнику оцінки дисперсії стоїть (N_h - 1).

В роботі ставиться задача порівняння стратифікованого випадкового відбору при пропорційному та при оптимальному розміщенні з простим випадковим відбором на прикладі вибіркового обстеження домогосподарств гіпотетичного міста StatVillage.

Розділ І. Стратифікований випадковий відбір

1.1 Властивості оцінок

При стратифікаційному відборі обсяги вибірок n_h у відповідних стратах визначає дослідник. Їх можна вибирати так, щоб мінімізувати D при визначених витратах C на здобуття вибірки або мінімізувати витрати за визначеної величини D.

Найпростіша функція витрат має вигляд

(1.3.1)

Для кожного страти h витрати пропорційні обсягу вибірки n_h, але витрати у розрахунку на одну одиницю, с_h, можуть змінюватись від страти до страти. Вільний член c₀ відповідає накладним витратам. Така функція виправдана, якщо основну частину витрат складають витрати на вимірювання кожної одиниці. Якщо ж істотну частину витрат складають витрати на пересування від однієї одиниці до іншої, то, як показали практичні й теоретичні дослідження, цим шляховим витратам більше відповідає вираз , де t_h - шляхові витрати у розрахунку на одиницю. Будемо розглядати тільки лінійну функцію витрат виду (1.3.1).

Теорема 1.3.1 При стратифікованому випадковому відборі з функцією витрат вигляду (1.3.1) дисперсія оцінки середнього значення популяції мінімальна, якщо n_h пропорційні .

Доведення. Задача полягає у мінімізації виразу

за умов, що

c₁n₁ + c₂n₂ + … + c_Ln_L = С - с₀.

Застосовуючи метод множників Лагранжа, виберемо n_h і множник л такими, що мінімізують

або, що те ж саме,

.

Продиференціюємо останній вираз за n_h і прирівнюємо до нуля:

або, . (1.3.2)

Підсумовуючи по всіх стратах, отримаємо:

, або, (1.3.3)

Остаточно поділивши (3.2) на (3.3) приходимо до

 (1.3.4)

Теорема доведена.

Ця теорема задає наступні правила відбору. У даній страті необхідно вибирати вибірку більшого обсягу, якщо:

1) страта більше;

2) у страті більша варіація ознаки;

3) відбір у страті обходиться дешевше.

Для того, щоб завершити розміщення, залишилось зробити ще один крок. Рівняння (1.3.4) вказує n_h у частках п, проте ми ще не знаємо, яке значення n обрати. Розв'язання останнього питання залежить від того, чи повинна вибірка забезпечити певні загальні витрати С або певну дисперсію D.

Якщо незмінні витрати, то необхідно підставити оптимальні значення n_h

у функцію витрат (1.3.1)

і розв'язати рівняння відносно п. Отримаємо:

 (1.3.5)

Якщо незмінна дисперсія D= D, то необхідно підставити оптимальні значення n_h

у формулу для D.

Отримаємо:

, де W_h = N_h / N.

Важливий частинний випадок виникає при c_h = с, тобто коли витрати у розрахунку на одиницю в усіх стратах однакові.

Загальні витрати набувають вигляду:

С = с₀ + сп,

і оптимальне розміщення при незмінних витратах зводиться до оптимального розміщення при незмінному обсязі вибірки. У цьому частинному випадку теорема 1.3.1 набуває наступного вигляду.

Теорема 1.3.2 При стратифікованому випадковому відборі із незмінним загальним обсягом вибірки п дисперсія D мінімальна, якщо

. (1.3.7)

Таке розміщення називають неймановим розміщенням, оскільки воно набуло поширення після роботи Неймана (Neyman, 1934). Як було з'ясовано пізніше, цей результат був отриманий раніше Чупровим (Tschuprow, 1923).

Мінімальне значення дисперсії при незмінному п отримаємо, якщо підставити значення n_h з (1.3.7) у загальну формулу для D. У результаті знаходимо:

При раціональному застосуванні стратифікація майже завжди призводить до зменшення дисперсії оцінок середніх або сумарних значень у порівнянні із простою випадковою вибіркою того ж обсягу. Проте не вірно вважати, що будь-яка стратифікована випадкова вибірка дає меньшу дисперсію, ніж проста випадкова вибірка. Якщо значення n_h далекі від оптимальних, то стратифікований відбір може дати більшу дисперсію. Насправді при незмінному загальному обсязі вибірки більшу дисперсію може дати навіть стратифікування із оптимальним розміщенням, хоча такий результат має скоріш академічний інтерес, ніж практичне значення.

Порівняємо простий випадковий відбір із стратифікованим випадковим відбором при пропорційному розміщенні та при оптимальному розміщенні . Це порівняння проілюструє, з чого складається виграш, який зявляється при стратифікації. Псп в даному випадку не враховується.

Дисперсії оцінок середніх значень позначаються відповідно через D_{ran (}ran - random) для простого випадкового відбору, D_{prop (}prop - proportional) для стратифікованого відбору із пропорційним розміщенням і D_{opt (}opt - optimal) для стратифікованого відбору із оптимальним розміщенням .

Теорема 1.4.1 Якщо знехтувати величинами порядку n_h/N, то справедливі нерівності

(1.4 1)

де оптимальне розміщення розглядають при незмінному п, тобто при n_h ~ N_hS_h.

Доведення. Якщо знехтувати псп, то

 перетворюється на , (1.4 2)

перетворюється на (1.4 3)

перетворюється на

У підрозділі 1.2 були наведені формули для визначення п при оптимальному розміщенні вибірки. У цьому підрозділі пропонуються формули для будь-якого виду розміщення та розглядаються деякі особливі випадки.

Припускається, що оцінка має визначену дисперсію D. Якщо замість неї є визначеною похибка оцінки е, то можна скористатися рівністю:

D = (е/t) ^2,де t - верхня б/2-границя нормального розподілу з параметрами (0,1).

Якщо необхідно оцінити долю одиниць популяції, що відносяться до певного визначеного класу С, то ідеальне стратифікування ми отримали б, якщо би були у змозі включити у першу страту всі одиниці із класу С, а в другу - всі інші. Не маючи такої можливості, ми намагаємось розірвати страти таким чином, щоб частка одиниць із класу С змінювалась від страти до страти як можна більше.

Нехай

,

частки одиниць із класу С відповідно у страті h і у вибірці з цієї страти, A_n - число одиниць класу С в популяції, a_n - число одиниць класу С у популяції.

Нехай y_hi - змінна, яка приймає значення 1, якщо одиниця належить класу С, і значення 0 в іншому випадку. Природною оцінкою частки одиниць для усієї популяції при стратифікованому випадковому відборі буде

(1.6 1)

Теорема 1.6.1. При стратифікованому випадковому відборі дисперсія Dр_st дорівнює:

(1.6 2)

Доведення.

Теорема є частинним випадком загальної теореми про дисперсію оцінки середнього значення.

За теоремою 1.3:

.

Було доведено, що для такої змінної

.

Звідси випливає твердження теореми.

Зауваження.

Майже в усіх випадках, навіть якщо не можна знехтувати псп, можна відкинути члени порядку 1/N_h, і тому застосовувати дещо простішу формулу:

(1.6 3)

Наслідок 1.6.1. Якщо псп можна знехтувати, то

(1.6 4)

Наслідок 1.6.2. При пропорційному розміщенні

(1.6 5)

(1.6 6)

Для отримання вибіркової оцінки дисперсії треба у будь-яку з наведених формул підставити p_hq_h/ (n_h - I) замість невідомих P_hQ_h/n_h.

Мінімальна дисперсія при незмінному загальному обсязі вибірки.

Звідси

(1.6 7)

Мінімальна дисперсія при незмінних витратах, де витрати дорівнюють :

 (1.6 8)

Значення п визначається таким же чином, як і в підрозділі 1.2

1.7 Визначення обсягу вибірки при оцінюванні часток

1. У популяції із N=6 і L=2 y_hi приймають значення 0, 1, 2 для страти 1 і 4, 6, 11 для страти 2. Необхідно добути вибірку обсягом n=4.

а) показати що оптимальні n_h, що відповідають нейманову розміщенню, округлені до цілих чисел, будуть n1=1 для страти 1 и n₂=3 в страти 2;

б) знайти оцінки для всіх вибірок, які можна отримати при оптимальному та пропорційному розміщенні n_h. Знайти і.

в) перевірити, що отримане значення співпадає із значенням, отриманим за формулою:

.

Застосування формули

для знаходження дає не зовсім вірну відповідь, за рахунок округлення до цілих величин n_h. На яку величину отримане за цією формулою значення відрізняється від вірного?

Розв'язання.

, N = 6,

а) оптимальні n_h,що відповідають нейманову розміщенню знаходять за формулою:

.

, .

б) 1) стратифікований відбір із пропорційним розміщенням n_h

n₁ = 2, n₂ = 2.

, .

2. Необхідно провести вибіркове обстеження домогосподарств у місті з метою оцінити середню вартість рухомої власності на одне домогосподарство. Домогосподарства поділені на 2 страти: з високим та низьким рівнем квартирної платні. Вважається, що вартість власності на одне домогосподарство у страті з високим рівнем квартирної платні приблизно у 9 разів більше, ніж у страті з низьким рівнем, і що S_h можуть бути пропорційні квадратному кореню з середнього значення для страти.

Страта з високим рівнем квартирної платні нараховує 4000 домогосподарств, а з низьким - 20000. Як розподілити вибірку обсягом в 1000 між двома стратами?

Розв'язання.

n=1000, N₁=4000, N₂=20000.

Скористаємось оптимальним розміщенням:

.

,

.

3. У таблиці наведені дані про стратифікацію всіх ферм деякого графства за розміром ферми та про середню кількість акрів на одну ферму в кожній страті.

Для вибірки обсягом в 100 ферм підрахувати обсяги вибірок у кожній страті при

а) пропорційному розміщенні n_h,

б) оптимальному розміщенні n_h.

Порівняти точність цих методів з точністю при простому випадковому відборі.

n=100.

a) Пропорційне розміщення:

, , .

n₁=20, n₂=23, n₃=19, n₄=17, n₅=8, n₆=6, n₇=7.

б) Оптимальне розміщення:

Розділ ІІ. Порівняння точності стратифікованого та простого випадкового відбору

StatVillage - це гіпотетичне місто в Канаді, яке складається з домогосподарств, розташованих у системі блоків на прямокутній ґратці, кожен блок містить 8 домогосподарств. Усередині кожної групи з 8 домогосподарств розташовується номер блоку. Нумерація домогосподарств у блоці відбувається так, як вказано на рисунку 2.1.1

Рис 2.1.1 Нумерація домогосподарств в блоці

Окреме домогосподарство обирають встановивши відмітку на відповідній клітинці. Приклад заповнення блоку вказаний на рисунку 2.1.2

Рис 2.1.2 Приклад заповнення блоку

Існує три різновиди міста StatVillage:

1) найбільше - 128 блоків;

2) середнє - 60 блоків;

3) найменше - 36 блоків.

За вибіркою характеристик домогосподарств міста StatVillage ми можемо оцінити велику кількість змінних, таких як: кількість осіб, кількість жінок та чоловіків, зокрема за різними віковими категоріями, вартість житла, загальний сімейний прибуток тощо.

Дані, наведені для кожної окремої сім'ї є реальними даними анонімних відповідей взятих з перепису населення, проведеного в 1991 році в Канаді. Ці дані були відсортовані за спаданням загального прибутку і розташовані у системі блоків (зліва направо та зверху вниз).

2.2 Постановка задачі

оптимальне розміщення для U₂, n₂=28 randcomb (384,28);

оптимальне розміщення для U₃, n₃=5

randcomb (384,5);

простий випадковий відбір

n=96

randcomb (1024,96);

У місті StatVillage обираємо серед домогосподарств ті, номера яких були отримані за допомогою програми Maple 8.0. Отже, маємо:

1) для стратифікованого випадкового відбору з пропорційними розміщенням та розбиттям на 3 страти.

1 страта

2 страта

3 страта

2) для стратифікованого випадкового відбору з пропорційними розміщенням та розбиттям на 4 страти

1 страта

2 страта

3 страта

4 страта

3) для стратифікованого випадкового відбору з оптимальним розміщенням та розбиттям на 3 страти

1 страта

2 страта

3 страта

4) для стратифікованого випадкового відбору з оптимальним розміщенням та розбиттям на 4 страти

1 страта

2 страта

3 страта

4 страта

5) для простого випадкового відбору

Ми здобули вибірки відмічених домогосподарств і одержали вибірки характеристик цих домогосподарств, зокрема, вибірки

загального прибутку сім'ї

Таблиця 2.3.1 Загальний прибуток сімей

та вибірки кількості жителів домогосподарств

Таблиця 2.3.2 Кількість жителів домогосподарств

2.3.5 Дисперсії оцінок

І. Знайдемо оцінку загального прибутку домогосподарств при простому випадковому відборі

Дисперсія оцінки дорівнює

,

Знайдемо оцінку загального прибутку домогосподарств при стратифікованому відборі із пропорційним розміщенням n_h та розбиттям на 3 страти n₁ = 24 - 9,375% із 256 одиниць в страті 1,n₂ =36 - 9,375% із 384 одиниць в страті 2,n₃ = 36 - 9,375% із 384 одиниць в страті 3.

,

,

При розбитті на 4 страти

n₁ = 24 - 9,375% із 256 одиниць в страті 1,n₂ =24 - 9,375% із 256 одиниць в страті 2,n₃ = 24 - 9,375% із 256 одиниць в страті 3,n₄ =24 - 9,375% із 256 одиниць в страті 4,

,

Знайдемо оцінку загального прибутку домогосподарств при стратифікованому відборі із оптимальним розміщенням n_h та розбиттям на 3 страти n₁ = 63 - 24,61% із 256 одиниць в страті 1,n₂ =28 - 7,29% із 384 одиниць в страті 2,n₃ = 5 - 1,3% із 384 одиниць в страті 3,

,

При розбитті на 4 страти n₁ = 67 - 26,17% із 256 одиниць в страті 1,n₂ =3 - 1,17% із 256 одиниць в страті 2,n₃ = 23 - 8,98% із 256 одиниць в страті 3,n₄ =3 - 1,17% із 256 одиниць в страті 4,

,

2.4 Порівняння стратифікованого випадкового відбору з простим випадковим відбором

Дисперсія оцінки загального прибутку при простому випадковому відборі:

.

Дисперсія оцінки загального прибутку при стратифікованому випадковому відборі з пропорційним розміщенням і розбиттям на 3 страти:

.

Дисперсія оцінки загального прибутку при стратифікованому випадковому відборі з пропорційним розміщенням і розбиттям на 4 страти: