Методологічні принципи забезпечення надійності результатів вибіркових обстежень населення

Размещено на http://www.allbest.ru/

КИЇВСЬКИЙ НАЦІОНАЛЬНИЙ ЕКОНОМІЧНИЙ УНІВЕРСИТЕТ

Автореферат

дисертації на здобуття наукового ступеня доктора економічних наук

МЕТОДОЛОГІЧНІ ПРИНЦИПИ ЗАБЕЗПЕЧЕННЯ НАДІЙНОСТІ

РЕЗУЛЬТАТІВ ВИБІРКОВИХ ОБСТЕЖЕНЬ НАСЕЛЕННЯ

САРІОГЛО Володимир Георгійович

УДК 311.21

Спеціальність 08.03.01 - Статистика

Київ - 2005

Дисертацією є рукопис

Роботу виконано в Інституті демографії та соціальних досліджень НАН України

Науковий консультант: доктор економічних наук, професор, академік НАН України Пирожков Сергій Іванович,

Інститут демографії та соціальних досліджень НАН України, директор

Офіційні опоненти: доктор економічних наук, професор

Герасименко Сергій Сергійович,

ВНЗ “Національна академія управління”, завідувач кафедри обліку, аудиту та статистики; доктор економічних наук, професор

Єріна Антоніна Михайлівна,

Київський національний економічний університет, професор кафедри статистики; доктор економічних наук, професор Черняк Олександр Іванович,

Київський національний університет ім. Тараса Шевченка, завідувач кафедри економічної кібернетики

Провідна установа: Харківський національний університет ім. В.Н. Каразіна Міністерства освіти і науки України, кафедра статистики, обліку та аудиту, м. Харків.

Захист відбудеться “19” грудня 2005 р. о 12 годині на засіданні спеціалізованої вченої ради Д126.006.01 у Київському національному економічному університеті за адресою: 03680, м. Київ, проспект Перемоги, 54/1, ауд. 317.

З дисертацією можна ознайомитись у бібліотеці Київського національного економічного університету за адресою: 03680, м. Київ, проспект Перемоги, 54/1, ауд. 201.

Автореферат розіслано “18” листопада 2005 р.

Вчений секретар спеціалізованої вченої ради, кандидат технічних наук, професор О.Д. Шарапов

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Вибіркові обстеження населення протягом останніх років в більшості країн світу стали ключовим джерелом інформації, що використовується для вимірювання та аналізу найважливіших соціальних явищ і процесів, розробки ефективних заходів соціальної політики. За даними вибіркових обстежень здійснюється моніторинг економічної активності населення, бідності, доходів і витрат домогосподарств, досліджуються особливості споживання населенням товарів та послуг, зміни рівня освіти та показників здоров'я населення тощо. Результати вибіркових обстежень також використовуються для контролю даних переписів населення та підсумків виборчих кампаній.

Постійне удосконалення методологічного, методичного, технологічного та технічного забезпечення обстежень надає можливість як розширення меж і масштабів застосування традиційних методів збору даних, так і розробки та впровадження нових методів, заснованих на сучасних інформаційних технологіях. Неухильно зростають обсяги отриманої від населення інформації та скорочуються терміни її обробки. Такі тенденції у зміні принципів розробки соціальної політики, як зміщення акцентів при оцінці соціального розвитку та ефективності соціальних програм на регіональний та місцевий рівень; зростання актуальності оцінювання показників для окремих верств населення - населення у стані бідності або злиденності, етнічних груп тощо; підвищення ролі багатовимірних, комплексних індикаторів соціального розвитку; застосування методів моделювання при розробці заходів соціальної політики та ін., призводять до необхідності розробки інформації на найнижчих рівнях агрегації даних та на мікрорівні.

Зазначені тенденції та широке використання результатів вибіркових обстежень для міжнародних порівнянь вимагають адекватного вирішення проблеми забезпечення належної якості інформації. Цим питанням останнім часом приділяється все більше уваги фахівцями національних та міжнародних статистичних служб, науковцями та користувачами. Авторитетними міжнародними статистичними організаціями розробляються спеціальні документи, що регламентують вимоги до якості результатів окремих обстежень населення, методи забезпечення якості, зміст документації щодо якості результатів для користувачів тощо. Все більш популярними стають ідеї розроблення підходів до управління якістю результатів соціальних досліджень, аналогічних тим, що розроблені в інших галузях виробництва товарів, послуг та інформації.

Теоретичні та прикладні аспекти якості результатів вибіркових обстежень населення розглядались багатьма дослідниками. Фундаментальні результати тут належать таким відомим вченим, як В. Гурвіц, Ф. Йейтс, Л. Кіш, У. Кокрен, К.-Е. Сарндал, Б. Свенсон, M. Хансен. Цими авторами закладені основи сучасного розуміння таких характеристик якості результатів вибіркових обстежень, як дисперсія вибіркових оцінок, їх точність та зміщення, а також досліджені особливості впливу дизайну вибірок на характеристики якості.

В Україні загальними проблемами забезпечення якості статистичних даних займаються такі вчені, як С.С. Герасименко, А.В. Головач, В.К. Захожай, А.М. Єріна, Е.М. Лібанова, Р.М. Моторин, О.Г. Осауленко, Н.О. Парфенцева,

С.І. Пирожков, А.П. Ревенко, Ю.І. Саєнко та ін. В наукових працях цих вчених розглядаються фундаментальні питання релевантності даних сучасним потребам користувачів, напрями покращання інформаційного забезпечення управлінських рішень. Вагомий внесок у вивчення проблеми якості даних вибіркових обстежень зробили О.М. Гладун, А.М. Єріна, В.І. Паніотто, В.М. Пархоменко, О.І. Черняк. Результати їх робіт стосуються насамперед особливостей організації обстежень, окремих аспектів обробки даних та оцінювання показників.

Сучасний етап розвитку статистики вибіркових обстежень характеризується революційними змінами у методологічних принципах використання зовнішньої інформації з метою уточнення оцінок показників за результатами обстежень населення. Насамперед слід відмітити роботи М. Гхоша, Н. Лонгфорда, Д.ФПфефферманна, Дж. Рао, А. Фея, Р. Херріотта та ін., присвячені розвитку методів малих територій, що дозволяють підвищити надійність оцінювання показників для регіонального рівня та окремих соціально-економічних груп населення. Роботи Дж. С. Девіла, К.-Е. Сарндала щодо методів калібрації забезпечують можливість ефективного вирішення проблеми оцінювання показників з урахуванням наявної додаткової інформації. В Україні наукові дослідження в цих напрямках практично не розвинуті. Крім того, відомі результати закордонних досліджень з зазначених питань стосуються, головним чином, окремих заходів з підвищення якості результатів обстежень, в той час як проблема забезпечення максимальної ефективності сучасних масштабних вибіркових обстежень населення вимагає комплексного, системного використання всіх можливостей покращання якості результатів.

Таким чином, проблема розробки методологічних принципів забезпечення надійності результатів вибіркових обстежень населення на основі останніх досягнень статистичної методології є актуальною для сучасної статистики і, зокрема, для державної статистики України.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційне дослідження безпосередньо пов'язане з роботами за темою “Побудова системи показників соціально-демографічного розвитку регіонів різного рівня” плану наукових робіт Інституту демографії та соціальних досліджень НАН України за програмою “Демографія та проблеми людського розвитку” (номер державної реєстрації 0103U005822), а також за темами “Розробка методичних рекомендацій щодо використання даних обстеження умов життя домогосподарств з урахуванням їх якості для проведення комплексного аналізу соціально-економічного розвитку України” (номер державної реєстрації 0102U001804), “Удосконалення системи показників та методології обробки і аналізу даних обстеження умов життя домогосподарств” та “Розробка методологічних підходів до підвищення якості оцінок показників для моніторингу бідності в Україні та на регіональному рівні” у рамках договору “Розробка методологічних положень статистики соціально-економічного розвитку України” (номер державної реєстрації 0103U007401) плану робіт Науково-дослідного інституту статистики Держкомстату України, що були здійснені на виконання пункту 3 “Створення методології та впровадження у практику проведення вибіркових обстежень домашніх господарств відповідно до міжнародних вимог” розділу ІІ “Перехід до нових форм статистичного спостереження” Заходів реалізації Програми реформування державної статистики на період до 2002 року, яка затверджена Постановою Кабінету Міністрів України від 27.06.1998 року № 971. Всі перелічені роботи виконувались за науковим керівництвом автора.

Мета та завдання дослідження. Метою дослідження є розроблення теоретико-методологічних принципів та засад забезпечення надійності оцінювання показників за результатами вибіркових обстежень населення, відповідного методичного забезпечення та рекомендацій, спрямованих на удосконалення системи оцінювання показників за результатами державних вибіркових обстежень в Україні.

Відповідно до мети дослідження, сформульовано наступні основні завдання, що розв'язувалися в дисертаційній роботі:

- визначити та обґрунтувати концептуальні принципи забезпечення максимальної надійності оцінювання соціально-економічних показників за результатами вибіркових обстежень населення на основі сучасних досягнень статистичної методології;

- дослідити методологічні аспекти реалізації основних етапів вибіркових обстежень населення, враховуючи необхідність забезпечення надійності їх результатів, та визначити основні фактори, що впливають на надійність, розробити підходи до оцінювання ступеня впливу окремих факторів та їх сукупного впливу;

- розробити методологічні та методичні засади обробки даних та оцінювання показників за результатами обстежень населення, що забезпечують їх максимальну статистичну ефективність;

- виконати статистичний аналіз впливу на надійність результатів вибіркових обстежень населення окремих принципів побудови дизайну вибірки, проведення обстеження, обробки даних та оцінювання показників;

- розробити рекомендації щодо найбільш ефективних механізмів забезпечення надійності результатів державних вибіркових обстежень в Україні;

- удосконалити теоретичні засади та прикладні аспекти вимірювання характеристик надійності оцінювання показників за результатами вибіркових обстежень населення в умовах застосування складного дизайну вибірок, ротації одиниць вибірок, ускладнених методів обробки даних, методів непрямого оцінювання тощо;

- дослідити основні джерела та принципи використання зовнішньої інформації, яка дозволяє підвищити ефективність побудови вибірки, обробки даних та оцінювання показників за результатами обстежень.

Об'єктом дослідження є процеси вибіркових обстежень населення.

Предметом дослідження є теоретико-методологічні засади та принципи забезпечення надійності результатів вибіркових обстежень, методи обробки даних та оцінювання показників, що характеризують соціально-економічні процеси та явища.

Методи дослідження базуються на загальнонаукових засадах і фундаментальних положеннях статистичної та економічної наук. У процесі дослідження використано методи системного і порівняльного аналізу, систематизації та синтезу досвіду досліджень якості статистичної інформації. Для реалізації методологічних засад та методичних підходів застосовано статистичні та математичні методи, зокрема вибірковий метод, економетричні методи, метод класифікацій.

Інформаційною базою виконаного дослідження є дані вибіркових обстежень населення України, насамперед державних, дані соціально-економічної статистики за період 1999 - 2004 рр.

Наукова новизна одержаних результатів полягає в розробленні концептуальних положень щодо основних статистичних принципів забезпечення надійності результатів сучасних вибіркових обстежень населення. Отримано ряд нових наукових результатів, розроблено методологічні основи забезпечення максимальної ефективності окремих етапів вибіркових обстежень населення, сформульовано науково обґрунтовані методологічні рекомендації щодо принципів забезпечення надійності результатів державних вибіркових обстежень в Україні та стратегічних напрямів розвитку цієї галузі статистики. Наукова новизна й особистий внесок автора сформульовані в конкретних положеннях, що винесено на захист:

вперше:

- розроблено концепцію забезпечення надійності оцінювання показників, яка ґрунтується на досягненнях сучасної статистичної методології поліпшення надійності;

- запропоновано систему характеристик, що дозволяють виявити та проаналізувати вплив окремих етапів обстеження на загальний рівень надійності оцінювання показників;

- розроблено та впроваджено методологічне та методичне забезпечення для обґрунтованого поширення результатів базових державних вибіркових обстежень населення на генеральну сукупність - все населення України;

- розроблено методологічне та методичне забезпечення для узгодження результатів вибіркових обстежень населення з інформацією з зовнішніх джерел та взаємоузгодження даних, отриманих для рівня домогосподарств та рівня осіб;

- запропоновано спеціальний підхід - стрижневий метод для вирішення проблеми коригування (калібрації) системи статистичних ваг з метою узгодження результатів вибіркового обстеження з наявною зовнішньою інформацією;

- розроблено методологічне та методичне забезпечення для реалізації заходів з підвищення рівня надійності даних вибіркових обстежень населення шляхом коригування системи статистичних ваг;

- запропоновано систему характеристик якості статистичних ваг, розроблено методичне забезпечення для їх вимірювання;

удосконаленo:

- методологічне та методичні положення щодо оцінювання характеристик надійності результатів вибіркових обстежень населення на основі наближених розрахункових методів;

- класифікацію зовнішньої інформації, що використовується при формуванні вибіркових сукупностей та при обробці даних обстежень населення;

- методологічне та методичне забезпечення імпутації відсутніх даних при обробці результатів обстежень населення;

дістали подальшого розвитку:

- методологічні положення щодо врахування відмов домогосподарств та осіб від участі в обстеженнях при обробці даних вибіркових обстежень населення;

- методологічне та методичне забезпечення врахування ротації одиниць вибірки та механізмів об'єднання даних з різних джерел на мікрорівні при обстеженнях населення;

- методологічні засади непрямого оцінювання показників за результатами вибіркових обстежень населення.

Практичне значення одержаних результатів. Розробки автора в частині побудови методологічних принципів, методик та алгоритмів для розрахунку систем статистичних ваг домогосподарств та осіб, побудови методичних принципів та алгоритмів для відбору одиниць територіальної вибірки, побудови методологічних принципів, методик та алгоритмів для обробки (імпутації) пропущених значень за результатами вибіркових обстежень домогосподарств, побудови методичних основ оцінювання якості результатів вибіркових обстежень домогосподарств (населення), здійснені на виконання Заходів реалізації Програми реформування державної статистики на період до 2002 року, яка затверджена Постановою Кабінету Міністрів України від 27.06.1998 року № 971, використані Державним комітетом статистики України при формуванні вибіркових сукупностей та обробці даних щоквартальних вибіркових обстежень умов життя домогосподарств та економічної активності населення (довідка № 15-2-8/10 від 12 лютого 2004 р.).

Розроблені автором методологічні принципи підвищення надійності оцінок показників за результатами вибіркового обстеження умов життя домогосподарств використані Міністерством праці та соціальної політики України при проведенні щоквартального моніторингу бідності, передбаченого Стратегією подолання бідності, яка затверджена Указом Президента України від 15.08.2001 року № 637, а також при складанні довгострокових планів на створення та впровадження спеціалізованих статистичних моделей для надійного оцінювання показників бідності на регіональному рівні (довідка № 024-179 від 13 грудня 2004 р.).

Окремі методологічні та методичні положення дисертаційної роботи використовуються в навчальному процесі. Зокрема, в Київському національному економічному університеті при викладанні навчальної дисципліни “Організація вибіркових обстежень”, яка реалізується в освітньо-кваліфікаційній програмі підготовки магістрів за спеціальністю “Прикладна статистика” (довідка від 20 жовтня 2004 р.); у Київському національному університеті ім. Тараса Шевченка при викладанні навчальної дисципліни “Вибіркові обстеження”, яка реалізується в програмі підготовки магістрів за спеціальністю “Математична статистика” (довідка № 047-025/07 від 22 жовтня 2004 р.).

Наукові розробки в частині побудови методологічних принципів уточнення оцінок статистичних показників доходів та витрат населення на основі комплексного використання даних різних вибіркових обстежень і даних комунальних підприємств на муніципальному рівні, розробки статистичних моделей платоспроможного попиту населення на комунальні послуги використані консультативною фірмою ПАДКО при реалізації проекту “Реформування тарифів та реструктуризація комунальних підприємств”, який впроваджується в Україні за фінансової підтримки Агентства США з міжнародного розвитку з жовтня 2000 року (довідка від 17 лютого 2004 р.).

За результатами виконаних досліджень сформульовано рекомендації органам державної статистики України з питань підвищення надійності оцінювання показників за даними державних вибіркових обстежень населення.

Дисертація закладає основи подальших досліджень в напрямку розроблення та впровадження механізмів підвищення якості результатів соціально-економічних вибіркових обстежень.

Особистий внесок здобувача Дисертаційна робота є завершеною працею, в якій викладено авторські підходи до розуміння проблеми забезпечення надійності результатів вибіркових обстежень. Викладені в дисертації наукові положення та висновки, що виносяться на захист, здобуті автором особисто.

Апробація результатів дисертації. Основні положення та результати дисертаційної роботи представлені на наукових та науково-практичних конференціях, семінарах, робочих зустрічах, круглих столах. Зокрема, на національній конференції “Статистика ринку праці та зайнятості дітей в Україні” (м. Ялта, 28 червня - 1 липня 1999 р.); міжнародній конференції “Problems of Economical Statistics in Transition Countries” (м. Київ, 24 - 26 жовтня 2001 р.); міжнародній конференції “Regional statistics in uniting Europe” (Poznaс - Јagуw, Польща, 2 - 5 вересня 2002 р.); навчальному семінарі “Інформаційне забезпечення ринку праці в Україні” (м. Ялта, 24 - 28 вересня 2002 р.); на 54-ій сесії Міжнародного інституту статистики (м. Берлін, Німеччина, 12 - 21 серпня 2003 р.); VII-ій Міжнародній школі “Математичні та статистичні методи в економіці, фінансах та страховій справі” (м. Ласпі, 8 - 13 вересня 2003 р.); Всеукраїнській науково-практичній конференції “Регіональні проблеми зайнятості і ринку праці” (м. Тернопіль, 12 - 13 травня 2004р.); міжнародній конференції “European Conference on Quality and Methodology in Official Statistics” (м. Маінц, Німеччина 24 - 26 травня 2004р.); міжнародному семінарі “Programme for Poverty Relief in Ukraine. Small Area Estimation for Regions (Oblast)” (м. Київ, 24 лютого, 2004 р.); нараді “Проблеми та завдання сучасного етапу впровадження нової системи проведення вибіркових обстежень населення (домогосподарств)” (м. Київ, 6 - 8 квітня, 2004 р.); на VIII-а Міжнародній школі “Математичні та статистичні методи в економіці, фінансах та страховій справі” (м. Форос, 20 - 25 червня 2004 р.); міжнародній науково-практичній конференції “Актуальні проблеми розвитку статистики” (м. Ялта, 21 - 24 вересня 2004 р.); міжнародній науковій конференції “Statistics in Management of Socio-Economic Development” (м. Київ, 20 - 22 жовтня 2004 р.); міжнародному навчальному семінарі з питань розповсюдження даних державних вибіркових обстежень населення на генеральну сукупність (м. Київ, 12 - 19 листопада 2004 р.); ІІ науково-практичній конференції з нагоди Дня працівників статистики “Система державної статистики в Україні: сучасний стан, проблеми, перспективи” (м. Київ, 2 грудня 2004 р.); нараді з користувачами інформації „Обстеження умов життя домогосподарств: аналітичні можливості, проблеми та перспективи” (м. Київ, 21 липня 2005 року).

Публікації. Результати виконаного наукового дослідження викладено в 34 наукових працях загальним обсягом 76,16 друк. арк., з них 2 - у монографіях, 20 - у наукових фахових виданнях, 5 - у матеріалах конференцій. Загальний обсяг публікацій, які належать особисто автору, - 27,86 друк. арк.

Структура і обсяг дисертації. Дисертація складається з вступу, п'яти розділів, висновків, списку використаних джерел, додатків. Загальний обсяг роботи - 391 сторінка друкованого тексту, який включає 35 рисунків, 44 таблиці та 3 додатки. Список використаних джерел містить 221 найменування на 21 сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми дисертаційної роботи, визначено мету й основні завдання дослідження, окреслено об'єкт, предмет та основні методи дослідження, відображено наукову новизну та практичну цінність одержаних результатів, зв'язок роботи з державними науковими програмами, відомості щодо апробації результатів дослідження, інформацію про кількість публікацій за темою дисертації.

У розділі 1 “Теоретико-методологічні засади оцінювання надійності даних вибіркових обстежень” розглядаються основні характеристики якості результатів обстежень населення, методологічні підходи до визначення характеристик статистичної надійності оцінювання показників за результатами вибіркових обстежень як базового виміру їх якості. Обґрунтовується необхідність комплексного, системного вирішення проблеми забезпечення надійності результатів обстежень з використанням новітніх методологічних підходів.

На основі результатів аналізу особливостей реалізації державних вибіркових обстежень населення в Україні встановлено, що в теперішній час вони фактично складають відкриту систему (див. рис. 1), яка постійно удосконалюється та ускладнюється Так з 1999 року до цієї системи як підсистеми входили обстеження умов життя домогосподарств (ОУЖД) та економічної активності населення (ОЕАН), з 2003 року до цих обстежень було приєднано обстеження сільськогосподарської діяльності домогосподарств в сільській місцевості (ОСГД). Крім того, з 2004 року програми зазначених обстежень гармонізовані, зокрема з метою забезпечення можливості поліпшення якості їх результатів. Щорічно для обстеження відбирається більше 120 тисяч домогосподарств, які репрезентують всі регіони України. Побудована система вибіркових обстежень заснована на сучасних методологічних принципах та міжнародних стандартах. Вона потенційно може розглядатися як складова системи вибіркових обстежень домогосподарств європейських країн.

В роботі обґрунтована актуальність проблеми забезпечення якості результатів вибіркових обстежень населення як основного джерела інформації для адекватного вимірювання найважливіших соціально-економічних процесів. Значна увага приділяється системі характеристик якості. Показано, що якість статистичних даних необхідно розглядати як комплексну характеристику даних. Для адекватного вимірювання якості даних потрібно аналізувати всі її основні виміри. З метою забезпечення якості результатів вибіркових обстежень населення доцільно контролювати як максимальні, так і мінімальні рівні окремих її характеристик.

В теперішній час, у відповідності з міжнародними рекомендаціями, основними узагальнюючими вимірами якості даних вибіркових обстежень населення є наступні: релевантність, надійність, своєчасність і пунктуальність, доступність та ясність, порівнянність та узгодженість. На підставі цих вимірів, якісними результатами вибіркових обстежень населення слід вважати отримані у встановлені строки надійні дані щодо характеристик генеральної сукупності, що з максимальною повнотою відповідають потребам користувачів, узгоджені з наявними достовірними даними з інших джерел і доступні для використання.

В роботі доведено, що серед вимірів якості особливо місце належить характеристикам надійності оцінок показників. Це обумовлено тією обставиною, що певний рівень надійності відповідає результатам будь-якого вибіркового обстеження, надійність відображає суть вибіркового методу вимірювання характеристик генеральної сукупності.

Під надійністю результатів вибіркових обстежень розуміють, що результати відповідають реальному стану явищ або процесів, які є об'єктами обстежень, отримані оцінки показників близькі до дійсних їх значень для генеральної сукупності, а похибки не перевищують заданих меж і можуть бути оцінені за допомогою стандартних статистичних процедур.

На основі систематизації та узагальнення існуючих методологічних підходів в роботі сформульовані положення щодо найбільш актуальних напрямів досліджень проблем забезпечення необхідного рівня надійності даних. Доведено доцільність виділення досліджень і практичних робіт з питань забезпечення якості результатів вибіркових обстежень населення в окремий напрямок, що дозволить більш ефективно опрацьовувати, удосконалювати та впроваджувати існуючі методологічні та методичні розробки.

За результатами виконаних досліджень встановлено, що для розрахунку характеристик надійності оцінок показників за результатами вибіркових обстежень населення в теперішній час доцільно застосовувати наближені методи, які забезпечують можливість врахування реального дизайну вибірки; можуть застосовуватись для різних дизайнів вибірки та для всіх основних типів оціночних функцій і для будь-яких кластерів у межах вибірки; забезпечують мінімальні витрати часу; реалізовані у вигляді сучасних програмних засобів тощо.

В роботі доведено, що державні вибіркові обстеження населення (домогосподарств) в Україні, за результатами яких вимірюються показники, головним чином забезпечують можливість надійного їх оцінювання на загальнодержавному рівні. Оцінки, отримані для менших територіальних одиниць або для окремих груп населення, у багатьох випадках є недостатньо надійними і потребують застосування спеціальних підходів для уточнення.

Для забезпечення необхідної надійності оцінок показників доцільним є комплексне, системне застосування наступних основних підходів:

- розроблення дизайну вибірки з урахуванням проблеми забезпечення необхідного рівня надійності;

- використання ускладнених методів обробки первинних даних, зокрема методів імпутації при обробці відсутніх даних та спеціальних процедур обробки екстремальних значень;

- застосування досконалих процедур зважування та методів калібрації статистичних ваг для врахування наявної зовнішньої інформації;

- застосування спеціальних методів оцінювання показників, зокрема на основі методів моделювання;

- застосування процедур об'єднання даних з різних джерел.

З метою забезпечення максимальної ефективності вибіркового обстеження в аспекті надійності результатів для кожного основного його етапу запропоновано розраховувати та аналізувати відповідну характеристику впливу на надійність - коефіцієнт статистичної ефективності. Вказаний коефіцієнт розраховується як відношення величини дисперсії (або, за наявності зміщення оцінок, середньоквадратичної похибки) вибіркових оцінок показника після реалізації певного етапу до величини дисперсії, що спостерігалась перед реалізацією цього етапу.

За умови послідовної реалізації зазначених вище методологічних підходів інтегральний коефіцієнт статистичної ефективності оцінювання певного показника за результатами обстеження може бути представлений у вигляді:

, (1)

де - коефіцієнт статистичної ефективності дизайну вибірки (дизайн-ефект); - коефіцієнт статистичної ефективності процедур зважування; - коефіцієнт статистичної ефективності процедур калібрації системи статистичних ваг; - коефіцієнт статистичної ефективності процедур об'єднання даних на мікрорівні;  - коефіцієнт статистичної ефективності методу оцінювання показників.

Таким чином, інтегральний коефіцієнт статистичної ефективності оцінювання (1) дорівнює відношенню величини дисперсії (або середньоквадратичної похибки) вибіркових оцінок певного показника після реалізації всіх етапів обробки даних та оцінювання до початкового значення дисперсії. За початкове значення, як правило, приймається величина дисперсії, розрахована для реального обсягу вибірки за умови, що вибірка побудована на основі механізму простого випадкового відбору.

У розділі 2 “Статистичне оцінювання впливу дизайну вибірки на надійність результатів обстежень населення” висвітлюються особливості врахування дизайну реальних вибірок, сформованих для обстежень населення, при визначенні рівня надійності їх результатів. Досліджуються джерела, тип, структура та якість зовнішньої інформації, що використовується при формуванні вибірки, оцінюється вплив зовнішньої інформації на похибки при визначенні ймовірностей відбору і, відповідно, величини базової ваги одиниць вибірки та характеристик надійності. Певна увага приділяється таким порівняно новим методологічним підходам, як врахування при розрахунках системи ваг схем ротації одиниць у вибірці та процедур об'єднання даних на мікрорівні - на рівні осіб або домогосподарств. Розкриваються окремі питання якості первинних даних вибіркових обстежень.

Головним принципом, на якому ґрунтується можливість використання вибіркового методу, є принцип репрезентативності, що вимагає незміщеності оцінок показників генеральної сукупності за результатами вибіркового обстеження. В статистичній літературі принцип репрезентативності вибірки ототожнюється з принципом імовірнісності вибірки, за яким кожний елемент генеральної сукупності повинен мати відому позитивну імовірність потрапити до вибірки при її формуванні. Можливість дотримання принципу репрезентативності ускладнюється тим, що сучасні вибіркові обстеження, насамперед державні обстеження населення, як правило, мають складний дизайн вибірки. Крім того, все частіше використовуються складні процедури обробки даних та оцінювання показників. За результатами досліджень запропоновані підходи, що забезпечують репрезентативність отриманих даних за зазначених умов.

Результати виконаних досліджень свідчать, що зовнішня інформація використовується майже на всіх етапах формування вибірки складного дизайну. Коректність зовнішньої інформації, її якість значною мірою впливають на достовірність оцінок імовірностей відбору одиниць і, як наслідок, на надійність визначення їх статистичних ваг та оцінювання показників. За цих обставин актуальною є проблема оцінки якості інформації, яку було використано при формуванні вибірки, на основі даних вибіркового обстеження. Вирішення цієї проблеми дозволяє в цілому поліпшити якість отриманих даних за рахунок виправлення помилок або викривлень, яких не вдалося виправити під час формування вибірки. В роботі запропоновані спеціальні підходи до оцінки якості зовнішньої інформації та редагування статистично ненадійних даних.

На сучасному етапі розвитку статистики статистичними службами все більше уваги приділяється проблемі належної обробки та підготовки первинних даних обстежень населення, їх зберіганню та забезпеченню комплексності їх використання. Все ширшого застосування на практиці знаходять методи обробки відсутніх даних, що обумовлено тенденціями до зростання ступеня відмов респондентів від відповідей на окремі запитання, обмеженістю ресурсів, необхідних на виправлення окремих помилок шляхом повторних відвідувань з респондентами та ін. Фактично процедури заповнення відсутніх значень за окремими ознаками - процедури імпутації - сьогодні є обов'язковим елементом обробки первинних даних обстежень населення. В дисертації сформульовано ряд принципів, яких необхідно дотримуватись при застосуванні методів імпутації, розроблені відповідні методичні рекомендації. Увагу приділено також особливостям впливу імпутації на надійність оцінювання показників.

У розділі 3 “Принципи поширення результатів вибіркового обстеження на генеральну сукупність” розглядаються методологічні принципи статистичного зважування як основного методу поширення результатів вибіркових обстежень на генеральну сукупність.

В дисертаційній роботи система статистичних ваг розглядається як скелет всього процесу оцінювання показників, від якості та “міцності” якого суттєво залежить репрезентативність та надійність результатів вибіркового обстеження, можливість навантаження обстеження такими потужними механізмами оцінювання, як методи калібрації, малих територій, об'єднання даних і, як наслідок, можливість оптимального вирішення проблеми забезпечення надійності оцінювання показників і максимальної статистичної ефективності обстеження.

Статистичні ваги визначаються шляхом реалізації спеціальної багатоетапної процедури розрахунків. Ваги кожного етапу аналізуються окремо і зберігаються як важливі результати обробки даних обстеження. Набір ваг всіх етапів є системою статистичних ваг. При оцінюванні показників, як правило, використовуються лише кінцеві ваги обстежених одиниць. Система статистичних ваг домогосподарств (осіб), що були обстежені, є невід'ємною складовою результатів будь-якого достатньо серйозного вибіркового обстеження населення. За результатами досліджень сформульовані наступні основні положення щодо переваг зважування:

- процедури зважування призначені для врахування реальних ймовірностей включення одиниць до вибірки, що особливо важливо при нерівноімовірнісному відборі;

- ваги дозволяють врахувати фактичні рівні участі відібраних одиниць в обстеженні;

- шляхом зважування можна зменшити вплив на результати обстеження недосконалостей основи вибірки та окремих невибіркових похибок;

- через систему ваг реалізуються процедури коригування (поліпшення) оцінок показників шляхом використання складних оціночних функцій (оцінки за відношенням, оцінки за регресією тощо) та узгодження результатів обстеження з зовнішньою інформацією;

- системи ваг дозволяють об'єднувати результати різних вибіркових обстежень на нижчих рівнях агрегації даних та на мікрорівні.

В дисертації обґрунтовуються основні принципи побудови системи ваг: врахування реального дизайну вибірки, адекватне відображення структури відмов від обстеження, максимальне врахування достовірної додаткової інформації, забезпечення узгодженості ваг рівня домогосподарства та рівня членів домогосподарства, задоволення певним спеціальним вимогам (наприклад, це можуть бути обмеження максимальних та (або) мінімальних значень ваг, недопустимість від'ємних значень ваг тощо).

В роботі доведено, що незважаючи на теоретичну самозваженість вибірок в державних обстеженнях економічної активності населення та умов життя домогосподарств, в цих обстеженнях необхідно враховувати систему ваг при оцінюванні показників. У табл. 1 наведені дані, що ілюструють рівень якості незважених та зважених оцінок. Загальна похибка оцінювання визначається з урахуванням зміщення оцінок, що виникає, насамперед, внаслідок неврахування структури відмов окремих осіб від обстеження. Як свідчать результати досліджень, загальні похибки оцінювання за незважених даними, як правило, значно вищі у порівнянні з похибками зважених оцінок. В дисертації аналізується вплив системи ваг на якість оцінок для основних показників обстежень умов життя домогосподарств та економічної активності населення.

Таблиця 1

Порівняння зважених і незважених оцінок показників бідності та характеристик їх якості для рівня України (ОУЖД, 2004 р.)

Показник	Зважена оцінка	Незважена оцінка
Чисельність бідних, тис. осіб	12624,4	13160,1
Стандартна похибка вибірки, тис. осіб	335,0	312,7
Загальна похибка, тис. осіб	335,0	620,3
Рівень бідності, %	27,35	29,23
Стандартна похибка вибірки, %	0,79	0,75
Загальна похибка, %	0,79	2,02

Для запобігання грубим викривленням у результатах вибіркових обстежень населення, пов'язаним з відмовами домогосподарств та осіб від участі в обстеженнях, необхідним є застосування спеціальних заходів. В дисертації обґрунтовано ефективність методології компенсації інформації, втраченої внаслідок відмов домогосподарств (осіб) від обстеження, шляхом коригування статистичних ваг обстежених одиниць.

Існують три основних підходи до врахування відмов від обстеження шляхом коригування системи ваг. Перший підхід - це коригування ваг на основі інформації по генеральній сукупності. Другий підхід - коригування ваг на основі інформації, отриманої по вибірці. Третій підхід - коригування ваг на основі спеціальних моделей, що побудовані, зокрема, для врахування механізму виникнення відмов. Всі ці підходи передбачають розділення вибірки на комірки, класи зважування. При обробці даних реальних обстежень населення, як правило, застосовують комплексні методики компенсації втрат інформації за рахунок відмов від обстеження, що включають елементи двох перших або всіх трьох розглянутих підходів. Результати виконаних досліджень дозволили розробити методологічні основи відповідних підходів та реалізувати їх у вигляді конкретних методик в ряді обстежень населення, насамперед державних.

Ефективність процедур зважування для врахування відмов від обстеження залежить від ступеня подібності одиниць спостереження у кожній комірці. При цьому подібність одиниць визначається не лише за ознаками, що були використані для побудови комірок, а й за всіма іншими ознаками. Ефективні комірки об'єднують одиниці, подібні за основними причинами відмов від участі в обстеженні. В роботі запропоновані принципи побудови комірок для окремих обстежень. Доведено, що необхідно проводити спеціальні дослідження з метою визначення правил побудови, кількості та розміру комірок зважування для врахування відмов у кожному окремому обстеженні. Крім того, для ефективної компенсації відмов від обстеження шляхом коригування системи статистичних ваг необхідно визначати ознаки, потрібні для побудови комірок, ще на етапі планування вибіркового обстеження та забезпечувати отримання відповідної інформації при його проведенні. За умов неналежної компенсації інформації, втраченої внаслідок відмов, оцінки показників за результатами обстеження можуть бути суттєво зміщеними.

Важливою проблемою є те, що необхідність розрахунку системи ваг ускладнює технологію обробки результатів вибіркового обстеження. Варіативність ваг, що, як правило, зростає від етапу до етапу розрахунку ваг (див. рис. 2), призводить до зростання величини дисперсій вибіркових оцінок показників. Це вимагає контролю за якістю самих ваг.

Контроль якості системи статистичних ваг також дозволяє уникнути помилок при розрахунках ваг, зокрема при створенні та застосуванні відповідних автоматизованих процедур.

В дисертації запропоновано спеціальну систему характеристик якості статистичних ваг, принципи їх розрахунку та застосування.

У розділі 4 “Методологія калібрації статистичних ваг” розглядаються методологічні засади узгодження результатів вибіркових обстежень з наявною зовнішньою інформацією шляхом коригування системи статистичних ваг.

Будь-яке масштабне обстеження населення, що проводиться державними органами статистики або іншими авторитетними організаціями, є унікальним за такими ознаками, як масив отриманих первинних даних, система показників, оцінених за результатами обстеження, принципи організації та проведення обстеження, обробки даних, особливості поширення інформації серед користувачів тощо. Насамперед це стосується вибіркових обстежень населення, оскільки, по-перше, дизайн вибірки розробляється на основі існуючих актуальних джерел даних і є, в певному розумінні, унікальним; по-друге, на багатьох етапах обстеження необхідно враховувати те, що обстежується не вся генеральна сукупність, а певна, спеціально відібрана її частина.

В дисертації значна увага приділяється проблемі узгодження результатів вибіркових обстежень населення з наявною якісною зовнішньою інформацією для підвищення рівня їх репрезентативності та корисності. Таке узгодження частіше за все доцільно проводити на мікрорівні - для двох рівнів одиниць, домогосподарств та осіб. Найбільш обґрунтованим шляхом вирішення проблеми узгодження результатів вибіркового обстеження з зовнішніми даними є коригування системи статистичних ваг.

В роботі доведено, що з відомих в теперішній час узагальнених методів коригування системи статистичних ваг з метою узгодження результатів обстеження з декількома зовнішніми розподілами для різних типів одиниць найбільш теоретично розробленим і ефективним є метод калібрації, який полягає у розв'язанні спеціальної задачі мінімізації зміни величини ваг в процесі узгодження результатів обстеження з зовнішніми даними.

Постановка задачі калібрації як задачі мінімізації відстані між вагами дизайну і калібраційними (відкоригованими) вагами за умови, що, наприклад, в обстеженні домогосподарств для певного регіону є достовірна зовнішня інформація щодо загальної кількості домогосподарств та статево-вікової структури населення.

В дисертації досліджені джерела зовнішніх даних, що можуть використовуватись для калібрації систем ваг у вибіркових обстеженнях, принципи формування масиву зовнішніх даних для коригування системи ваг, сформульовані постановки задач для реалізації процедур калібрації при різних комбінаціях зовнішніх даних.

За результатами виконаних досліджень встановлено, що процедура калібрації дозволяє вирішити окрему задачу узгодження ваг рівня домогосподарств та рівня осіб за відсутності зовнішньої інформації. Процедура калібрації надає також можливість узгодження оцінок показників при використанні різних методів оцінювання для різних груп даних комплексних вибіркових обстежень, забезпечуючи порівнянність даних. Відповідні механізми розроблені в дисертації та впроваджені при реалізації обстежень.

Основні переваги застосування методу калібрації статистичних ваг полягають в наступному:

- калібраційна оціночна функція відповідає узагальненій регресійній оціночній функції та має такі самі статистичні властивості, але при цьому зовнішня інформація враховується через систему статистичних ваг, а не шляхом застосування спеціальних процедур розрахунку показників. Важливими наслідками цього є можливість розрахунку показників на базі стандартних формул і стандартних пакетів програм, а також те, що зовнішня інформація автоматично враховується при розрахунках всіх оцінок показників;

- калібрація статистичних ваг призводить до підвищення надійності оцінювання показників за наявності кореляції між ознаками, що відомі з зовнішніх джерел, і ознаками, що необхідно оцінити за результатами вибіркового обстеження;

- всі оцінки показників автоматично узгоджуються з наявною зовнішньою інформацією;

- за певних умов калібрація дозволяє компенсувати інформацію, втрачену внаслідок відмов від обстеження, і, відповідно, зменшити величину зміщення оцінок показників.

Основними недоліками методів калібрації є наступні:

- може погіршуватись якість системи ваг, зокрема можуть продукуватись негативні та нульові ваги;

- може погіршуватись якість оцінок окремих показників;

- виникають проблеми з визначенням зовнішньої інформації належної якості та з вибором оптимальної кількості зовнішніх джерел даних.

В роботі запропоновано спеціальний метод калібрації - стрижневий метод. За цим підходом системі ваг домогосподарств (осіб) ставиться у відповідність система взаємопов'язаних стрижнів. Коригування ваг при калібрації розглядається як процес розтягування або стискування системи стрижнів. Показано, що в окремих випадках розв'язання задачі калібрації на основі запропонованого підходу є більш ефективним, ніж за традиційними методами, що виражається в меншому ступені зміни величин ваг в процесі калібрації.

У розділі 5 “Концепція забезпечення надійності результатів вибіркових обстежень населення” розглядаються основні концептуальні положення, що дозволяють вирішувати проблеми підвищення рівня надійності оцінок основних показників за результатами вибіркових обстежень населення. Головна увага приділяється питанням комплексного, системного застосування розроблених методологічних підходів.

За результатами виконаних досліджень побудовано систему принципів - концепцію забезпечення надійності результатів вибіркових обстежень населення.

Концепція заснована на можливостях, що надаються сучасною статистичною методологією в галузі підвищення рівня надійності результатів обстежень населення, і виходить з теоретичної можливості забезпечення необхідного рівня надійності оцінювання будь-якого показника за результатами вибіркового обстеження.

Головною метою концепції є забезпечення максимальної корисності результатів вибіркових обстежень населення для користувачів шляхом найбільш повного використання всіх можливостей поліпшення надійності оцінок показників. При цьому, на відміну від класичних підходів, головний акцент зроблено на шляхах вирішення проблеми надійності для реальних ускладнених умов, а саме:

- в умовах діючого обстеження, коли відсутні можливості оптимізації дизайну вибірки або збільшення її обсягу. Прикладом такої ситуації є необхідність забезпечення для обстежень, що проводяться на постійній основі (щомісячно, щоквартально, щорічно), певного рівня надійності оцінювання показників на регіональному та місцевому рівні або за певними групами населення, хоча при проектуванні обстеження до уваги брався лише національний рівень;

- за умов, коли виникає необхідність вимірювання нового показника (системи показників) за результатами діючого обстеження, що не було передбачено програмою обстеження при його плануванні. За поширений приклад даної ситуації може бути взята необхідність надійного вимірювання системи показників бідності та злиденності на основі результатів діючого обстеження доходів і витрат населення, коли вимірювання бідності не було метою запровадження обстеження;

- за умов, коли явище або процес, які досліджуються в обстеженні, розвиваються так, що надійність оцінювання показників стає недостатньою. Наприклад, якщо за результатами обстеження можуть надійно оцінюватись рівні безробіття понад 10%, то за умови його зменшення до величини близько 5% надійність оцінювання може стати вже незадовільною.

Зазначена головна мета концепції досягається за рахунок розроблення спеціальних механізмів та заходів при реалізації основних етапів обстеження.

Результати застосування розробленої концепції для вирішення реальних проблем з надійністю даних державних вибіркових обстежень дозволили встановити високу статистичну ефективність окремих механізмів підвищення надійності оцінювання (рис. 3).

Як свідчать дані, наведені на рис. 3, такі заходи, як калібрація системи статистичних ваг (у даному випадку реалізована процедурою постстратифікації), об'єднання даних з різних джерел, застосування методів непрямого оцінювання здатні значно підвищити загальну статистичну ефективність оцінювання показників. Слід враховувати також, що при цьому досягається підвищення якості результатів обстеження за рахунок забезпечення їх узгодженості з зовнішніми даними.

Реалізація окремих механізмів розробленої концепції дозволила суттєво підвищити якість оцінювання основних показників за результатами державних вибіркових обстежень населення. На рис. 4 представлені дані, що ілюструють ступінь зміни надійності оцінювання рівня безробіття по сільській місцевості за регіонами України за результатами обстеження економічної активності населення.

У 2004 році було змінено дизайн вибірки зазначеного обстеження у порівнянні з вибіркою 2003 року, що дозволило значно підвищити кількість територіальних одиниць (сільських рад), які обстежуються, без збільшення обсягу вибірки. Крім того, у 2004 році впроваджено опитування частини домогосподарств, що відібрані для обстеження їх сільськогосподарської діяльності за програмою ОЕАН. Об'єднання даних цих обстежень, з урахуванням відмінності дизайнів вибірок, надало можливість також поліпшити оцінки показників.

В дисертації розроблено методологію забезпечення порівнянності оцінок, отриманих при прямому і непрямому оцінюванні, шляхом застосування спеціальної процедури калібрації статистичних ваг.

Запропоновано підходи до ефективного оцінювання показників за результатами реальних обстежень на основі композиційних методів, що дозволяють об'єднувати прямі та непрямі оцінки.

Концепція, а також окремі механізми її реалізації впроваджені у реальних обстеженнях, що проводяться як державними органами статистики, так і недержавними організаціями. Зокрема, крім розглянутих обстежень запропоновані підходи використані протягом 2001 - 2004 років при обстеженнях платоспроможності населення та його готовності сплачувати за спожиті комунальні послуги у містах Хмельницький, Луцьк, Мелітополь, Єреван та Ванадзор (Республіка Вірменія).

З метою підвищення ефективності практичного використання результатів виконаних досліджень в органах державної статистики України в дисертації сформульовано ряд рекомендацій методологічного та організаційного характеру.

ВИСНОВКИ

У дисертації здійснено теоретичне узагальнення і нове вирішення наукової проблеми розробки методологічних принципів забезпечення надійності результатів вибіркових обстежень населення, запропоновано концепцію забезпечення надійності та механізми її реалізації в реальних вибіркових обстеженнях.

Проведене автором дослідження дозволило сформулювати наступні висновки.

1. Сучасний етап розвитку вибіркових обстежень населення характеризується суттєвим розширенням сфери їх застосування, розробкою нових підходів, заснованих на прогресивних інформаційних технологіях, підвищенням ефективності використання результатів обстежень шляхом гармонізації їх програм, застосуванням спеціальних методів узгодження даних з різних джерел, наданням користувачам як агрегованих даних, так і первинних даних обстежень.

Базові державні вибіркові обстеження в Україні - обстеження економічної активності населення, умов життя домогосподарств та обстеження сільськогосподарської діяльності домогосподарств в сільській місцевості - фактично вже протягом п'яти років є відкритою системою обстежень, що постійно удосконалюється та ускладнюється. При цьому зазначена система з самого початку будується як потенційна підсистема системи вибіркових обстежень європейських країн.

За таких умов проблеми забезпечення якості результатів вибіркових обстежень населення, насамперед державних, які є джерелом унікальних і вкрай необхідних даних щодо соціально-економічного становища населення України, набувають особливої актуальності.