Управление статистическим процессом

Идентификационные коды могут быть напечатаны как штрих-коды и отсканированы из собранных форм. Большинство программ баз данных предоставляют отличные возможности для печати формы. Список единиц выборки и вопросы анкеты обеспечивают составляющие для создания файла микроданных, в который будут записаны данные опроса. Как было отмечено ранее, выборки неизбежно имеют ряд недостатков. Некоторые из них могут быть легко исправлены. Среди них наиболее важными являются устранение очевидного дублирования и обновление последних сообщений об изменении адреса. Стоит потратить некоторое время и усилия на проверку и последние обновления перед отправкой анкеты. Это позволит предотвратить раздражение респондентов, поможет уменьшить нагрузку на них и снизить процент отсутствия ответов, а также сэкономить время на более поздних этапах процесса сбора. Респонденты должны быть проинформированы заранее о новых обследованиях, а также о существенном изменении анкет. Это позволит им адаптировать свои информационные системы. Предварительное объявление может сопровождаться рекомендацией профессиональной организации или другими учреждениями, представляющими респондентов. Кроме того, НСС может способствовать опросам, предоставляя сведения для СМИ. Респондентам должно быть предложено обращаться в НСС в случае возникновения проблем. Проблемы, обычно сообщаемые по телефону, касаются идентификации единиц, запросов о задержке или освобождении от обязательств и запросов о помощи оперативной службы.

Ввод данных

Существуют пять типов ввода данных:

· электронный обмен данными;

· сканирование;

· оптическое распознавание текста;

· метод ввода данных "heads-up";

· метод ввода данных "heads-down".

Каждый из методов имеет свои преимущества и недостатки

На персональных компьютерах могут использоваться базы данных и специализированное программное обеспечение

Электронные таблицы, как правило, менее подходят для ввода данных

Существует пять основных типов ввода данных. Одним из них является электронный обмен данными. Этот инструмент позволяет респонденту частично выполнять редактирование. Другая высокотехнологичная альтернатива - сканирование. Соответствующие компоненты входящих бумажных форм переводятся электронными средствами в точечную графическую информацию. Чуть менее высокотехнологичными являются системы оптического распознавания текста, которые позволяют осуществлять простую редакционную проверку, как, например, проверку достоверности значений и их диапазонов. Метод особенно подходит для больших объемов данных. Очевидно, что возможность прочтения является решающим фактором. Цифры более легко читаемы, чем обычный текст. Современные пакеты оптического распознавания текста используют словарь при распознавании слов, но каждая комбинация цифр приводит к действительному числу. Рукописный материал гораздо сложнее распознавать, чем набранные данные. При использовании оптического распознавания текста основное предостережение состоит в том, что система требует очень точного планирования анкеты и стандартов печати для обеспечения верного считывания сенсорами ответов респондентов. Третий метод ввода данных называется "heads-up" и означает, что компьютерная программа дает мгновенную обратную связь с машинистом, вводящим данные из анкеты. Наконец, метод ввода данных "heads-down" означает, что данные вводятся с высокой скоростью и без обратной связи с компьютером. Этот метод также применяется, когда поступающей информации обладает высоким качеством. Метод ввода данных "heads-down" может выполняться сторонней организацией. В целом, ввод данных требует специального оборудования и программного обеспечения. В этих системах могут быть применены некоторые действительные проверки значения, а также проверки диапазона изменения данных, в результате которых могут быть обнаружены опечатки. Проверки не носят глубокий характер, поскольку единственное возможное действие машиниста - сравнение введенных данных с данными в форме. На персональном компьютере могут быть использованы базы данных и специализированное программное оборудование как для метода ввода данных "heads-up", так и для метода "heads-down". Программы электронных таблиц менее подходят для ввода данных вследствие проблем с предотвращением последствий неправильного нажатия машинистом клавиш. Эта проблема уменьшается только в случае хорошего владения машинистом электронными таблицами.

Обработка данных

· Обработка данных больше, чем просто агрегирование

· Одна из причин состоит в том, что респонденты допускают ошибки

· Другая причина заключается в уклонении от ответов и неполных данных

· Другие причины включают улучшение согласованности, перевод бухгалтерских понятий в статистические, проблемы коррекции инструментария выборочного обследования, разрешение проблемы отказа от ответа

Отправная точка этапа обработки - информация, полученная от респондентов. По многим причинам процесс обработки данных включает в себя больше, чем просто агрегирование вопросов анкеты. Одной из причин является то, что часть респондентов совершают ошибки при заполнении анкеты. То же относится и к машинистам при вводе данных. Во-вторых, и на микро-, и на агрегированном уровне неизбежно возникают несоответствия со связанными элементами, полученными в ходе других обследований. В-третьих, некоторые респонденты заполняют анкеты лишь частично. Кроме того, не все вопросы анкеты являются идеальным отображением результатов, предусмотренных концепцией обследования. В дополнение, обследуется только часть элементов выборочной совокупности. Также существует проблема отказа от ответа. Более того, инструментарий выборочного обследования, посредством которого осуществлялось получение выборки для обследования, не является идеальным представлением генеральной совокупности объекта обследования. Обработка включает в себя спектр операций, в дальнейшем устраняющих все этих недостатки. Применяются следующие меры. После ввода данных ошибки и несоответствия выявляются и исправляются во время редактирования. Впоследствии пункты, оставленные без ответа, а также расхождения между понятиями в анкетах и понятиями применительно к выходным результатам обрабатываются методом предположительных расчетов. Далее, полученный набор чистых и полных микроданных служит основой для взвешивания и повторного взвешивания. На этом этапе также устраняются ошибки. Агрегированные данные затем сопоставляются и интегрируются с соответствующими данными из других источников. Наконец, в случае необходимости, производятся подбор данных и статистический анализ, в результате чего происходит формирование окончательных таблиц. Следует отметить, что различие между различными этапами не всегда столь ярко выражено, как представлено здесь. Это касается, в частности, границы между редактированием и предположительными расчетами, а также между предположительными расчетами и переоценкой.

Методы редактирования данных

Редактирование заключается в исправлении ошибок в данных

Независимо от используемого метода, не все ошибки можно отследить

Цель состоит в обнаружении и исправлении серьезных ошибок

Редактирование данных осуществляется во время или после ввода данных

Типы редактирования включают в себя:

· маршрутизация данных: на все ли вопросы был дан ответ?

· проверка достоверности данных: являются ли ответы допустимыми?

· проверки на отношения: находятся ли соотношения между переменными в допустимых пределах, правильно ли суммируются данные?

Автоматическое редактирование становится все более важным

Выборочное редактирование или макроредактирование состоит в выявлении и устранении нетипичных значений (выбросов)

Редактирование представляет собой проверку данных с целью обнаружения ошибок. Как и любой респондент, респондент, предоставляющий данные по статистике предприятий, склонен делать ошибки при заполнении статистической анкеты. Только часть из этих ошибок можно отследить; многие ошибки остаются не отслеживаемыми. Поэтому даже исчерпывающее редактирование данных никогда не приведет к получению безошибочного файла данных. Самым важным является отслеживание и устранение серьезных ошибок. Редактирование данных происходит во время или после ввода данных. Проверка маршрутизации данных устанавливает, на все ли заданные вопросы был получен ответ. Проверка достоверности данных рассматривает допустимость ответов. В обследованиях предприятий диапазон значений должен быть достаточно широким из-за различий в размерах предприятий. В этом случае могут быть проведены проверки на отношения. Многие проверки принимают форму отношения соответствия между двумя переменными, которые проводятся в определенных границах. Другой тип проверок на отношения - арифметические проверки, например, расчет суммы всех переменных и сравнение ее с совокупным значением. Некоторые правила редактирования носят стохастический характер, т.е. они просто мягко предупреждают о наличии возможных ошибок. Не все применяемые стратегии редактирования эффективны. Возрастает значение автоматизированного редактирования. В процессе автоматизированного редактирования можно выделить три этапа: первый - обнаружение ошибок или несоответствий; далее, в случае несоответствия, определения поля, в котором присутствует ошибка; и, наконец, исправление или предположительный расчет. Селективное редактирование сводится к обнаружению нетипичных значений (выбросов). Это носит название макроредактирования. Редактирование во время ввода данных (или редактирования входных данных) имеет преимущество своевременности, поскольку может начаться, как только поступает первая заполненная форма; но входное редактирование не должно применяться слишком широко ввиду своей дороговизны. Для снижения стоимости необходима избирательность, например, путем распределения форм на основные и второстепенные потоки, обработка которых производится автоматическими процедурами.

Интеграция данных

· Согласованность статистических данных может быть повышена за счет интеграции

· Обеспечение согласованности является сложным процессом

· Первый вопрос - обеспечение созвучности понятий

· Одним из решений является согласование наименований понятий, чтобы ясно показать, что обследования нацелены на наблюдение за разными объектами

· Другим решением является согласование определения понятий одного обследования с теми же понятиями в других обследованиях - но это не всегда возможно

· Третьим решением является устранение дублирования - одно обследование опускает тот или иной вопрос и извлекает данные из других обследований

· Другое решение состоит в принятии НСС "политики одного исчисления" - публикацию только одного показателя для наблюдаемого объекта

Согласованность статистических данных является важным вопросом и может быть повышена за счет интеграции. Как уже говорилось ранее, интересы пользователей, как правило, не ограничиваются данными, полученными из одного конкретного обследования. Достижение согласованности является сложным процессом. Понятие интеграции тесно связано с практикой составления национальных счетов. Интеграция в любом случае приводит к улучшению согласованности между результатами различных обследований. Первый вопрос - сделать созвучными понятия, относящиеся к переменным, статистическим единицам и основным статистическим классификациям. Для случая обследований рынка труда и производства с их различающимися определениями стоимости рабочей силы и отрасли, по существу возможны два теоретических решения. Одним из них является корректирование наименований понятий, таким образом, чтобы подчеркнуть, что оба обследования наблюдают разные объекты. Вторым решением является согласование определения понятия одного обследования с тем же понятием в других обследованиях. Однако, это не всегда представляется возможным. Например, основные статистические показатели, таблицы ресурсов и использования товаров и услуг в национальных счетах должны использовать одинаковое определение стоимости рабочей силы. Но проблема состоит в том, что основная статистика не включает теневой труд, потому что он является ненаблюдаемым при обычном сборе данных. Третьим решением является устранение дублирования. После выяснения концептуальных различий между обследованиями рынка рабочей силы и сферы производства, оказывается, что одно из обследований может опустить вопрос стоимости рабочей силы и извлечь сведения из другого обследования. Это решение требует строгого выполнения, и его часто бывает трудно применять на практике. Если предположить, что невозможно избавиться от всех случаев дублирования и расхождения, другим решением является принятие НСС "политики одного исчисления". Централизованное хранилище данных является мощным инструментом в этом отношении.

Анализ данных

Существует бесконечное множество видов анализа, которыми могут заниматься НСС

Приведены лишь немногие, важные для пользователей примеры:

· сезонная корректировка;

· статистический контроль раскрытия табличных данных.

Существует почти бесконечное разнообразие видов анализа в зависимости от характера и целей исследования. По этой причине будут упомянуты только несколько примеров, представляющих особое значение для пользователей: сезонные корректировки временных рядов и статистический контроль раскрытия табличных данных. Что касается сезонной корректировки, многие экономические временные ряды показывают циклические колебания. Это наиболее очевидно для рядов, публикуемых с периодом менее года, таких как котировки акций и безработица. Но и ряды с годовым периодом могут обнаруживать циклы, например, материально-производственные запасы часто имеют цикл несколько лет. Если период ряда составляет менее года, колебания в течение годового цикла называют сезонными колебаниями. Основными причинами таких сезонных колебаний являются календарные эффекты (количество рабочих дней в месяце), институциональные эффекты (молодые люди заканчивают школу в июне, поэтому в июне, июле и августе часто наблюдается более высокий уровень безработицы, чем в мае и сентябре), а также погодные условия (из-за плохой погоды в зимний период наблюдается рост безработицы среди строителей). Если ряд имеет сезонные колебания, может возникнуть необходимость вычислить новый ряд, скорректированный в соответствии с поправкой на эти сезонные колебания. Основная причина такой необходимости связана с государственной политикой: при резком росте безработицы в определенном месяце лица, ответственные за принятие политических решений, должны знать, является ли это увеличение постоянным или вызванным сезонным фактором. Данные с сезонной корректировкой являются также исходным условием для оценки состояния цикла деловой активности. Существуют различные методы для сезонной корректировки. Что касается скрытия ячеек таблиц, содержащих чувствительную информацию, обычно в таблицах не содержатся сведения от отдельных респондентов, а только агрегированная информация, относящаяся ко всем опрошенным лицам. Тем не менее, может возникнуть ситуация, когда возможно отследить информацию, соответствующую определенному респонденту из агрегированного множества, в случае когда вклад одного из респондентов доминирует в этом множестве. В таком случае должен применяться контроль раскрытия статистической информации. Для этого существуют три метода: внесение изменений в схему классификации, скрытие ячеек, содержащих значимую информацию, и округление значений ячеек.

Распространение данных

· Веб-сайты стали главным публичным лицом статистики

· Для поддержания хорошего имиджа, веб-сайт должен содержать актуальные данные и избегать ошибок

· Для достижения этого требуется работа специальной команды

· Статистики, курирующие тематические области, должны нести ответственность за свою продукцию

· У каждого ряда данных на веб-сайте должен быть собственник

Для того, чтобы статистику могла потребляться пользователями, необходимо разрабатывать и поддерживать системы распространения информации. Распространение информации является одним из трех основных процессов НСС и включает в себя множество мероприятий. Статистика по своей сути является информацией, нематериальным товаром - услугой. Распространение статистических данных, хотя включает в себя и предоставление продукции, в первую очередь состоит в предоставлении услуг. Набор данных, полученный в результате этапов обработки и анализа, можно рассматривать как хранилище данных, содержащее показатели на минимально возможном уровне агрегации, которые могут быть опубликованы. Эти элементарные показатели являются конструкционными элементами таблиц в публикациях любого типа. На завершающей стадии уже не предпринимаются действия, направленные на добавление новой информации или улучшение надежности. Часть из этих действий, то есть меры контроля за раскрытием информации, даже могут привести к противоположным результатам, поскольку направлены на скрытие информации. Сутью окончательного этапа является структурирование, представление и распространение данных таким образом, чтобы максимальное количество пользователей получало данные в соответствии со своими потребностями. Понятие корпоративных публикаций и стратегии распространения, направленной на максимальное удовлетворение пользователя, предполагают, что группы пользователи не обязательно могут быть разграничены в соответствии с охватом отдельных обследований. Группы пользователей разнообразны и, следовательно, существует широкий спектр частично перекрывающих друг друга областей, представляющих интерес.

Это означает, что публикации должны содержать данные, полученные из различных обследований. Это также предполагает широкий спектр публикаций, частично накладывающихся друг на друга по информационному содержанию. Современные информационные технологии позволяют НСС удовлетворять различные потребности пользователей путем гибкого реагирования. Но как бы ни было важно бумажное и электронное распространение данных, на практике большая часть полученной информации начинается с письма или телефонного звонка потенциального пользователя. Обычно НСС получает большое количество случайных запросов по телефону или по факсу. То же самое касается запросов о предоставлении информации со ссылкой на данные из различных источников обследования. Для того, чтобы избегать переадресации клиентов от одного отдела к другому и предоставлять последовательную информацию, полезно сосредоточить первую линию службы информационной поддержки в центральном справочном бюро. Сотрудники этого бюро могут отвечать на запросы быстро с помощью упомянутой ранее центральной базы данных.

Административные реестры

Использование административных реестров в статистических целей стимулируется:

· необходимостью снижения бремени отчетности;

· сокращением бюджета в сочетании с возрастающим спросом на статистические данные.

Сбор данных напрямую от предприятий оправдан только в случае невозможности использования других источников

Значение административных реестров при составлении статистики стремительно растет под давлением трех основных факторов: необходимости снижения нагрузки на респондентов и сокращения бюджета, определяемой национальными правительствами, с одной стороны, и увеличение спроса, с другой стороны. Роль таких реестров в разработке или доработках обследований предприятий можно охарактеризовать кратко, сказав, что, с учетом конкретных потребностей пользователей, прямой сбор данных от предприятий оправдан только в том случае, когда по итогам детального исследования сделано заключение, что ни один из имеющихся реестров не может удовлетворить данные потребности. В контексте статистики предприятий административные реестры можно определить как систематический сбор данных, которые могут быть связаны с отдельными предприятиями с возможностью обновления. В зависимости от целей использования административные реестры можно разделить на базовые и специализированные. Базовые реестры ведутся в качестве источника данных для государственного управления в целом или для некоторых администраций. Такие реестры обычно ведут учет совокупности предприятий и ее динамики. Важным условием является то, что такие реестры сохраняют идентификационные признаки, используемые также другими администрациями. Кроме того, они должны содержать определенные базовые данные, представляющие общий интерес для ряда администраций. Специализированные реестры служат какой-либо одной цели или явно заданной ограниченной группе целей. Эти реестры ведутся органом, который также является и пользователем. Базовые реестры часто предоставляют компоненты вводных данных, таких как имя, адрес, правовая форма, код вида деятельности и размера класса юридических и местных единиц. Примерами специализированных реестров служат реестр плательщиков налога на добавленную стоимость и статистические реестры предприятий.

Преимущества и недостатки административных реестров

Преимущества административных реестров:

· снижение бремени отчетности;

· эффективность затрат;

· незначительное число отказов от ответа;

· отсутствие проблемы ошибки выборки;

· отчетные данные могут быть более точными.

Недостатки административных реестров:

· несоответствие между административными и статистическими понятиями;

· риски стабильности;

· отчетные данные могут быть менее точными;

· данные становятся доступными со значительной задержкой;

· наличие правовых ограничений

Собирать ли данные непосредственно от предприятий или полагаться на административные реестры? Этот вопрос является предметом балансирования относительных преимуществ и недостатков. Основными преимуществами административных реестров являются: снижение нагрузки на респондентов; более низкая стоимость, особенно когда бремя отчетности выражается в дополнительных расходах для общества; отсутствие или незначительное число отказов от ответа; отсутствие ошибки выборки; представленные данные могут быть более точными вследствие интенсивных проверок данных административными органами. Основными недостатками административных реестров являются: несоответствие между административными и статистическими понятиями; недостаточная степень интеграции с другими данными статистической системы; риски стабильности - власти могут изменить административную практику или правовую основу регистрации, не принимая по внимание статистические потребности. В некоторых случаях представленные данные могут быть менее точными. Например, когда используются налоговые данные, ответчик имеет прямую заинтересованность в данных, которые он предоставляет - это может привести к систематическому смещению оценок. Кроме того, административные данные могут быть доступны с неприемлемой задержкой. Наконец, возможны юридические ограничения в отношении доступа и конфиденциальности. Существует три типа использования административных реестров. Прямая обработка данных является оправданной, когда прописанные концепции достаточно хорошо подходят для статистической системы, и предоставленные данные обладают достаточно высоким качеством. Для строго контролируемой деятельности, такой как банковская и страховая деятельность, часто применяется метод прямой обработки. Совмещение с административными или статистическими источниками является еще одной формой использования. Здесь возможен акцент на дополнении признаков одного реестра признаками другого реестра или проверка достоверности этих данных. Другой формой использования является отслеживание изменений в накопленной совокупности единиц или в их признаках при помощи сравнения реестров в два разных момента времени.

управление статистический выборка данные

Размещено на Allbest.ru