Построение информационно-аналитических систем на основе концепции хранилищ данных

Размещено на http://www.allbest.ru/

Построение информационно-аналитических систем на основе концепции хранилищ данных

Фролов В.А., Костенко В.В.

Annotation

In the given report problems, the bound with construction of informational - analytic systems are considered on the basis of the concept of repositories. Definition of the concept of repository and its basic ideas is given. The most perspective development trends of informational - analytic systems and full structure are exhibited, on the basis of repository. The basic orbs of use of informational - analytic systems are adduced.

Основная часть

Современный уровень развития аппаратных и программных средств с некоторых пор сделал возможным повсеместное ведение баз данных оперативной информации и построение на их основе информационно-аналитических систем (ИАС), являющихся неотъемлемой составной частью информационного обеспечения органов государственной власти. ИАС является инструментом, позволяющим интегрировать большие объемы данных, используемых органами государственной власти и управления, может динамически создавать новые связи между данными, в том числе между данными, хранимыми в разнородных базах, обеспечивая доступ к данным и просмотр, и обобщение информации. Кроме того, ИАС решает задачи связанные с пространственным анализом и моделированием.

Как показывает анализ практики информационно-аналитического обеспечения деятельности органов государственной власти субъектов РФ, аппаратов полномочных представителей Президента РФ в федеральных округах [1] в процессе работы ими накоплен значительный объем данных, хранимых в различных базах данных (БД). Это обуславливает большие потенциальные возможности по извлечению полезной аналитической информации, на основе которой можно выявлять скрытые тенденции, строить стратегию развития, находить новые решения.

Наиболее перспективным направлением в настоящее время, является построение информационно-аналитических систем на основе хранилищ и витрин данных. Структура информационно-аналитической системы, построенной на основе хранилища данных, показана на рисунке 1. В конкретных реализациях отдельные компоненты этой схемы часто отсутствуют.[2]

Как показывает практика, ИАС используемые при организации информационно-аналитического обеспечения деятельности органов государственной власти развиваются в двух направлениях:

- статические системы, называемые Информационными системами руководителя (ИСР), или Executive Information Systems (EIS);

- динамические СППР (DSS).

Информационные системы руководителя (ИСР) создаются в расчете на непосредственное использование лицами, принимающими решения, оказываются чрезвычайно просты в применении, но жестко ограничены в функциональности. Они содержат в себе предопределенные множества запросов и, будучи достаточными, для повседневного обзора, неспособны ответить на все вопросы к имеющимся данным, которые могут возникнуть при принятии решений. Результатом работы такой системы, как правило, являются многостраничные отчеты, после тщательного изучения, которых у аналитика появляется новая серия вопросов.

Рисунок 1 Общая архитектура информационно-аналитической системы

информационный аналитический система хранилище

Однако каждый новый запрос, непредусмотренный при проектировании такой системы, должен быть сначала формально описан, закодирован программистом и только затем выполнен. Время ожидания в таком случае может составлять часы и дни, что не всегда приемлемо. Таким образом, внешняя простота статических СППР, за которую активно борется большинство заказчиков информационно-аналитических систем, оборачиваются катастрофической потерей гибкости.

Динамические СППР (DSS), напротив, ориентированы на обработку нерегламентированных (ad hoc) запросов аналитиков к данным. Наиболее глубоко требования к таким системам рассмотрел Кодд (E.F. Codd). Работа аналитиков с этими системами заключается в интерактивной последовательности формирования запросов и изучения их результатов.

В общем случае можно выделить три сферы, в рамках которых используют ИАС:

1. Сфера детализированных данных. Это область действия большинства ИАС, нацеленных на поиск информации. В большинстве случаев реляционные СУБД отлично справляются с возникающими здесь задачами. Общепризнанным стандартом языка манипулирования реляционными данными является SQL. Информационно-поисковые системы, обеспечивающие интерфейс конечного пользователя в задачах поиска детализированной информации, могут использоваться в качестве надстроек как над отдельными базами данных транзакционных систем, так и над общим хранилищем данных.

2. Сфера агрегированных показателей. Комплексный взгляд на собранную в хранилище данных информацию, ее обобщение и агрегация, гиперкубическое представление и многомерный анализ являются задачами систем оперативной аналитической обработки данных (OLAP) Здесь можно или ориентироваться на специальные многомерные СУБД, или оставаться в рамках реляционных технологий. Во втором случае заранее агрегированные данные могут собираться в БД звездообразного вида, либо агрегация информации может производиться на лету в процессе сканирования детализированных таблиц реляционной БД.

3. Сфера закономерностей. Интеллектуальная обработка производится методами интеллектуального анализа данных (ИАД, Data Mining), главными задачами которых являются поиск функциональных и логических закономерностей в накопленной информации, построение моделей и правил, которые объясняют найденные аномалии и/или прогнозируют развитие некоторых процессов.

В последние годы в мире оформился ряд новых концепций хранения и анализа данных, используемых при создании информационно-аналитических систем:

- хранилища данных, или Склады данных (Data Warehouse);

- оперативная аналитическая обработка (On-Line Analytical Processing, OLAP);

- интеллектуальный анализ данных - ИАД (Data Mining).

Концепция хранилищ данных определяет их как “предметно ориентированные, интегрированные, неизменчивые, поддерживающие хронологию наборы данных, организованные для целей поддержки управления”, призванные выступать в роли “единого и единственного источника истины” обеспечивающего государственных служащих и аналитиков достоверной информацией необходимой для оперативного анализа и принятия решений. В основе концепции хранилищ данных лежат две основополагающие идеи:

1. Интеграция ранее разъединенных детализированных данных (исторические архивы, данные из традиционных СОД, данные из внешних источников) в едином хранилище данных, их согласование и возможно агрегация.

2. Интеграция ранее разъединенных детализированных данных (исторические архивы, данные из традиционных СОД, данные из внешних источников) в едином хранилище данных, их согласование и возможно агрегация.

Кроме того, концепция хранилищ данных подразумевает: интегрированность, неизменчивость, поддержку хронологии и согласованность данных. И если, два первых свойства (интегрированность и неизменчивость) влияют на режимы анализа данных, используемых в ИАС, то последние два (поддержка хронологии и согласованность), существенно сужают список решаемых ими аналитических задач.

Без поддержки хронологии (наличия исторических данных) нельзя говорить о решении задач прогнозирования и анализа тенденций. Но наиболее критичными и болезненными, оказываются вопросы, связанные с согласованием данных.

Основным требованием аналитика, является даже не столько оперативность, сколько достоверность ответа. Но достоверность, в конечном счете, и определяется согласованностью. Пока не проведена работа по взаимному согласованию значений данных из различных источников, сложно говорить об их достоверности.

Практически в работе любого органа государственной власти и управления, вопрос о согласованности данных в различных информационно-аналитических системах стоит чрезвычайно остро. И нередко лицо, принимающее решение сталкивается с ситуацией, когда на один и тот же вопрос, различные системы могут дать и обычно дают различный ответ. Это может быть связано как с несинхронностью моментов модификации данных, отличиями в трактовке одних и тех же событий, понятий и данных, изменением семантики данных в процессе развития предметной области, элементарными ошибками при вводе и обработке, частичной утратой отдельных фрагментов архивов и т.д. Очевидно, что учесть и заранее определить алгоритмы разрешения всех возможных коллизий мало реально. Тем более, это нереально сделать в оперативном режиме, динамически, непосредственно в процессе формирования ответа на запрос.

Одним из способов позволяющих хотя бы в приближенном варианте решить эти задачи является использование созданных для этих целей программных продуктов ведущих фирм, работающих в данной сфере. В настоящее время лидирующие позиции в этой области занимают программные продукты таких известных фирм, как Oracle и Sun, которые возглавили технологическую революцию, в которую переросло развитие современного программного обеспечения [3]. Такие развитые серверы баз данных, как Oracle9I, привели к смене концепций разработчиков приложений. Эти новые концепции предоставляют возможности, не сопоставимые с программными системами вчерашнего дня.

Выбор программных продуктов фирмы Oracle не является случайным. В настоящее время Oracle предоставляет массу возможностей как для создания OLTP (транзакционных) систем, предназначенных для поддержки текущих управленческих процессов, оперативной, управленческой и статистической отчетности, так и для OLAP (аналитических) систем, предназначенных для поддержки интегрированной отчетности, нерегламентированных запросов, и имитационного моделирования. Кроме этого, Oracle предоставляет возможности для создания таких новых программных средств как хранилище данных, оперативный склад и витрина данных. В настоящие время на продуктах фирмы Oracle создана и внедрена ИАС «Экономика России», разработанная специалистами НИИ «Энергия».

Для создания OLTP систем предназначены такие продукты Oracle как Oracle 9i Enterprise Edition (сервер реляционных БД), Oracle Application Server (сервер приложений и Web-сервер), Oracle Express Server (сервер многомерных БД), для создание OLAP систем и разработки приложений конечных пользователей используются такие инструментальные средства как: Oracle Discoverer (средство построения ROLAP-запросов и представления данных), Darwin (средство добычи знаний), Express Web Agent (средства разработки OLAP-приложений для Web), Express Analyzer (средства разработки OLAP-презентаций), Express Objects (средство разработки OLAP-приложений). Кроме этого, для построения OLAP-приложений для Excel используется средство Spreadshee Add-Ins, а для публикации OLAP-приложений и презентаций на Web используется средство Express Web Publisher. Для анализа имеющихся в ИАС данных Oracle предоставляет несколько готовых специальных предложений, таких как Financial Analyzer и Sales Analyzer, позволяющих получать качественный и количественный анализ имеющихся данных в необходимых разрезах. Создание хранилища, витрин данных производиться с помощью Oracle Warehouse Builder, а создание многомерных структур данных и генерация процедур загрузки выполняется в Oracle Express Administrator.

Литература

1. Отчет о НИР "Ориентир". Орел: в/ч 32382, 2002.

2. Брэдли Д. Браун, Ричард Дж. Ниемник, Джозеф С. Треззо ORACLE 9i, Проектирование хранилищ данных. Пер. с англ. М.: Издательский дом "Вильямс", 2003.

3. Глушаков Ю.В., Третьяков О.А., Головаш О.А. Построение и администрирование баз данных ORACLE 9i.- Х.: Издательство «Фолио», 2003.

Размещено на Allbest.ru