Інноваційні сервіси відкритих даних для забезпечення ефективного функціонування e-уряду

Размещено на http://www.allbest.ru/

Харківський регіональний інститут державного управління

Національна академія державного управління при Президентові України

УДК 35.077.6

Інноваційні сервіси відкритих даних для забезпечення ефективного функціонування e-уряду

Клімушин П.С.,

Спасібов Д.В.

Проаналізовано принципи проектування пов'язаних даних для забезпечення їх семантичної інтероперабельності. Визначено проблеми щодо відкриття державних даних в Україні та наведено перспективні напрямки розвитку сервісів відкритих даних для забезпечення ефективного функціонування е-уряду.

Ключові слова: відкрити дані, пов'язані дані, сервіси відкритих даних, семантична інтероперабельність, словник метаданих, інтерфейс програмування додатків, хмарні обчислення, великі дані, е-уряд.

The principles of designing linked data have been analyzed to ensure their semantic interoperability. The problems related to opening public sector data in Ukraine are identified, and promising areas of developing open data services for effective functioning of e-government are presented.

Key words: open data, linked data, open data services, semantic interoperability, metadata dictionary, application programming interface, cloud computing, big data, e-government.

Постановка проблеми. Відкриті дані стали не тільки модним терміном, але й трендом стратегічного розвитку концепції відкритої держави (е-уряду). Відкриті дані - це дані, представлені в машиночитаних форматах і придатні для повторного використання без будь-якого контролю з боку публікатора. Зазвичай це досягається за рахунок використання відкритих ліцензій, якими супроводжуються набори відкритих даних.

Основним джерелом відкритих даних є портали відкритих даних міжнародних організацій, офіційні державні портали, портали громадських організацій. Прикладами таких джерел є безліч міжнародних організацій, таких як Консорціум W3C, Всесвітній банк, Організація Об'єднаних Націй, Європейський центр журналістики, які надають сервіси на основі відкритих даних за сферами своєї діяльності. На державному рівні у багатьох країнах світу відкриваються і продовжують удосконалюватися портали відкритих державних даних, такі портали існують як на рівні держав, так і на рівні міст. Звичайно ж, для аналітиків і розробників програмного забезпечення на відкритих даних найбільшу цінність мають деталізовані дані. Це відноситься до різних сфер людської діяльності: кримінальної статистики, системи освіти, екологічній обстановці тощо [1].

Аналіз останніх досліджень і публікацій. Дослідженню відкритих державних даних присвячено багато праць зарубіжних і вітчизняних вчених, серед яких роботи А. Газіна, І. Бегтіна, А. Сакояна, П. Малкова, І. Радченка, В. Староверова та ін. Найбільший внесок у розробку цієї теми зробили: Тім Бернерс-Лі, який запропонував 5-зіркову схему розгортання для відкритих даннях; Е. Саммерс - розвинув візуалізацію відкритих даних, К. Гаттерідж - розробив курс відкритих даних для програмістів, К. Форсберг, який запропонував підсвічування відкритих даних, та ін.

Однак у багатьох випадках дані як і раніше “замкнені” в інформаційних системах і базах даних, а для їх подання використовуються різні, зазвичай не узгоджені між собою (“не вирівняні”) словники і схеми. Тобто актуальним завданням є запровадження інноваційних сервісів узгодження відкритих даних.

Метою статті є розвиток інноваційних сервісів відкритих даних для забезпечення ефективного розвитку е-уряду.

Виклад основного матеріалу. Для зручності класифікації відкритих даних Тім Бернерс-Лі розробив п'ятизіркову модель відкритості даних [2], за якою ступінь відкритості даних зростає від першої зірки до п'ятої залежно від формату представлення даних: одна зірка - необов'язково вимога машиночитання даних (наприклад, подання у форматі PDF); дві зірки - додається вимога машиночитання даних (наприклад, таких форматів, як XLS і XLSX); три зірки - додається вимога відкритих форматів (наприклад, таким форматом даних є формат CSV); чотири зірки - дотається вимога до форматів, щоб вони задовольняли відкритим стандартам RDF; п'ять зірок - присвоюються даним, представленим за моделлю RDF і включеним у світову хмару пов'язаних відкритих даних.

Історія розвитку відкритих даних підрозділяється на етапи відповідно до публікації інформації державного сектора у вигляді документів, датасетів (каталогізованих наборів даних), пов'язаних даних. Тобто всесвітня павутина еволюціонує від “Веба пов'язаних документів” у бік “Веба пов'язаних даних” [7].

В Європі доступ до урядових даних, разом з можливістю їх вільного використання, розглядається як необхідна умова реалізації концепції Відкритого уряду і як неоціненне джерело нерозкритого економічного потенціалу [6].

Разом із тим розміщення даних, наприклад, на порталах відкритих даних, носить вузькоспеціалізований характер, і в багатьох випадках тисячі наборів даних публікуються без опори на загальновизнані стандарти даних і метада- них, а також без повторного використання єдиних ідентифікаторів.

У результаті створюється надмірно фрагментоване інформаційне середовище, в якому завдання виявлення, повторного використання, інтеграції та осмислення даних з різних джерел стають надзвичайно складними.

Пов'язані дані можуть з'явитися відповідно на ці виклики і стати інструментом перетворення концепції е-уряду, спрямованого на те, щоб зробити послуги та програми державних органів більш ефективними, тим самим стимулюючи творчість і новаторство в цифрову економіку.

Ситуація у сфері відкритих даних в Україні характеризується низькою готовністю уряду та бізнесу й відсутністю або низькою якістю ключових наборів даних. Про підзвітність уряду, використання даних у процесі ухвалення рішень, залучення до цього процесу громадськості, розробку соціально корисних сервісів не могло навіть ітися.

Єдиний державний веб-портал відкритих даних було створено на вимогу Закону України “Про доступ до публічної інформації” та Постанови Кабінету Міністрів України “Про затвердження положення про набори даних, які підлягають оприлюдненню у формі відкритих даних” від 21.10.2015 р. № 835. Нині на ньому постійне зростає зберігання як кількості наборів даних, так й кількості розпорядників інформації.

Попри значну кількість даних цього порталу він не задовольняє найпершу вимогу - машиночитаний формат. На порталі велика кількість документів у форматі DOC, PDF, JPG, PNG, розпорядники інформації не розрізняють текстові й структуровані дані й публікують структуровані дані у форматі для текстових, що не дає змоги оперативно їх опрацювати.

Концепція відкритих даних органічно лягає на концепцію е-уряду та базується на таких принципах: співпраця публічних органів і громадян, прозорість функціонування публічних органів для громадян і залучення громадян у процес прийняття рішень [3].

Процес відкриття даних забезпечує реалізацію цих принципів е-уряду, але при цьому він не є самоціллю. Викладання даних у відкритий доступ - це лише перший крок, тому що дані не мають ніякої цінності в разі, коли їх не може використовувати кінцевий користувач (громадянин). З цією метою розробляються зручні програми, що надають кінцевим користувачам сервіси на основі відкритих даних.

Таким чином, кінцевий користувач може не тільки самостійно аналізувати відкриті дані, але й використовувати відкриті дані за допомогою реалізованого на їх основі програмного забезпечення.

Останнім часом концепція відкритих даних стрімко розвивається - з суто спеціальної та вузько направленої теми вона перетворилась на гостроактуальну і прикладну, стала об'єктом пильного інтересу бізнес-структур, державних інститутів, громадських організацій, простих громадян. Для кожного з цих гравців відкриті дані надають велику кількість ресурсів, можливості використання яких різноманітні. Відкриті дані все частіше використовуються в процесі розробки соціально-економічних програм розвитку держави або його окремих сфер. Для бізнесу відкриті дані допомагають створити більш прозору середу ринкової конкуренції. Громадянам відкриті дані дозволяють отримувати масу інформації (причому ідеологічно не фарбований) про державний устрій, про те, як працюють ті чи інші державні сервіси, про обсяг власних соціальних і політичних повноважень [4].

При просуванні концепції відкритих даних необхідно мати на увазі наступні моменти: непрямий ефект відкритих даних (наприклад, поява нових доступних й інноваційних послуг) дуже часто перевищує пряму економічну вигоду; відкриті дані привертають нових користувачів і ведуть до створення нових бізнес-моделей; самі по собі дані значної цінності не становлять; важливо їх поєднання з іншими факторами, наприклад, з інноваційними ідеями або новими технологіями; ефект відкриття даних виявляється не відразу.

Завдання держави - розкривати, “чистити” й готувати дані для використання в пов'язаних форматах, підказувати основні, коректні можливості їх застосування. Пошук форматів, каналів та аудиторій споживачів, розвиток ідей, створення конкретних продуктів - завдання ентузіастів або бізнесу, який у будь-якому випадку краще за всіх уявляє собі потреби масового користувача, тому що саме на них з самого початку орієнтовані всі його ресурси. В цілому відкриті дані забезпечують принципово нову віху взаємодії між державою і суспільством.

У Хартії відкритих даних, що була підписана лідерами країн “Великої сімки” на саміті у 2013 р., викладено наступні ключові принципи відкриття державних даних [5]: відкриті данні за умовчанням, дотримуючись при цьому норм національного та міжнародного законодавства у сфері захисту прав інтелектуальної власності, конфіденційної або таємної інформації; якість та кількість (актуальність, максимальна деталізованість, точність); використання всіма (відсутність обмежень на доступ); опублікування даних для підвищення ефективності управління; опублікування даних для розвитку інновацій.

У даний час в Євросоюзі широким фронтом тривають процеси ефективного управління відкритими даними у форматі пов'язаних даних.

Пов'язані дані - це набір основних принципів проектування засобів спільного використання машиночитаних даних в Інтернеті органами публічного управління, комерційними структурами та окремими громадянами. Чотири принципи проектування пов'язаних даних було сформульовано Тім Бернерс-Лі ще в 2006 р.: застосовуйте уніфіковані ідентифікатори ресурсів (URI) для однозначної ідентифікації об'єктів (елементів даних); використовуйте стандартні HTTP URL-адреси цих URI, щоб можна було здійснювати інформаційний пошук; додавайте метадані відповідно з такими відкритими стандартами як RDF; давайте посилання на відповідні URI, щоб користувачі змогли виявити більше інформаційних об'єктів.

Принципи пов'язаних даних допускають поширення даних як в машиночитаному, так і людиночитаному вигляді. Відкриття доступу до урядових даних через Інтернет означає більш високий ступінь прозорості та підзвітності, а також робить вибір більш усвідомленим.

Пов'язані дані дають можливість органам публічного управління визначати зв'язки між відповідними наборами даних інших джерел. Розміщення даних в такому контекстному оточенні створює нові знання і стимулює створення інноваційних послуг. Тепер уряди можуть пропонувати суспільству більш ефективні послуги та програми, а комерційні структури й окремі громадяни отримують можливість розробляти нові інструментальні засоби і сервіси для роботи та аналізу даних.

Парадигма пов'язаних даних не торкається права власності на вихідні дані, хоча встановлюються нові відносини між даними, всі учасники цього процесу зберігають повний контроль над своїми вихідними даними [6].

Передбачається, що ініціативні програми впровадження відкритих даних посилять прозорість, активізують співпрацю всередині та поза урядових структур, дозволять створювати інноваційні послуги з доданою вартістю і підвишувати якість прийнятих рішень.

Пов'язані дані забезпечують гнучку віртуальну інтеграцію урядових даних, без необхідності реінжинірингу інформаційних систем і централізованого збору даних з вихідних баз даних. Це спрощує співпрацю різних структур публічного сектору в процесі надання ними спільних послуг.

У даний час більшість інформаційних систем зберігають дані в реляційних базах даних, а інформаційний обмін можливий тільки при чітко визначеній структурі, зазвичай з використанням схем XML. Спільне використання даних відповідно до якоїсь схеми (XML) слугувало технічною парадигмою в останні десятиліття, тому що такий принцип дозволяє комп'ютерним програмам ефективно обробляти дані.

Однак з розвитком таких схем необхідно відповідним чином адаптувати інформаційні системи, що їх використовують. У довготривалій перспективі технічна підтримка цих схем вимагає значних зусиль і може бути абсолютно негнучкою - особливо в тих випадках, коли темпи змін високі. Це головна причина появи нової парадигми обміну даними, заснованої на схемі опису ресурсів RDF. Згідно з авторами цієї схеми Консорціуму W3C, “схема RDF має властивості, які полегшують злиття даних, навіть якщо лежать в основі схеми різні; зокрема, вона підтримує еволюцію схем з плином часу, не вимагаючи модифікації в усіх споживачів даних”.

У RDF дані організовані у графах, побудованих на виразах “суб'єкт-предикат-об'єкт”, і пошук у них може бути організований за допомогою мови запитів SPARQL. Ці та інші пов'язані з ними стандарти є основою пов'язаних даних.

Наприклад, у програмах Єврокомісії врахована така зміна парадигми і передбачена робота з реалізації семантичної інтероперабельності. Вона поєднує розглянуті стандарти і технології з метою покращення е-уряду в масштабі ЄС. Її результати будуть використані органами публічного управління держав-членів ЄС для реалізації політики відкритих даних, надання доступу до своїх інформаційних архівів і спрощення міжнародного обміну даними.

Семантична інтероперабельність тягне за собою досягнення згоди за смисловим значенням елементів даних і відносин між ними. Вона вимагає розробки базових словників для опису елементів даних і гарантує, що ці елементи будуть однаково розумітися взаємодіючими сторонами. Тобто пов'язані дані - це інструмент реалізації семантичної інтероперабельності. Вони застосовуються для інтеграції даних, розміщених у різних типах джерел, що мають різні формати, як структурованих, так і неструктурованих.

Базовий словник - це спрощена розширена модель даних, що допускає багаторазове використання, яка фіксує фундаментальні характеристики інформаційного об'єкта нейтральним по відношенню до контексту чином. Базові словники можуть застосовуватись у спільних проектах для забезпечення інформаційного обміну між різними незалежно один від одного розробленими системами, дозволяючи тим самим переміщатися інформації, пересікаючи кордони держав і предметних областей.

Робочою групою з питань пов'язаних урядових даних (GLD WG) Консорціуму W3C виконано розробку чотирьох базових словників: “Люди”, “Місцезнаходження”, “Зареєстровані організації”, “Послуги”. Ці словники допомагають описувати інформаційні об'єкти, даючи визначення їх компонентів. Вони спроектовані таким чином, щоб стати основою для нових, контекстно- орієнтованих словників, які застосовуються для обміну інформацією публічного сектора. Вони також можуть слугувати опорними словниками для перенесення і вирівнювання інших словників.

Базові словники підкоряються принципам організації пов'язаних даних і забезпечують сумісність стандартів та специфікацій при наданні багатьох транскордонних урядових послуг у країнах ЄС. Розширюючи доступність семантичних ресурсів і пропагуючи їх повторне використання, Єврокомісія сприяє досягненню семантичної інтероперабельності інформаційних систем, розроблених у різних державах-членах. Існує сервіс - стандартизований словник метаданих для опису інформаційних ресурсів ADMS (https://joinup.ec.europa.eu/asset/ adms/description), який визначає єдиний метод опису семантичних ресурсів. Цій сервіс застосовується органами публічного управління, організаціями зі стандартизації та іншими учасниками для документування їх семантичних ресурсів в єдиному структурованому форматі. Семантичні ресурси являють собою метадані та довідкові дані багаторазового користування, що застосовуються в інформаційних системах органів публічного управління для обміну інформацією.

Базовим засобом, здатним забезпечити автоматичне створення додатків, що працюють на базі пов'язаних відкритих даних, є концепція сприйняття даних як сервіс (Data-as-a-Service - DaaS) для віртуалізованого доступу до даних. Сервіс DaaS ґрунтується на ідеї, яка полягає в тому, що дані можуть бути надані користувачеві на його вимогу незалежно від географічної та організаційної приналежності провайдера і споживача. За допомогою сервісу DaaS публічні органи, компанії та громадянські організації можуть пов'язувати відкриті дані з різних джерел з власними даними й використовувати отримані результати для поліпшення своєї роботи.

Дослідження і розробки технології DaaS зосереджено на напрямках [7]:

1. API (інтерфейс програмування додатків - application programming interface) - набір готових класів, процедур, функцій, структур і констант, що надаються додатком (бібліотекою, сервісом) або операційною системою для використання у зовнішніх програмних продуктах. Стандартні API дозволяють додаткам інтегрувати дані в режимі реального часу за допомогою новітніх способів управління версіями й форматами відкритих даних.

2. Хмарні обчислення - надання обчислювальних служб (серверів, сховищ, баз даних, мережевого устаткування, програмного забезпечення, аналітики тощо) через Інтернет. Брокери даних, які мають велику кількість збережених наборів даних, отримують суттєву вигоду за допомогою хмарних обчислень та використання інфраструктури, яка може бути легко встановлена та розширена в міру необхідності, залежно від потреби в обсязі та пропускної здатності. Подібна ефективна модель розміщення приносить фінансовий прибуток як брокеру, так і споживачеві даних.

3. Методологія семантичного Веб (пов'язані дані - linked data, великі дані - big data) знаходить відгук серед лідируючих Веб-компаній. За допомогою schema.org Google, Yahoo! і Bing звертаються до сценарію cемантичного Веб з метою отримання більшої кількості даних, поліпшеної функціональної сумісністю та потужної ринкової силою, які можна використовувати в роботі.

Ці технології застосовуються для інтеграції даних, розміщених у різних типах джерел, що мають різні формати, як структуровані, так і неструктуровані. При цьому перший крок полягає в розробці постійних URI, призначенні їх даним і опису цих даних у вигляді RDF з використанням загальноприйнятих метаданих. У разі структурованих даних (наприклад, даних, що зберігаються в реляційних базах; файлах CSV, Excel або XML), RDF-оболонки, модулі експорту і API адаптуються для перетворення цих даних в RDF з подальшою публікацією в Інтернет. Для неструктурованих даних (наприклад, новинні статті або бізнес-звіти), то для їх публікації у вигляді пов'язаних даних необхідно насамперед залучити засоби вилучення сутностей і поглибленого аналізу текстів з метою виявлення інформаційних об'єктів.

Коли дані представлені у RDF-форматі, їх слід пов'язати з іншими даними, які надходять з надійних джерел, щоб сформувати їх контекстне оточення і збагатити смисловий зміст. Після публікації пов'язаних даних будь-яка система, яка здатна обробляти семантичні запити, зможе видобувати і повторно використовувати релевантну інформацію.

Створення конкретних DaaS-сервісів залишається дорогим і витратним за часом завданням. На даному шляху можна позначити три основних проблеми: відсутність однорідності між різними наборами даних та різноманітність нових форматів даних та мов запитів, що викликає необхідність створення різних нових систем баз даних і інструментів зберігання, обробки і доступу до несхожих даних; використання переваг пов'язаних даних вимагає динамічного виявлення доступних ресурсів даних, плавної інтеграції пов'язаних даних з різних джерел, інформації про походження, а також оцінки якості інформації; створення інтерфейсів для кінцевих користувачів на принципах універсальної візуалізації, аналізу і взаємопов'язаності даних.

Застосування сервісів і додатків відкритих даних відбувається за такою схемою: виявлення джерела даних, які можуть бути вивчені, розсортовані й відфільтровані відповідно їх метаданих, такими як сфера застосування, розташування, творець, час створення, доступних заходів щодо забезпечення якості та багато іншого; інтеграція і використання даних для семантичного зв'язування відповідних даних; використання багатофункціонального користувацького інтерфейсу для забезпечення різних видів взаємодії з даними, включаючи візуалізацію даних, графічний браузер даних, а також візуальне вивчення і пошук; подальше розширення платформи за умови використання власних компонентів, наприклад, застосування вбудованих API дозволяє писати власні та динамічні постачальники даних.

Оцінювання якості даних виконується за основними трьома критеріями: машиночитаність файлового формату, структурованість та чистота. У поєднанні ці критерії визначають, чи можлива автоматична обробка набору даних. Критерій машиночитаності файлового формату визначає, опубліковані дані у машиночитаному (наприклад, json, xml, csv) чи немашиночитаному (pdf, doc, jpg тощо) форматі. Критерій структурованості визначає, чи є дані добре структурованими, тобто зберігаються у вигляді ключ-значення. Критерій чистоти визначає, наявні чи відсутні у даних помилки, а також чи уніфіковані дані. Як додаткові критерії оцінки якості даних можна використовувати такі: наявність метаданих, наявність опису структури даних, кодування файлу. Ці критерії дозволяють визначати основні проблеми в даних та шукати шлях вирішення цих проблем і підвищення якості даних [8].

Таким чином, одним із перспективних каналів комунікації держави і суспільства, породжених сучасною цифровою реальністю, виступають відкриті дані. Відкриті дані в Україні, як і у більшості інших країн, виникли як продовження проекту е-уряду.

Україна знаходиться на початковому етапі впровадження ініціативи з розвитку відкритих державних даних. Протягом останніх двох років в Україні було здійснено низку заходів щодо відкриття та оприлюднення в Інтернет державних даних. Зокрема, було внесено зміни до Закону України “Про доступ до публічної інформації”, які зобов'язують розпорядників інформації надавати публічну інформацію у формі відкритих даних на запит, оприлюднювати і регулярно оновлювати її на єдиному державному порталі відкритих даних та на своїх веб-сайтах. Нові положення Закону також визначають порядок подальшого використання та поширення публічної інформації у формі відкритих даних та надають визначення поняття публічної інформації у формі відкритих даних.

Серед інших проблем, що ускладнюють втілення ініціативи з відкриття держаних даних в Україні, слід відзначити такі [5]: відсутність концептуального документу, який би визначав основні принципи, пріоритети та напрями втілення політики із відкриття державних даних; нерозвиненість культури відкритого врядування; відсутність єдиного підходу до збору, зберігання та управління державними даними в електронній формі; недостатній рівень підготовки персоналу органів публічної влади для роботи із відкритими даними; недостатнє фінансування ініціативи із відкриття державних даних; низький рівень поінформованості населення щодо відкритих державних даних та переваг їх використання.

Подальшими дослідженнями розвитку сервісів відкритих даних для забезпечення ефективного функціонування е-уряду є: розробка стратегії розвитку відкритих даних в Україні, в якій, зокрема, необхідно визначити основні принципи, пріоритети та напрями реалізації політики із відкриття державних даних; проведення соціологічних досліджень для визначення видів даних, які мають найбільший попит серед населення, та категорій запитів, з якими громадяни найчастіше звертаються до органів публічної влади; розробка стандартів збору, зберігання та управління державними даними в е-формі та стандартів якості відкритих державних даних; визначення переліку пріоритетних наборів відкритих державних даних, враховуючи 14 категорій, опублікування яких передбачено Хартією відкритих даних; визначення механізму формування та оприлюднення статистики запитів на дані; запровадження інтерактивних інструментів, які надаватимуть відвідувачам можливість спілкуватися на тематичних он-лайн форумах.

семантичний інтероперабельність електронний уряд

Список використаних джерел

1. Tim Berners-Lee. Linked Data. URL: http://www.w3.org/DesignIssues/LinkedData.html.

2. Анализ международных практик поддержки R&D по направлению “ОткрытыеДанные” / Российский офис Консорциума W3C при поддержке Центра семантических технологий НИУ ВШЭ. URL: http://w3c.org.ru/wp-content/uploads/2013/06/Анализ-международных-практик- поддержки-работ-по-GLD. pdf.

3. Газін А. Як покращити якість державних даних. URL: http://texty.org.ua/pdf/data_quality_ policy, pdf.

4. Как связанные данные преобразуют электронное Правительство (e-Government). Объединенное правительство Европы. URL: http://w3c.org.ru/wp-content/uploads/2013/06/ Европейская-Платформа-интероперабельных-Открытых-Данных

5. Клімушин П. С. Стратегії та механізми електронного урядування в інформаційному суспільстві: монографія. - Харків : Вид-во ХарРІ НАДУ “Магістр”, 2016. 524 с.

6. Основні принципи використання та доступу до публічної інформації у формі відкритих даних: зарубіжний досвід для України. Аналітична записка / Національний інститут стратегічних досліджень. URL: http://www.niss.gov.ua/articles/2297/.

7. Радченко И. А. Открытые данные: понимание, проблемы и мировые тенденции. Информационные ресурсы России. 2016. № 4 (152). URL: https://www.researchgate.net/ publication/307560386.

8. Толпыгина О. А., Малаканова О. А. Открытые данные как новый формат взаимодействия государства и общества. Экономика и соціологія. 2016. № 3 (31). С. 17-23. URL: http:// esjournal.ru/files/pdf/201603.pdf.

Размещено на Allbest.ru