Моделі та методи інтелектуальної підтримки прийняття рішень на основі реєстрових систем

Размещено на http://allbest.ru

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Моделі та методи інтелектуальної підтримки прийняття рішень на основі реєстрових систем

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

управлінський рішення реєстр

Актуальність теми досліджень. Задача розробки моделей та методів аналізу даних з метою прийняття управлінських рішень виникла при створенні та експлуатації комплексів технологічно програмних засобів, які призначені для вирішення завдань автоматизації збору, збереження та обробки даних, що підлягають Державному обліку у відповідності до вимог чинного законодавства України (№ 342, 374, 496, 497, 498), реєстру сільськогосподарських тварин та реєстру зернових культур.

Експлуатація реєстрових систем сільськогосподарських тварин та зернових культур й покладена у їх основу реляційна структура даних, показала неможливість ефективного вирішення задач аналізу накопичених об'ємів даних та на його основі прийняття управлінських рішень.

Однією з проблем, що не дозволяє проводити ефективний аналіз накопичених даних є неповна визначеність вихідних, первинних даних. Застосування багатовимірних моделей даних, у випадку неповної визначеності інформації, призводить до виникнення ряду принципових проблем, які суттєво знижують ефективність використання вихідної інформації. У ряді наукових праць відомих фахівців (Каліниченко Л.А., Ривкін В.М, Наріньяні А.С., Ліпскі В., Павлак З., Кімбал Р. та інших) розглядаються теоретичні основи реляційних структур даних з розрідженою інформацією, однак єдиного підходу до технічної реалізації СППР на основі розріджених, багатовимірних структур даних на даний момент не сформовано. Таким чином, розробка ефективних моделей та методів аналізу даних багатовимірних, розріджених структур даних є актуальною задачею.

Використання для проведення аналізу готових засобів інтелектуального аналізу, що представлені на ринку програмного забезпечення, не є ефективним рішенням з огляду на: високу вартість продуктів даного сегменту, кількість рівнів застосування систем; надмірну функціональність, що не буде повністю використана; потребу у доведенні продуктів під потреби конкретних предметних галузей; неможливість розширення або модифікації ринкових продуктів; необхідність практично єдиного технологічного рішення для обох реєстрових систем.

Таким чином, актуальність даної роботи обумовлюється: відсутністю у впроваджених реєстрових системах ефективних засобів оперативного аналізу даних; відсутністю ефективних засобів проведення інтелектуального аналізу даних, як наслідку неможливістю ефективного вирішення актуальних задач предметних галузей реєстрових систем.

Зв'язок роботи з науковими програмами, планами, темами. Обраний у дисертаційній роботі напрямок досліджень відповідає наказам Міністерства аграрної політики України: «Про запровадження ідентифікації та реєстрації великої рогатої худоби», № 342 від 17 вересня 2003 р.; «Про запровадження ідентифікації і реєстрації коней», № 496 від 31 грудня 2004 р.; «Про запровадження ідентифікації та реєстрації свиней», №497 від 31 грудня 2004 р.; «Про запровадження ідентифікації та реєстрації овець і кіз», № 498 від 31 грудня 2004 р.; «Про затвердження Порядку ведення основного реєстру складських документів на зерно та зерна, прийнятого на зберігання, і реєстру зернового складу», № 374 від 23 вересня 2005 р. Дисертаційна робота виконувалась в рамках досліджень Київського національного університету будівництва і архітектури, а саме науково-дослідної роботи «Методи та моделі комплексного аналізу підприємства з врахуванням зовнішніх та внутрішніх зв'язків», державний реєстраційний номер - 0107U008101.

Мета та задачі досліджень. Метою дисертаційної роботи є підвищення ефективності проведення аналізу накопичених даних та вирішення найбільш актуальних завдань предметних галузей, які ефективно не вирішуються поточними можливостями впроваджених реєстрових систем сільськогосподарських тварин та зернових культур, шляхом розробки й дослідження моделей та методів оперативного аналізу багатовимірних, розріджених структур даних й моделей та методів інтелектуального аналізу даних. У дисертаційній роботі вирішуються наступні основні задачі:

- дослідження сучасних систем підтримки прийняття управлінських рішень на основі даних, технологій аналізу даних, їх складових та тенденцій їх розвитку, відповідно до поставлених завдань та з метою визначення найбільш оптимальних шляхів їх вирішення;

- побудова багатовимірних моделей на основі структур даних реєстрових систем, що впроваджені, розробка методу, для підвищення ефективності виконання запиту до розрідженої, багатовимірної структури даних;

- удосконалення побудованої багатовимірної моделі та методу агрегації, оперативного аналізу даних, що надає можливість оцінити рівень достовірності отриманих значень;

- розробка моделей та методів інтелектуального аналізу структур даних реєстрових систем, з метою вирішення актуальних задач предметних галузей;

- проведення експериментального дослідження границь ефективного застосування запропонованого методу, що дозволяє підвищити ефективність виконання запиту до розрідженої, багатовимірної структури даних, здійснення імітаційного моделювання основних характеристик багатовимірної структури даних з метою визначення оптимального режиму зберігання даних у багатовимірному представленні (ROLAP, HOLAP, MOLAP).

Об'єктом дослідження є існуючі реєстрові системи: реєстр сільськогосподарських тварин та реєстр зернових культур.

Предметом дослідження є моделі та методи оперативного та інтелектуального аналізу даних розвитку існуючих реєстрових систем.

Методи дослідження. В процесі досліджень були використані методи проектування багатовимірних баз даних, теорія множин та графів, методи системного аналізу, методи інтелектуального аналізу, методи статистичного аналізу, теорія ймовірності.

Наукова новизна отриманих результатів. У результаті вирішення поставлених задач у дисертаційній роботі, автором отримані наступні результати:

вперше:

- розроблено метод, для підвищення ефективності виконання запиту до неповністю заповненої багатовимірної структури даних. Метод відрізняється від існуючих динамічним формуванням доступних для фіксації вимірів й міток.

- запропоновано метод прогнозування виникнення критичних ситуацій, на основі кластерного аналізу, що дозволяє попередити виникнення критичних ситуацій, наслідки яких мають негативний вплив.

удосконалено:

- багатовимірну модель та метод агрегації, оперативного аналізу даних, що розповсюджуються на системи, які оперують багатовимірними, розрідженими структурами даних та дозволяють оцінити достовірність агрегованих значень при здійсненні аналізу даних.

дістало подальшого розвитку:

- застосування методу оцінки можливих втрат прибутків підприємством, на основі багатовимірної моделі даних, що дає можливість визначення оптимальних характеристик об'єктів, підготовка яких дозволить зменшити потенційні втрати при отриманні більших прибутків.

Практичне значення отриманих результатів. На основі запропонованих у роботі моделей та методів здійснено модифікацію реєстру сільськогосподарських тварин та реєстру зернових культур, які впроваджені під керівництвом Міністерства аграрної промисловості для вирішення завдань, що актуальні у рамках предметних галузей реєстрових систем, але не можуть бути ефективно вирішені наявними засобами. Здійснені модифікації дозволяють оцінити достовірність отриманих результатів агрегації, підвищити ефективність виконання запитів до багатовимірних структур даних, прогнозувати виникнення критичних ситуацій та оцінити втрати прибутків підприємством.

Тестова експлуатація програмних компонентів, на основі запропонованих у даній роботі моделей та методів, проводиться у сільськогосподарських товариствах: «ім. Щорса», Черкаська обл.; «Лан», Черкаська обл.

Галузь застосування більшості отриманих результатів не обмежується рамками доповнення окреслених реєстрових систем. Викладені у роботі моделі та методи можуть бути застосовані для вирішення типових задач, будучі покладені у основу засобів оперативного та інтелектуального аналізу даних.

Особистий внесок здобувача. Усі наукові результати, викладені у дисертаційній роботі, отримані автором особисто. У наукових працях, виконаних у співавторстві, особистий внесок здобувача наступний: запропоновані ознаки, за якими проведено аналіз та здійснена оцінка відповідності сучасних методологій, потребам процесу розробки інформаційно - аналітичних систем [1]; визначені рамки аналізу та ознаки класифікації, сформовані результати класифікації систем підтримки прийняття управлінських рішень [2]; запропоновано формалізований опис багатовимірних структур даних та методів обробки багатовимірної інформації [3]; здійснено аналіз проблем розріджених багатовимірних структур та запропоновані методи, що дозволяють зменшити проблему обробки розріджених даних [4, 6].

Апробація результатів дисертації. Основні результати роботи доповідались та обговорювались на: 66-й Науково - практичній конференції Київського Національного університету будівництва та архітектури (КНУБА, м. Київ, 2005 р.); міжнародній науково - практичній конференції «Сучасні напрямки теоретичних та прикладних досліджень 2008» (ОНМУ, м. Одеса, 2008 р.); 69-й Науково - практичній конференції Київського Національного університету будівництва та архітектури (КНУБА, м. Київ, 2008 р.); міжнародній науковій конференції студентів, аспірантів та молодих вчених «Ломоносов - 2008» (ЧФ МГУ ім. М.В. Ломоносова, м. Севастополь, 2008 р.); 9-й Міжнародній науково - практичній конференції «Сучасні інформаційні та електронні технології» (ОНПУ, м. Одеса, 2008 р.); 10-й Науково - технічній конференції «Системний аналіз та інформаційні технології» (НТУ КПІ, м. Київ, 2008 р.); 1-й Міжнародній науково-практичній конференції «Безпека та захист інформації в інформаційних та телекомунікаційних системах» (ХНЕУ, м. Харків, 2008 р.).

Публікації. За результатами виконаних досліджень опубліковано 10 наукових праць, що відображають основні результати роботи, з них 5 - наукові статті у фахових виданнях, затверджених переліком ВАК України, 5 - тези доповідей.

Структура та обсяг роботи. Дисертація складається зі вступу, чотирьох розділів, висновку, списку використаної літератури та додатків. Робота викладена на 178 сторінках машинописного тексту, містить 55 ілюстрацій, 24 таблиці, список використаних літературних джерел із 116 найменувань на 12 сторінках та 2 додатки на 7 сторінках.

Дисертація виконана на кафедрі інформаційних технологій Київського національного університету будівництва та архітектури.

ОСНОВНИЙ ЗМІСТ

У вступі обґрунтовано актуальність теми дисертаційної роботи, визначено мету і завдання дослідження, його об'єкт та предмет, розкрито наукову новизну та практичну цінність одержаних результатів.

У першому розділі проведено аналіз потреб, недоліків та шляхів модернізації впроваджених реєстрових систем сільськогосподарських тварин та зернових культур з метою побудови на їх основі СППР, які задовольнятимуть потребам та вирішуватимуть задачі поставлені у рамках предметних галузей, що розглядаються.

Здійснено огляд та аналіз сучасних технологій створення інформаційних систем, орієнтованих на аналіз даних та підтримку прийняття управлінських рішень, розглянуті підстави їх виникнення, основні властивості, характеристики та тенденції розвитку. Здійснено оцінку можливостей сучасних СППР на основі даних, що представлені на ринку - Microsoft, Oracle, IBM, Cognos, Hyperion Solutions, з точки зору їх функціональності, готовності до впровадження та вирішення задач поставлених у рамках предметних галузей реєстрових систем. На основі проведеного аналізу, здійснених оцінок та з огляду на: високу вартість продуктів сегменту СППР, кількість рівнів застосування систем, надмірну функціональність, що не буде використовуватись; необхідність у доведенні продуктів під потреби відповідних предметних галузей; неможливість розширення або модифікації сторонніх рішень; відсутність готових рішень - прийнято рішення про необхідність розробки власних засобів оперативного та інтелектуального аналізу, що обумовлює необхідність у розробці моделей представлення даних предметної галузі у багатовимірній структурі, методів їх обробки та методів інтелектуального аналізу, що нададуть можливість вирішення задач, поставлених перед впровадженими реєстровими системами.

Спираючись на роботи видатних науковців: Кодда Е.Ф., Пендсома Н., Щавелева Л.В, Барсегяна А.А., Кайта Т., Кузнецова С.Д., Ларичева О.И, Лепи Є.К., Міхеєва Є.К та інших, проведено аналіз та представлені результати у вигляді класифікації інформаційних систем, можливих варіантів їх організації та взаємодії, що надають можливість визначитись з найбільш ефективними шляхами та варіантами побудови систем підтримки прийняття управлінських рішень на основі реєстрових систем сільськогосподарських тварин та зернових культур.

У другому розділі розглянуті моделі та методи оперативного аналізу даних, які складають основу власних засобів оперативного аналізу.

Сформовані багатовимірні моделі вихідних даних реєстру сільськогосподарських тварин та зернових культур, проведено формальний опис багатовимірних структур даних та методів їх обробки, які покладені у основу реалізації компонентів СППР, що проектуються.

Проведення аналізу даних побудованих багатовимірних моделей реєстру сільськогосподарських тварин та реєстру зернових культур, дало змогу виявити наступну проблему - розрідженість багатовимірної структури даними. Застосування стандартних засобів обробки інформації для таких структур, приводить до виникнення як мінімум двох проблем:

- низька ефективність виконання запиту та отримання інформації від розрідженої, багатовимірної структури даних;

- некоректність використання отриманих значень при агрегації у розріджених, багатовимірних структурах даних.

У більшості матеріалів по створенню інформаційних систем, спрямованих на аналіз даних, питання представлення інформації у розріджених багатовимірних структурах обходиться стороною. З огляду на це, у роботі представлені результати розробки власних моделей та методів аналізу розріджених, багатовимірних структур даних реєстрових систем сільськогосподарських тварин та зернових культур, що здійснені у наступних напрямках:

- аналіз моделі даних і формалізація методу, що дозволяє оцінити щільність багатовимірної структури даних;

- аналіз та розробка методу, що дозволяє підвищити ефективність доступу до інформації у розрідженій, багатовимірній структурі даних;

- удосконалення багатовимірної моделі та методу агрегації оперативного аналізу даних розрідженої, багатовимірної структури даних.

Для визначення щільності зрізу багатовимірного кубу даних введено оператор підрахунку кількості непорожніх комірок , що ставить у відповідність множині фіксованих вимірів та фіксованих міток багатовимірного кубу даних деяке число с, що дорівнює кількості непорожніх комірок для зрізу . Тоді ступінь розрідженості області багатовимірного кубу даних (у відсотках) на множинах фіксованих вимірів та міток , де - кількість зафіксованих міток по кожному з зафіксованих вимірів, можливо визначити як відношення:

, . (1)

Ступінь розрідженості багатовимірного кубу С у цілому:

.(2)

Розрахунок значення оператору для систем, що проектуються, здійснюється за допомогою використання моделі бінарного представлення багатовимірного кубу даних.

Процедура формування запиту шляхом послідовної фіксації міток вимірів багатовимірного кубу даних може бути реалізована на основі покрокового конструктора запитів. Конструктор представляє собою програмний засіб, що дозволяє послідовно фіксувати виміри, шляхом фіксації необхідних міток у даних вимірах. Запит вважається сформованим та виконується після фіксації усіх необхідних вимірів. Різниця при виконанні запиту до розрідженого по відношенню до щільного багатовимірного кубу полягає у тому, що у випадку розрідженого багатовимірного кубу результатом вибірки даних може бути порожнє значення, тобто запит буде нерезультативним, що веде до неефективного використання часу.

Ефективність виконання запитів E може бути оцінена як величина, обернена середньому часу результативного запиту:

, ,(3)

де: - час, затрачений на фіксацію мітки j - го виміру при формуванні і - го запиту, - час відповіді системи та і-й запит, N - число сформованих запитів, R - число результативних запитів, n - число вимірів багатовимірного кубу даних. Приймаючи та усереднюючи по , отримаємо:

. (4)

Ефективність запиту, таким чином, обернено пропорційна ступеню розрідженості багатовимірного кубу. Зниження ефективності при зростанні числа вимірів обумовлюється часом, що необхідно затратити на фіксацію міток вимірів. Очевидно, єдиним засобом підвищення ефективності у випадку багатовимірних кубів даних з високим ступенем розрідженості є збільшення числа результативних запитів R.

Таким чином, вирішення задачі підвищення ефективності формування запиту користувача до розрідженого багатовимірного кубу для систем, що створюються, зводиться до створення методу, який дозволяє уникнути отримання порожньої вибірки на етапі формування запиту. Принципова схема запропонованого методу зображена на рис. 1.

Рис. 1. Схема методу, що дозволяє підвищити ефективність формування запиту до розрідженої, багатовимірної структури даних

Запропонований у роботі метод полягає у динамічному формуванні доступних для фіксації вимірів та міток в залежності від зафіксованих раніше з огляду на наявність даних.

У стандартних моделях та методах агрегації не враховується ситуація з відсутністю первинних даних, що відповідають деяким міткам нижнього рівня ієрархії. Використання стандартних методів агрегації, у такому випадку, призводить до доволі сумнівних результатів. З метою уникнення даних ситуацій, при проведенні агрегації в розрідженому багатовимірному кубі, пропонується ввести додатковий параметр, що характеризує рівень достовірності отриманого результату.

Представимо формальний опис даного методу. Поставимо у відповідність кожній мітці нижнього рівня ієрархії величину , що характеризує ступінь достовірності фактів, як це відображено на рис. 2, де:

- , у випадку існування факту , що відповідає мітці;

- , у разі якщо такого факту не існує.

Рис. 2. Удосконалена багатовимірна модель агрегації

Обчислення агрегату на рівні починаючи з () та рівня достовірності , що відповідає агрегату , виконується за формулами:

, , l=1,…,N, (5)

де: М_j - кількість фактів, що відповідають міткам, які є дочірніми по відношенню до мітки j, K_j - кількість міток, що є дочірніми по відношенню до мітки j.

Розглянуті модель та метод агрегації застосовні для розріджених, багатовимірних структур даних реєстрових систем сільськогосподарських тварин та зернових культур з метою забезпечення можливості оцінки рівня достовірності отриманих результатів на етапі аналізу.

Третій розділ присвячений розробці та аналізу моделей й методів вирішення поставлених у рамках предметних галузей реєстрових систем завдань, що не вирішуються наявними засобами: прогнозування виникнення критичних ситуацій, оцінка можливих втрат прибутків підприємством, розрахунок прогнозованих значень критичних показників об'єктів, на основі наступних методів інтелектуального аналізу: кластерний аналіз, кореляційно - регресійний аналіз, дерева рішень та методів оперативного аналізу. У розділі запропоновано схему взаємодії оперативного та інтелектуального аналізу даних, визначені принципи та переваги даної взаємодії.

Однією з найважливіших задач, що постає у рамках реєстру сільськогосподарських тварин є вчасне виявлення та попередження захворювань та карантинів тварин. У рамках реєстру зернових культур, аналогічна проблема, пов'язана з своєчасним прийняттям мір, щодо уникнення псування зернових культур при зберіганні. Задачу прогнозування виникнення критичних ситуацій у формалізованому вигляді можливо представити наступним чином: існує певна кількість об'єктів , які характеризуються певним набором параметрів , що визначають як кількісні показники об'єкту, так і його якісні показники, де R_i - визначає приналежність до реєстрової системи. Оперуючи накопиченою історичною інформацією щодо об'єкту, можливо, оцінюючи поточні значення параметрів , насамперед кількісних, визначити можливу майбутню зміну якісних показників вихідних об'єктів, тобто:

,(6)

де:

- F() - методи обробки даних множин вихідних об'єктів, що застосовуються з метою отримання множини R, у рамках вирішення задачі та згідно запропонованих методів;

- - результат вирішення задачі, що складається з підмножин вихідних об'єктів та прогнозованих значень якісних параметрів .

Суть запропонованого методу полягає у: формуванні кластерів (далі - критичних кластерів), що сигналізують про високу прогнозовану ймовірність виникнення критичних ситуацій; модифікації побудованих критичних кластерів, шляхом перетину зі стабільними кластерами (рис. 3.); прогнозування рівня ймовірності виникнення критичної ситуації для об'єктів, шляхом аналізу потрапляння об'єктів до критичних кластерів. Модифікація критичних кластерів надає можливість зменшити вплив на результати аналізу додаткових та випадкових факторів, що не можливо (складно) врахувати, шляхом використання накопиченої у сховищі даних інформації. У рамках запропонованого методу здійснено модифікацію методу k - середніх та загального принципу проведення кластерного аналізу.

Рис. 3. Схема модифікації критичних кластерів

Суть зміни загального принципу кластерного аналізу полягає у використанні кластерів для ідентифікації простору високої прогнозованої ймовірності виникнення критичних ситуацій, тобто об'єкти, що потрапляють до кластеру, обов'язково мають єдиний загальний якісний показник - високу прогнозовану ймовірність виникнення критичної ситуації, при цьому кількісні показники об'єктів у різних кластерах будуть різнитись. У класичному представленні кластерного аналізу - кластер об'єднує об'єкти, що мають наближені показники по усім вимірам (змінним).

Модифікація алгоритму k - середніх полягає у зміні принципів розрахунку центрів кластерів, де центри кластерів визначають не як середнє значення координат об'єктів, що входять у кластер:

, (7)

а як середній елемент відсортованого масиву координат об'єктів, що належать кластеру:

;

; (8)

,

де: m_m - масив координат по виміру (змінній) j; u_ij - елемент матриці розбиття.

Однією з задач, вирішення якої актуальне для багатьох галузей, у тому числі сільськогосподарської галузі - є попередня оцінка можливих втрат прибутків. Попередня оцінка можливих втрат прибутків зводиться до формування методу проведення аналізу, за результатами якого можливо визначити оптимальні характеристики об'єктів, підготовка яких дозволить зменшити потенційні втрати при отриманні більших (максимальних) прибутків, враховуючи можливе виникнення критичної ситуації E_i.

Основною проблемою підприємств (далі під цим терміном мається на увазі підприємство, що займається розведенням тварин для отримання прибутку), є втрата прибутку при здійсненні процесів P₁ (розведенні та утриманні сільськогосподарських тварин) та P₂. Серед різноманіття критичних ситуацій E_i, що можуть чинити вплив на процес P₁, є карантин тварин, що виникає в наслідок захворювання однієї, чи групи тварин та веде до їх забою. Виникнення карантину найбільш істотно залежить від наступних параметрів : виду тварин (); кількості тварин у господарстві () певного виду ().

В узагальненому вигляді продаж об'єкту (Р₂) характеризується прибутком В, який формується на основі кількості об'єктів (N-n), що продаються, та вартості об'єкту при продажу V. Процес підготовки об'єкту, у загальному випадку, характеризується вартістю підготовки одного об'єкту C, кількістю підготовлених об'єктів N та параметрами об'єктів , рис. 4.

На процес підготовки об'єктів можуть впливати певні критичні ситуації E_i, що не дозволяють здійснити їх наступний продаж, а отже ведуть до втрати прибутків. Критична ситуація E_i характеризується вірогідністю її виникнення p та кількістю знищених об'єктів n.

Рис. 4. Схема оцінки впливу критичних ситуацій на діяльність підприємства

Кількість знищених об'єктів n та ймовірність p виникнення критичної ситуації E_i залежить від виду об'єктів, їх кількості та інших характеристик. Прибуток підприємства залежить від кількості об'єктів, що йдуть на продаж, їх характеристик та кількості об'єктів на які здійснює вплив критична ситуація.

.(9)

Запропонований метод, шляхом використання накопиченої інформації, зв'язку з багатовимірним сховищем даних та на основі: методів оперативного аналізу, статистичних методів (гістограма частот, кореляційно-регресійний аналіз), побудованої моделі дерева рішень - дозволяє визначити прогнозований прибуток для кожного виду та кількості об'єктів. Обрання максимального значення прогнозованого прибутку, визначає оптимальне прогнозоване рішення щодо характеристик об'єктів певного виду, необхідних для підготовки та продажу, в умовах виникнення критичної ситуації E_i, з метою отримання найбільшого прибутку.

Привабливість запропонованого методу полягає у можливості врахувати фактори, інтерпретація яких неможлива, але за рахунок використання, для проведення аналізу, вибіркових даних (за певним господарством, порою року, тощо) дані фактори не призведуть до помилок аналізу (прогнозування).

Четвертий розділ присвячений розгляду особливостей реалізації СППР згідно запропонованих у роботі моделей та методів оперативного та інтелектуального аналізу. У розділі представлені результати проведеного імітаційного моделювання основних характеристик багатовимірного сховища даних в залежності від режимів збереження даних та рівня агрегації, визначені границі застосування запропонованого методу, який дозволяє підвищити ефективність покрокового конструктора запитів, розглянуті компоненти архітектури систем, їх призначення, схеми та особливості взаємодії, схеми організації вихідних даних реєстрових систем.

Одним з найважливіших етапів при проектуванні СППР є визначення технології збереження багатовимірних даних з метою досягнення максимальної продуктивності. Для досягнення найбільшої ефективності було проведено імітаційне моделювання роботи багатовимірних сховищ даних на основі СКБД Oracle 10g та здійснено аналіз отриманих результатів. У якості найбільш важливих критеріїв, при побудові багатовимірних структур даних, відібрані режим збереження та рівень агрегації даних. У якості основних характеристик СППР, які визначають результати моделювання, були обрані:

- час обробки (побудови кубу даних);

- необхідний дисковий простір;

- час виконання OLAP DML запитів;

- навантаження на центральний процесор.

Зведені результати моделювання, що зображені на рис. 5, були отриманні у результаті обробки ідентичних по структурі кубів з різними режимами зберігання інформації при рівні агрегації даних - 60%.

Оскільки кожен з режимів має переваги по різним напрямкам моделювання, були визначені напрямки, що є пріоритетними (критичними) для систем, що проектуються та ті, що є менш важливими:

- некритичні: час побудови (обробки) кубу; необхідний дисковий простір;

- критичні: час обробки запитів; навантаження на центральний процесор.

Виходячи з результатів імітаційного моделювання, режим зберігання MOLAP, був визначений, як найбільш ефективний для реалізації систем, що проектуються.

Зміст запропонованого методу, що дозволяє підвищити ефективність запиту, полягає у скороченні часу, що витрачає користувач на отримання результатів запиту. Застосування даного методу виправдовує себе виключно у випадку, коли час, що витрачається системою на виконання розрахунку усіх необхідних значень оператора кількості непорожніх комірок - не переважає час обрання користувачем значення виміру (інакше користувач буде витрачати час на очікування відгуку системи, що веде до зниження ефективності роботи).

Рис. 5. Зведені результати моделювання

Назвемо цей час критичним значенням та умовно визначимо його як m сек. (згідно проведених тестів, 7 секунд необхідно користувачу для вибору значення).

На рис. 6 представлені результати проведеного моделювання, графіки, що характеризують залежність часу розрахунку значення оператору кількості непорожніх комірок від ступеню заповненості багатовимірного кубу даних для різних потужностей апаратних засобів.

За результатами моделювання можливо зробити наступні висновки:

- При максимальній кількості записів ~ 1 млн., час розрахунку оператора не перевищує критичного значення часу для обох конфігурацій апаратного забезпечення.

- У випадку максимальної кількості запитів ~ 2 млн., для високого рівня заповненості кубу (більше 40%) рекомендується використання апаратних засобів, що перевищують потужність у 1,5 GFLPS.

- У ході проведення промислової експлуатації, необхідно провести повторний аналіз та можливо обмежити режим застосування методу, який підвищує ефективність запитів, при перевищенні певного значення ступеня заповненості кубу та певному об'ємі даних.

а

б

Рис. 6. Границі застосування методу, який підвищує ефективність запитів:

а) кількість записів ~ 1 млн.;

б) кількість записів ~ 2 млн.

ВИСНОВКИ

До основних результатів роботи слід віднести запропоновані моделі та методи, які покладені в основу розробки програмних компонентів реєстрових систем сільськогосподарських тварин й зернових культур та забезпечують можливість вирішення задач аналізу накопичених даних.

1. Проведений аналіз та здійснено класифікацію інформаційних систем орієнтованих на аналізу даних, здійснено дослідження сучасних технологій аналізу даних OLAP та Data Mining, оцінені можливості основних, найбільш поширених систем підтримки прийняття рішень, які ґрунтуються на використанні даних технологій, з огляду на їх функціональні можливості та готовність до вирішення поставлених задач. Результати проведених досліджень були використані: при здійсненні оцінки перспектив використання існуючих продуктів та компонентів інтелектуального та оперативного аналізу даних; при оцінці перспектив розробки власних компонентів та виборі ефективних шляхів і варіантів розвитку реєстрових систем.

2. Для впроваджених реєстрових систем сільськогосподарських тварин та зернових культур запропонована багатовимірна модель вихідних даних, здійснено формальний опис багатовимірної структури даних та методів обробки багатовимірної інформації, які покладені у основу реалізації власних компонентів СППР.

3. Запропоновані моделі та методи обробки багатовимірних, розріджених структур даних для модифікації реєстрів сільськогосподарських тварин і зернових культур, що дозволяють:

- підвищити ефективність виконання запиту та прискорити процес отримання даних від розрідженої, багатовимірної структури даних, за рахунок використання модифікованого процесу виконання запиту, в основу якого покладено принцип динамічного розрахунку доступних для фіксації вимірів та міток багатовимірного кубу;

- оцінити достовірність отриманих агрегованих значень у реєстрах сільськогосподарських тварин та зернових культур, за рахунок введення оператора, який надає можливість врахувати неповне заповнення багатовимірної моделі.

4. Запропонована узагальнена технологія проведення аналізу даних, яка за рахунок взаємодії елементів оперативного та інтелектуального аналізу, дозволяє підвищити ефективність та гнучкість проведення аналізу великих об'ємів даних реєстрів сільськогосподарських тварин та зернових культур.

5. Дістав подальшого розвитку метод, який дозволяє оцінити можливі втрати прибутків підприємством, що відрізняється від існуючих методів концепцією оцінки вірогідності виникнення критичних ситуацій та їх наслідків, на основі багатовимірної моделі даних. Запропонований метод дозволяє оцінити можливі втрати прибутків при розведенні та утриманні сільськогосподарських тварин, зберіганні зернових культур, тобто вирішують одну з актуальних задач, поставлену перед реєстровими системами.

6. Запропоновані та дослідженні моделі і методи, які дозволяють спрогнозувати виникнення критичних ситуацій, що здійснюють негативний вплив на об'єкти предметних галузей реєстрових систем сільськогосподарських тварин та зернових культур. У рамках запропонованого методу здійснено модифікацію алгоритму кластеризації «k-середніх». Створення та впровадження компонентів, що реалізують дані моделі та методи, дозволяють вчасно виявити та попередити захворювання й карантини тварин та вжити відповідних заходів щодо уникнення псування зернових культур при зберіганні.

7. Проведено експериментальне дослідження границь застосування запропонованого методу, який підвищує ефективність виконання запиту до неповністю заповненої багатовимірної структури даних, що надало можливість визначення вимог до співвідношення об'ємів даних, ступеню розрідженості та потужності апаратних засобів СППР, що проектуються на основі реєстрових систем. Здійснено імітаційне моделювання основних характеристик багатовимірної структури даних, за результатами якого визначено оптимальний режим збереження даних у багатовимірному представлені (MOLAP), виходячи з потреб та специфіки задач, що вирішуються.

8. Запропонована концепція побудови архітектури СППР, досліджені складові запропонованої архітектури, принципи серверної взаємодії реляційної та багатовимірної структур, використання яких забезпечить можливість функціонування систем у відповідності до їх призначення.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

Статті у фахових виданнях

1. Гайна Г.А. Аналіз сучасних методологій створення інформаційних систем призначених для обліку та аналізу інформації / Г.А. Гайна, С.Л. Пелевін // Східно - Європейський журнал передових технологій. - Х.: Технологічний центр, 2006. - №20. - с. 23-27.

Особистий внесок здобувача: запропоновані ознаки за якими проведено аналіз та здійснена оцінка відповідності сучасних методологій, потребам процесу розробки інформаційно - аналітичних систем.

2. Гайна Г.А. Оглядова стаття. Аналіз та класифікація облікових систем та систем підтримки прийняття рішень / Г.А. Гайна, С.Л. Пелевін // Східно - Європейський журнал передових технологій. - Х.: Технологічний центр, 2006. - №21. - с. 41-46.

Особистий внесок здобувача: визначені рамки аналізу та ознаки класифікації, сформовані результати класифікації систем підтримки прийняття управлінських рішень.

3. Гайна Г.А. Дослідження моделей та методів оперативного аналізу даних / Г.А. Гайна, С.Л. Пелевін // Східно - Європейський журнал передових технологій. - Х.: Технологічний центр, 2008. - №33. - с. 16-19.

Особистий внесок здобувача: запропоновано формалізований опис багатовимірних структур даних та методів обробки багатовимірної інформації.

4. Гайна Г.А. Розрідженість даних у багатовимірних структурах. Аналіз проблем та методи вирішення / Г.А. Гайна, С.Л. Пелевін // Східно - Європейський журнал передових технологій. - Х.: Технологічний центр, 2008. - №32. - с. 18 - 20.

Особистий внесок здобувача: здійснено аналіз проблем розріджених багатовимірних структур та запропоновані методи, що дозволяють зменшити проблему обробки розріджених даних.

5. Пелевін С.Л. Моделі та методи визначення ризику виникнення критичних ситуацій та процесів / С.Л. Пелевін // Східно - Європейський журнал передових технологій. - Х.: Технологічний центр, 2008. - №34. - с. 61 - 65.

Друковані праці наукових конференцій

6. Гайна Г.А. Моделі та методи оперативного аналізу даних (OLAP) у розріджених багатовимірних структурах / Г.А. Гайна, С.Л. Пелевін // Матеріали 9-ї міжнародної науково-практичної конференції «Сучасні інформаційні та електронні технології». - О.: ART-V, 2008. - том 1, с. 77.

Особистий внесок здобувача: удосконалено багатовимірну модель та метод агрегації, оперативного аналізу даних, що дозволяє оцінити достовірність отриманих результатів.

7. Пелевін С.Л. Моделі та методи побудови інформаційних систем підтримки прийняття управлінських рішень на основі OLAP / С.Л. Пелевін // Матеріали міжнародної наукової конференції студентів, аспірантів та молодих вчених «Ломоносов - 2008». - С.: НПЦ «ЭКОСИ-Гидрофизика», 2008. - с. 372-373.

8. Пелевін С.Л. Проблеми ефективності застосування методів оперативного аналізу (OLAP) / С.Л. Пелевін // Матеріали 10-ї Науково - технічної конференції «Системний аналіз та інформаційні технології». - К.: НТУ КПІ, 2008. - с. 398.

9. Пелевін С.Л. Оцінка можливих втрат прибутків господарством при розведенні та утриманні сільськогосподарських тварин / С.Л. Пелевін // Матеріали міжнародної науково - практичній конференції «Сучасні напрямки теоретичних та прикладних досліджень 2008». - О.: Черноморье, 2008. - том 23, с. 56-60.

Размещено на Allbest.ru