Метод та засоби організації розподілених баз даних в комп'ютерній мережі

Размещено на http://www.allbest.ru/

НАЦІОНАЛЬНИЙ АВІАЦІЙНИЙ УНІВЕРСИТЕТ

УДК 004.04 (043.3)

05.13.13 - обчислювальні машини, системи та мережі

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

МЕТОД ТА ЗАСОБИ ОРГАНІЗАЦІЇ РОЗПОДІЛЕНИХ БАЗ ДАНИХ В КОМП'ЮТЕРНІЙ МЕРЕЖІ

Аль Шибані Салім

(Сирія)

Київ - 2007

Дисертацією є рукопис.

Роботу виконано на кафедрі комп'ютерних систем та мереж Інституту комп'ютерних технологій Національного авіаційного університету Міністерства освіти і науки України.

Науковий керівник

доктор технічних наук, професор, заслужений винахідник України Жуков Ігор Анатолійович, Національний авіаційний університет МОН України, директор Інституту комп'ютерних технологій.

Офіційні опоненти:

доктор технічних наук, професор Фабричев В'ячеслав Анатолійович, Національний авіаційний університет МОН України, професор кафедри безпеки інформаційних технологій Інституту інформаційно-діагностичних систем;

кандидат технічних наук, старший науковий співробітник Чемерис Олександр Анатолійович, Інститут проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України, вчений секретар Інституту.

Провідна установа Інститут кібернетики ім. В.М. Глушкова НАН України, відділ мікропроцесорної техніки, м. Київ.

Захист відбудеться "06" липня 2007 р. о 13 годині на засіданні спеціалізованої вченої ради Д 26.062.07 Національного авіаційного університету за адресою: 03680, м. Київ, просп. Космонавта Комарова, 1.

З дисертацією можна ознайомитись у бібліотеці Національного авіаційного університету за адресою: 03680, м. Київ, просп. Космонавта Комарова, 1.

Автореферат розісланий "04" червня 2007 р.

Учений секретар спеціалізованої вченої ради Д 26.062.07, кандидат технічних наук, доцент О.П. Мартинова

Анотації

Аль Шибані Салім. Метод та засоби організації розподілених баз даних в комп'ютерній мережі. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за фахом 05.13.13 - обчислювальні машини, системи й мережі. - Національний авіаційний університет, Київ, 2007.

Дисертаційну роботу присвячену розробленню методу й апаратно-програмних засобів підвищення ефективності обробки великих масивів даних у комп'ютерній мережі на основі нових підходів до архітектури систем баз даних раціонального розміщення ресурсів даних по вузлах мережі, разпаралелення алгоритмів керування даними. Проведено аналіз апаратних і програмних засобів, орієнтованих на побудову обчислювальних систем для вишення завдань прискорення обробки великих і надвеликих баз даних.

Запропоновані спеціалізовані апаратні засоби, архітектура яких орієнтована на переробку великих обсягів даних.

Розроблений метод розміщення ресурсів РБД у локальній комп'ютерній мережі з топологією "зірка", що дозволяє оптимізувати завантаження серверів РБД, і підвищити ефективність функціонування комп'ютерних мереж. програмний комп'ютерний алгоритм

У перше запропоновано організацію трирівневої ієрархічної архітектури РБД, призначеної для паралельної обробки великих і надвеликих БД.

Ключові слова: база даних, розподілена база даних, система керування базами даних, комп'ютерна мережа, вузол, балансування завантаження, разпаралелення обробки запитів, комутатор.

Аль Шибани Салим. Метод и средства организации распределенных баз данных в компьютерной сети. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.13 - вычислительные машины, системы и сети. - Национальный авиационный университет, Киев, 2007.

Диссертационная работа посвящена разработке метода и аппаратно-программных средств повышения эффективности обработки больших массивов данных в компьютерной сети на основе новых подходов к архитектуре систем баз данных рационального размещения ресурсов данных по узлам сети, распараллеливание алгоритмов управления данными. Проведен анализ аппаратных и программных средств, ориентированных на построение вычислительных систем для решения задач оптимизации и ускорения обработки больших и сверхбольших баз данных. На основе существующих и модифицированных методов и средств предложена аппаратная платформа, алгоритмов и программных средств, ориентированных на распараллеливание операций и предназначенных для обработки больших массивов данных.

Предложены как специализированные аппаратные средства, архитектура которых ориентирована на переработку больших объемов данных, так и программные средства, позволяющие ускорить обработку данных на компьютерах с новой архитектурой.

Разработан метод размещения ресурсов РБД в локальной компьютерной сети с топологией звезда, позволяющий оптимизировать загрузку серверов РБД, и повысить эффективность функционирования компьютерных сетей.

Проведено исследование современных аппаратных и программных средств, предназначенных для обработки запросов распределенных баз данных и повышения производительности вычислительных систем. Предложен алгоритм маршрутизации, обеспечивающий минимальное время доставки пакетов данных с учетом особенностей информации, содержащейся в пакетах.

Програмная часть основана на постреляционном SQL сервере, который с помощью специально разработанного програмного обеспечения может производить на системах баз данных, способных обеспечить масштабируемость и отказоустойчивость системы, высокую доступность данных при сохранении или небольшом увеличении стоимости и др.

Впервые предложена организация трехуровневой иерархической архитектуры РБД для параллельной обработки больших и сверхбольших БД.

На базе предложенных алгоритмов разработаны программы для авиакомпаний Сирии и Украины, использующие РБД и позволяющие в сжатые сроки получать результаты анализа статистической и финансовой информации.

Ключевые слова: база данных, распределенная база данных, система управления базами данных, компьютерная сеть, узел, балансировка загрузки, распараллеливание обработки запросов, коммутатор.

Al Shibani Salim. Method and means of the organization of the distributed databases in a computer network. - the Manuscript.

Method and organization tools means of the organization of the distributed databases in a computer network. - the Manuscript. The dissertation on competition of a scientific degree of Cand.Tech.Sci. on a specialty 05.13.13 - computers, systems and networks - National aviation university, Kiev, 2007.

The dissertation work dedicate to developing of method and hardware which architecture is focused on processing of great volumes of data, and, allowing to accelerate data processing on computers with new architecture. The method of accommodation of resources DDB in a local computer network with topology a star is developed, allowing to optimize loading servers DDB, and to raise efficiency of functioning of computer networks. It is carried out research modern hardware and program. For the first time the organization of three-level hierarchical architecture DDB for parallel processing greater and super greater DB is offered. On the basis of the offered algorithms programs for airlines of Syria and Ukraine are developed.

Keywords: database, the distributed database, database management system, computer network, node, balancing of loading, parallel processing's of inquiries, switch.Загальна характеристика роботи

Актуальність теми. Розвиток інформаційних і комунікаційних технологій зумовив інтенсивне поширення розподілених систем зберігання і обробки даних на основі комп'ютерних мереж. Пошуки нових підходів в галузі розподілених баз даних (РБД) продовжуються й тепер. Терабайтові системи стали реальністю. Ресурси даних такого обсягу вже накопичені в сховищах даних великих корпорацій. Даними терабайтового обсягу оперують системи зберігання і обробки результатів супутникового цифрового фотографування поверхні Землі. На цей час здійснюються деякі унікальні проекти, орієнтовані на обсяги даних, вимірювані петабайтами.

Незважаючи на досягнення в галузі систем зберігання та обробки надвеликих РБД, залишається низка проблем, що потребують додаткових наукових досліджень подальшого розвитку нових підходів до створення високопродуктивних архітектур, орієнтованих на роботу в системах бази даних (СБД), здатних забезпечити масштабність і відмовостійкість системи, високу доступність даних зі збереженням або невеликим зі збільшенням вартості та ін.

Забезпечення підвищення продуктивності комп'ютерних мереж за рахунок підвищення эфективності зберігання та обробки інформації в РБД пов'язане з вирішенням проблем розроблення нових підходів до архітектури СБД, раціонального розміщення ресурсів даних по вузлах мережі, розпаралелювання алгоритмів керування даними.

Найбільш відомими в цій галузі є праці таких вчених, як Ф.І. Андон, К.Дж. Дейт, О.Г. Додонов, І.А. Жуков, Ю.П. Зайченко, Л.А. Калиниченко, М.Р. Когаловский, Д. Кренке, С.Д. Кузнєцов, О.В. Палагин, М.К. Печурін, Л.Б. Соколінський, А.О. Стогний Г.К. Столяров, Е.Л. Ющенко та ін.

Огляд відомих наукових праць показав, що існуючі методи і обчислювальні структури оптимізації розміщення ресурсів даних по вузлах комп'ютерної мережі або ефективні для завдань невеликої розмірності, або мають загальний характер, або не враховують специфічних особливостей комп'ютерних мереж, або складні для реалізації.

У дисертаційній роботі на основі порівняльного аналізу характеристик стратегій розміщення інформаційних ресурсів по вузлах комп'ютерної мережі вибрано стратегію для вирішення цієї проблеми; запропоновано метод оптимізації розміщення файлів РБД за загальним часом обслуговування запитів, запропоновано алгоритми і апаратно-програмні засоби реалізації деяких підходів до оптимізації РБД.

Зв'язок роботи з науковими програмами, планами, темами. Основні результати дисертаційної роботи використано при виконанні науково-дослідної роботи № 139 ДБ 04 "Дослідження принципів побудови паралельних обчислювальних структур для вирішення задач великої розмірності" на кафедрі комп'ютерних систем та мереж НАУ, у системах бухгалтерського обліку і реєстрації документів в авіакомпаніях України, а також у навчальному процесі на кафедрі комп'ютерних систем та мереж НАУ.

Мета і завдання дослідження. Метою дисертаційної роботи є розроблення методу і засобів побудови РБД з раціональним розміщенням інформаційних файлів в локальній комп'ютерній мережі. Для досягнення поставленої мети вирішено такі завдання:

- проведено аналіз відомих програмно-апаратних і алгорітмічних засобів високопродуктивної обробки даних в сучасних комп'ютерних мережах;

- проаналізовано відомі алгоритми вирішення завдання розміщення ресурсів даних у вузлах мережі РБД за критеріями оптимізації;

- запропоновано метод розміщення інформаційних ресурсів по вузлах комп'ютерної мережі РБД, застосування якого дозволяє підвищити продуктивність і знизити час реакції інформаційної системи, що працює з РБД;

- обґрунтовано і запропоновано обчислювальну структуру комутатора для маршрутизації запитів до БД і балансування завантаження вузлів мережі РБД при обробці великих обсягів даних;

- запропоновано нову трирівневу архітектуру для побудови високопродуктивних, відмовостійких та масштабованих РБД;

- розроблено алгоритми розміщення інформаційних ресурсів РБД, що дозволяють забезпечити мінімальний час відгуку інформаційної системи;

- проведено моделювання запропонованого алгоритму оптимального розподілу інформаційних ресурсів у мережі РБД;

- створено апаратно-програмний комплекс, у якому реалізовано метод розподілу запитів по серверах РБД "Оптимізатор запитів в локальній мережі";

- на базі запропонованих алгоритмів розроблено інформаційні системи для авіакомпаній Сирії та України і інформаційну систему для обробки інформації медичних установ Сирії, що використовують РБД і дозволяють в стислі терміни отримувати результати аналізу статистичної і фінансової інформації.

Методи дослідження. Для вирішення поставлених завдань використовувалися: основні положення теорії черг, методів математичного моделювання, цілочислового лінійного програмування з булевими змінними, методів побудови інформаційних систем і комп'ютерних мереж.

Наукова новизна отриманих результатів полягає в такому:

1. Уперше запропоновано метод оптимізації розміщення файлів РБД за загальним часом обслуговування запитів, що дозволяє ефективно регулювати завантаження серверів і зменшувати час виконання запитів.

2. Уперше розроблено і реалізовано алгоритми:

- балансування завантаження вузлів мережі РБД, призначеної для обробки великих обсягів даних.

- вибору оптимального часу доставки файлів РБД з урахуванням особливостей прикладних завдань.

3. Запропоновано структуру програмованого комутатора, яка призначена для реалізації запропонованих алгоритмів.

4. Запропоновано трирівневу структуру системи РБД для обробки великих обсягів даних, призначену для паралельної обробки великих і надвеликих БД.

Практична цінність отриманих результатів визначається створенням апаратно-програмних засобів для моделювання РБД за критеріями оптимальності розміщення інформаційних файлів по вузлах локальної комп'ютерної мережі. Розроблені програми дозволяють з мінімальними витратами розподіляти ресурси БД, що проектуються, і перерозподіл працюючих ресурсів БД у системах обробки інформації і керування, розрахованих на велику кількість користувачів. За рахунок цього істотно підвищується швидкість роботи з мінімальними витратами на закупівлю серверів стандартної архітектури, забезпечується рівномірне завантаження наявних ресурсів мережі з урахуванням продуктивності кожного вузла. Завдяки дублюванню розміщення ресурсів у вузлах мережі підвищується надійність зберігання інформації. Отримані результати дисертаційної роботи були впроваджені у навчальний процес Національного авіаційного університету до навчальних курсів "Мережеорієнтовані і комп'ютерні технології" та "Мережі ЕОМ", що викладаються на кафедрі комп'ютерних систем та мереж Інституту комп'ютерних технологій.

Особистий внесок здобувача. Всі основні результати отримані здобувачем самостійно. У роботах, написаних і опублікованих у співавторстві, здобувачу належать: [1] - розроблення методу балансування завантаження вузлів мережі РБД, призначеної для обробки великих і надвеликих обсягів даних; [2] - аналіз побудови математичних моделей оптимального розподілу файлів серед вузлів комп'ютерної мережі із забезпеченням QoS на основі числового критерію; [3] - на базі запропонованих алгоритмів розроблення програми для авіакомпаній Сирії і України використанням РБД, що дозволяють в стислі терміни отримувати результати аналізу статистичної і фінансової інформації; [4] - створено алгоритм маршрутизації, що забезпечує мінімальний час доставки пакетів даних з урахуванням особливостей інформації, що міститься в пакетах; [5] - запропоновано структуру програмованого комутатора на базі ПЛІС, призначену для реалізації запропонованих алгоритмів; [11] - створено програмні модулі, призначені для забезпечення раціонального розподілу ресурсів РБД.

Апробація результатів дисертації. Основні результати роботи доповідалися і обговорювалися на Науково-практичній конференції молодих учених та аспірантів "Інтегровані інформаційні технології та системі (ІІТС-2005)" (Національний авіаційний університет, Київ, Україна, 2005), VI Міжнародній науковій конференції студентів та молодих учених "Політ-2006" (Національний авіаційний університет, Київ, Україна, 2006), Сьомій міжнародній науково-технічній конференції "Сучасні інформаційні і електронні технології" (Одесский национальный политехнический университет, Одесса, Украина, 2006), науково-практичній конференції "Комп'ютерні системи і мережеві технології" (Національний авіаційний університет, Київ, Україна, 2007), V Міжнародній науково-технічній конференції "Політ-2007" (Національний авіаційний університет, Київ, Україна, 2007), VIII Міжнародній науково-технічній конференції "Сучасні інформаційні і електронні технології" (Одеський національний політехнічний університет, Одеса, Україна, 2007), V Міжнародній науково-практичній конференції "Комп'ютерні системи в автоматизації процесів" (Хмельницький національний університет, Хмельницький, Україна, 2007).

Публікації. За темою дисертації опубліковано 12 праць, серед яких: 5 - у виданнях, які входять до переліку ВАК України [1-5], 7 - у збірниках матеріалів наукових конференцій [6-12].

Структура і обсяг дисертаційної роботи. Матеріал основної частини дисертаційної роботи викладено на 161 сторінках машинописного тексту. Дисертація складається зі вступу, чотирьох розділів, висновків, списку використаних джерел з 121 найменувань, 36 рисунків, 7 таблиць і 6 додатків.

Основний зміст роботи

У вступі обґрунтовано актуальність теми, сформульовано мету і завдання дослідження, відзначено отримані в роботі нові наукові результати, їх практичну цінність, реалізацію, апробацію і структуру дисертації.

Перший розділ роботи присвячено огляду літератури за використання в сучасних комп'ютерних системах оптимізації РБД. Розглянуто галузі застосування РБД у системах обробки інформації і керування, розрахованих на велику кількість користувачів. Сформульовано умови, за яких доцільні створення на базі локальної мережі РБД, оптимізація розміщення її файлів.

У другому розділі, присвяченому розробленню методу і засобів прискорення обробки великих БД, розглянуті можливі підходи для прискорення СБД в організації програмного і апаратного забезпечення.

Описано теоретичні основи часу доставки масиву інформації для мереж комутації пакетів з постійними і комутованими віртуальними каналами. Запропоновано алгоритми вибору оптимального часу доставки з урахуванням особливостей надання необхідної якості послуг. Розглянуто критерії оцінки ефективності оптимізації запропонованих алгоритмів. Алгоритм дозволяє адаптувати час доставки інформаційних пакетів у корпоративних мережах комп'ютерів до реальних умов функціонування бізнес-прикладань.

Запропоновано метод оптимізації розміщення файлів РБД за загальним часом обслуговування запитів. Розглянуто алгоритм балансування завантаження вузлів мережі РБД. У алгоритмі як критерій оптимальності прийнято загальний час, необхідний для обслуговування всіх запитів, що надійшли в систему протягом одиниці часу. Таку модель можна використовувати для більшого завантаження файлами вузлів з високопродуктивними комп'ютерами. Вважаємо, що час пересилки запиту по каналах зв'язку залежить тільки від типу запиту і від файлу, до якого адресовано запит. Топологія "зірка", однотипність ліній зв'язку і їх невелика довжина ліній зв'язку в локальних мережах роблять час пересилки незалежним від того, в якому вузлі запит ініційований і в який вузол переданий.

Час пересилання інформації з вузла при виконанні пошукового запиту к-типу до файлу визначається як

де - час пересилання пошукового запиту к-типу до файлу ; - час пересилання відповіді на пошуковий запит к-типу до файлу . Тоді значення суми часів пересилання інформації по каналах зв'язку між вузлами комп'ютерної мережі при виконанні пошукових запитів, що надійшли в мережу протягом одиниці часу, дорівнює:

де - інтенсивність пошукових запитів к-типу до файла з вузла ; z - кількість типів пошукових запитів;

Якщо

,

то

,

де

Сума часів пересилання даних з вузла при виконанні коректування l-типу файлу дорівнює

де - час пересилання коректування l-типу файлу . Сума часів пересилки даних по каналах зв'язку між вузлами при виконанні коректувальних запитів, що надійшли в мережу протягом одиниці часу, визначається як

Якщо

, то

,

де



- інтенсивність коректувань l-типу файлу з вузла ; - час обробки пошукового запиту к-типу до файлу у вузлі .

Справедлива формула

,

де

Тоді сума часів обробки всіх пошукових запитів, що надійшли в мережу протягом одиниці часу, визначається як

,

де

де - ємність пам'яті вузла для розміщення файлів.

Сума часів виконання всіх запитів на коректування, що надійшли в мережу протягом одиниці часу, визначається як

де - час обробки коректування l-типу файлу к вузлі

Якщо покласти

, то

Досліджено архітектуру багатопроцесорних систем на базі сигнальних процесорів, розглянуто можливість підтримки цими процесорами паралелізму процесів обміну по вбудованих каналах зв'язку між багатопроцесорними модулями, високу швидкість переходу з одного процесу на інший.

Запропоновано математичні моделі задач оптимізації розміщення РБД файлів по вузлах локальної комп'ютерної мережі для проектування конкретних РБД з використанням попередньої оцінки призначених для користувача вимог і програмного комплексу для збору статистики та раціонального перерозподілу запитів.

У третьому розділі запропоновано трирівневу ієрархічну архітектуру організації РБД. На першому рівні ієрархії сервери РБД, використовувані для обробки великих масивів даних, об'єднуються між собою в єдиний кластер за допомогою високошвидкісної комп'ютерної мережі і програмованого активного комутатора (ПАК). Для керування комутатором у мережу підключено комп'ютер адміністратора.

Запропоновано архітектуру ПАК для забезпечення балансування завантаження вузлів мережі РБД, використовуваної для обробки великих обсягів даних. Комутатор містить мережевий процесор, 60 підмодулів, комутувальну матрицю, програмований прикладний пристрій (ППП) і пристрій мережевого інтерфейсу (ПМІ). Виключення 60 підмодулів, удосконалення ППП і ПМІ дозволяють забезпечити незалежність пропускної здатності від розміру кадру даних, обсягу передаваної інформації, і кількості портів. ПАК складається з двох модулів, що ґрунтуються на ПЛІС Xilinx Virtex FPGA: XCV600Efg676 і XCV100Efg680. Мікропрограми і дані ПАК зберігаються в Flash і SRAM пам'яті. Запропоновану архітектуру комутатора зареєстровано в Укрпатенті 12.04.2007, заявка на корисну модель №200704060.

Комутатор ПАК посилає запит на сервер обробки БД. На другому рівні в структурі сервера виділено дві основні частини: клерувальний host-комп'ютер, реалізований на основі стандартної обчислювальної системи; один або декілька зовнішніх багатопроцесорних модулів прискорювачів сервера (ПС), підключених до host-комп'ютера за допомогою внутрішніх системних інтерфейсів, що виконує основні операції з обробки даних.

Зв'язок з PCI шиною комп'ютера здійснюється за допомогою контроллера PCI9056, що дозволяє забезпечити вихід на шину PCI як у режимах Master (ведучий), так і Slave (ведений). Для збільшення швидкодії сервера всередині нього використовуються один або декілька ПС, які є другим рівнем архітектури.

Багатопроцесорні модулі ПС складають третій (нижній) рівень ієрархії що дозволяє на основі звичайної серверної системи створювати швидкодіючу багатопроцесорну обчислювальну систему. У сервері може використовуватися один або декілька однакових модулів прискорення, лінк-порти яких з'єднуються між собою для забезпечення швидкісного обміну даними. При використанні такого підключення з'являється можливість нарощування процесорів (залежно від конфігурації модулів) від 3 до 48, а також проводити великі обсяги обчислень.

Багатопроцесорний модуль ПС побудовано на базі цифрових сигнальних процесорів (ЦСП), об'єднаних між собою згідно з певною архітектурою, яка забезпечує паралельність виконання операцій за обробку даних, а також обчислювальних операцій. Процесор ЦСП характеризуються потужною обчислювальною структурою, що дозволяє реалізувати різні алгоритми обробки інформаційних потоків.

Процесори мають порівняно невисоку ціну, а також розвинені засоби розроблення програмного забезпечення, що дозволяє застосовувати їх при побудові СБД з масовим паралелізмом. У ЦСП, що мають високий ступінь спеціалізації, використовуються методи скорочення тривалості командного циклу, характерні для універсальних RISC-процесорів, такі як конвейєризація на рівні окремих мікрокоманд і команд, розміщення операндів більшості команд в регістрах, використання "тіньових" регістрів для збереження стану обчислень при перемиканні контексту, розділення шин команд і даних.

У процесорах використано апаратний помножувач, що дозволяє виконувати множення як мінімум двох чисел за один командний такт.

Основними функціональними елементами ПС є модуль ЦСП, робоча пам'ять, пам'ять програм, а також блок керування, який може бути реалізований на основі спеціалізованого керувального сигнального процесора, ПЛІС або мати розподілену структуру, за якої функції загального керування розподілені між модулями сигнальних процесорів.

За основу базової структури ПС прийнято процесор AЦСП-TS101S. У мінімальній конфігурації ПС містить процесор AЦСП-TS101S; блок динамічної пам'яті загальною ємністю до 1 Гбайта, блок статичної пам'яті, загальною ємністю до 512Kx64, блок комутації, контролер для підключення до PCI-шини host-комп'ютера, лінк-порти для з'єднання з іншими подібними пристроями і їх синхронізації.

Запропоновано і досліджено способи розподілу функцій між host-комп'ютером і блоком розширення на базі ЦСП процесорів у сервері при виконанні запитів до даних, уведено систему коефіцієнтів, залежно від яких обробка невеликих запитів відбувається на host-комп'ютері, а запитів, пов'язаних з великим обсягом обчислень (сортування, перетин і ін.), - у блоках розширення.

Запропоновано і розроблено базові структури СБД мінімальної і розширеної конфігурації для створення обчислювального співпроцесора СБД і апаратної реалізації на елементній базі ЦСП. Показано, що в разі розширеного варіанта можливе підключення ПС з 8 процесорів, а в разі використання декількох PCI слотів ця кількість може бути збільшена до 40 процесорів.

Сформульовано вимоги до host-комп'ютера у складі СБД. Найбільш значущим критерієм є ємність використовуваних запам'ятовувальних пристроїв, тому доцільно використовувати host-комп'ютер з оперативним запам'ятовувальним пристроєм ємністю 512 Мбайт і вище.

У четвертому розділі отримано результати реалізації розроблених алгоритмів і програм та результати впровадження.

Проведені експерименти показали, що алгоритм балансування завантаження вузлів мережі РБД ефективний для завдань обробки великих БД. Наприклад, для комп'ютерної мережі з 5 вузлів і 9 файлів РБД результати обчислень подано у вигляді діаграм.

На діаграмах по осі у показано кількість файлів, по x - номери вузлів мережі. Отримані оптимальні варіанти організації РБД зіставляються за узагальненими характеристиками, які оцінюють кількість файлів (у розрізі по вузлах мережі і типах файлів), а також загальні витрати пам'яті на зберігання файлів і ступінь завантаженості пам'яті для окремих вузлів комп'ютерної мережі:

Оброблені дані відрізняються від початкових збільшенням на порядок обсягу повідомлень, що пересилаються при обробці кожного запиту. У цих умовах з метою зниження загального об'єму трафіку, що передається по комп'ютерній мережі, доцільно передбачити додаткові копії для 66,6% файлів (6 з 9). У результаті загальні витрати пам'яті на зберігання файлів РБД зростають у 1,6 разу, а середній рівень завантаженості пам'яті для одного вузла комп'ютерної мережі досягає 73%. Така стратегія дублювання і розподілу окремих фрагментів РБД дозволить понизити час реакції інформаційної системи, що працює в комп'ютерній мережі, за рахунок можливості паралельної обробки однотипних запитів і локальної доступності більшої частини даних.

Інформаційна система "Облік доходів" є системою масштабу підприємства і служить для аналізу фінансових потоків в авіакомпанії "Міжнародні авіалінії України".

На основі запропонованого методу оптимізації обробки даних розроблено клієнтське програмне забезпечення "Система управління документами", яке використовується в авіакомпанії України при обробці великих масивів даних.

У висновку узагальнено основні теоретичні і практичні результати дисертаційної роботи, сформульовано основні напрями подальших досліджень в даній галузі.

Додатки включають 6 частин (А, Б, В, Г, Д, Е), у яких наведено опис та порівняльну характеристику серверів DEC, опис та порівняльну характеристику серверів Hewlett-Packard, опис серверів IBM, опис DSP процесора ADSP-TS101S, акт впровадження, лістинги програм.

Висновки

Основним науковим результатом дисертаційної роботи є розроблений на основі теорії черг метод оптимізації розміщення інформаційних ресурсів РБД у комп'ютерних мережах.

Основні теоретичні і практичні результати дисертаційної роботи полягають у такому:

1. Запропоновано метод розміщення ресурсів РБД у локальній комп'ютерній мережі з топологією "зірка", що дозволяє оптимізувати завантаження серверів мережі РБД.

2. Розроблено алгоритм балансування завантаження вузлів мережі РБД, призначеної для обробки великих і надвеликих обсягів даних. Результати розрахунків свідчать про можливість збільшення на порядок швидкості обробки даних у РБД великого обсягу за рахунок використання механізмів оптимізації завантаження вузлів мережі.

3. Створено алгоритм маршрутизації, що забезпечує мінімальний час доставки пакетів даних з урахуванням особливостей інформації, що міститься в пакетах.

4. Розроблено алгоритм розміщення інформаційних ресурсів РБД, що дозволяє забезпечити мінімальний час відгуку інформаційної системи.

5. Запропоновано структуру програмованого комутатора на базі ПЛІС, яка призначена для реалізації запропонованих алгоритмів.

6. У перше запропоновано організацію трирівневої ієрархічної архітектури РБД, призначеної для паралельної обробки великих і надвеликих БД.

7. На основі запропонованого методу розроблено програму-аналізатор інтенсивності звернень до інформаційних ресурсів серверів і програму для складання оптимізованих таблиць розподілу запитів по серверах РБД, що дозволяє максимально ефективно розміщувати запити на обробку великих обсягів даних.

8. Створено програмні модулі, призначені для забезпечення раціонального розподілу ресурсів РБД.

9. На базі запропонованих алгоритмів розроблено програми для авіакомпаній Сирії і України з використанням РБД що дозволяють в стислі терміни отримувати результати аналізу статистичної і фінансової інформації.

Список опублікованих праць за темою дисертації

1. Жуков И.А., Иванкевич А.В., Аль Шибани Салим, Аль-Сурики Ибрагим. Метод и программные средства оптимизации распределения информационных файлов в компьютерных сетях // Проблеми інформатизації та управління. - К.: НАУ, 2005. ? Вип. 4 (15). - С. 78-82.

2. Жуков И.А., Аль Шибани Салим, Аль-Сурики Ибрагим. Оптимизация компьютерной сети с обеспечением QoS на основе численного критерия // Проблеми інформатизації та управління. - К.: НАУ, 2006. - Вип.1(16). - С. 71-75.

3. Жуков И.А., Иванкевич А.В., Аль Шибани Салим, Аль-Сурики Ибрагим. Реализация метода размещения информационных файлов в системах управления распределенными базами данных на

авиапредприятиях Украины // Проблеми інформатизації та управління. - К.: НАУ, 2006. - Вип.2(17). - С. 6-11.

4. Алишов Н.И, Жуков И. А, Аль Шибани Салим. Алгоритм и средства оптимальной коммутации пакетов в компьютерных сетях // Проблеми інформатизації та управління. - К.: НАУ, 2006. - Вип.3(18). - С. 12-19.

5. Иванкевич А.В., Аль Шибани Салим. Организация системы распределенной обработки запросов к серверам баз данных в компьютерных сетях // Вісник ХНУ. - Хмельницкий: ХНУ, 2007. - Т.1.2007 - С. 82-85.

6. Аль Шибани Салим, Аль-Сурики Ибрагим. Анализ моделей, методов и вычислительных структур оптимального размещения файлов в информационных системах // Інтегровані інформаційні технології та системи: Матеріали Науково-практичної конференції молодих учених та аспірантів (21-23 листопада 2005 р.). - К.: НАУ, 2005. - С. 60-61.

7. Иванкевич А.В., Аль Шибани Салим, Аль-Сурики Ибрагим. Оптимизация обработки распределенными базами данных на основе специализированных программных средств // Современные информационные и электронные технологии: Матеріали VII Міжнародної науково-практичної конференції (22-26 травня 2006 р.). - Одесса: ОНПУ, 2006. - С. 114.

8. Аль Шибани Салим, Аль-Сурики Ибрагим. Задача размещения файлов по узлам компьютерной сети и методы её решения // Політ-2006 : Матеріали VI Міжнародної наукової конференції студентів та молодих учених (11-12 квітня 2006 р.). - К.: НАУ, 2006. - С. 130-131.

9. Иванкевич А.В., Аль Шибани Салим. Метод повышения производительности серверов для работы с распределенными базами данных // Політ-2007: Матеріали VII Міжнародній наукової конференції студентів та молодих учених (12-13 квітня 2007 р.). - К.: НАУ, 2007. - С. 67.

10. Аль Шибани Салим. Аппаратно-программные средства распределенных баз данных авиакомпании Сирии // Современные информационные и электронные технологии: Матеріали VIII Міжнародної науково-практичної конференції (21-25 травня 2007 р.). - Одесса: ОНПУ, 2007. - С. 41.

11. Жуков И.А., Иванкевич А.В., Аль Шибани Салим. Средства повышения эффективности обработки баз данных большого объема в информационных системах авиапредприятий Украины. Авиа-2007: Матеріали VIII Міжнародній науково-технічної конференції (25-27 квітня 2007 р.). - К.: НАУ, 2007. -Т.1. - С. 13.37-13.40

12. Иванкевич А.В., Аль Шибани Салим. Использование распределенных баз данных для обработки больших объемов информации в информационно-справочных системах авиационных предприятий Украины // Комп'ютерні системи і мережні технології: Матеріали науково-практичної конференції (20-22 березня 2007 р.). - К.: НАУ, 2007. - С. 29-36.

Размещено на Allbest.ru