Інформаційна технологія управління навантаженням і ресурсами ІТ-інфраструктури

Размещено на http://www.allbest.ru/

МІНІСТЕРСТВО OСВІТИ І НАУКИ, МОЛОДІ ТА СПОРТУ УКРАЇНИ

НАЦІОНАЛЬНИЙ ТЕХНІЧНИЙ УНІВЕРСИТЕТ УКРАЇНИ

КИЇВСЬКИЙ ПОЛІТЕХНІЧНИЙ ІНСТИТУТ

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня кандидата технічних наук

Інформаційна технологія управління навантаженням і ресурсами іт-інфраструктури

Спеціальність 05.13.06 - інформаційні технології

Букасов Максим Михайлович

Київ - 2013

АНОТАЦІЯ

Букасов М.М. Інформаційна технологія управління навантаженням і ресурсами ІТ-інфраструктури. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 - інформаційні технології. - Національний технічний університет України “Київський політехнічний інститут”, Київ, 2011.

Дисертаційна робота присвячена вирішенню важливої науково-практичної задачі розроблення методик, моделей, алгоритмів і комплексного інструментарію управління ресурсами і навантаженням ІТ-інфраструктури.

Розроблено оригінальний комплекс моделей і алгоритмів управління ресурсами і навантаженням ІТ-інфраструктури, який перекриває потреби управління з урахуванням масштабів ІТ-інфраструктури, технологій, етапів життєвого циклу сервісів, рівня забезпечення та рівня абстракції ресурсів.

Запропонований керований генетичний алгоритм для ефективного управління збіжністю при пошуку рішень, який відрізняється від існуючих впливом на порядок виконання операторів за результатами попередніх ітерацій, що дозволяє поліпшити швидкість збіжності.

Розроблена модифікація послідовного аналізу варіантів з урахуванням симетричності рішень для випадку серверної віртуалізації на кластерних системах, що дозволяє суттєво зменшити кількість варіантів, які мають бути проаналізовані

Розроблено інформаційну технологію управління навантаженням і ресурсами ІТ-інфраструктури на основі комплексу моделей і алгоритмів, що дозволяє гнучко реагувати на змінність умов, зокрема вимог користувачів

Ключові слова: ІТ-інфраструктура, ІТ-сервіс, розподіл ресурсів, управління ресурсами і навантаженням.

АННОТАЦИЯ

Букасов М.М. Информационная технология управления нагрузкой и ресурсами ИТ-инфраструктуры. - Рукопись.

Диссертация на получение научной степени кандидата технических наук по специальности 05.13.06 - информационные технологии. - Национальный технический университет Украины “Киевский политехнический институт”, Киев, 2011.

Диссертационная работа посвящена решению важной научно-практической задачи разработки методик, моделей, алгоритмов и комплексного инструментария управления ресурсами и нагрузкой ИТ-инфраструктуры.

Разработан оригинальный комплекс моделей и алгоритмов управления ресурсами и нагрузкой ИТ-инфраструктуры, который перекрывает потребности управления с учетом масштабов ИТ-инфраструктуры, технологий, этапов жизненного цикла сервисов, уровня обеспечения и уровня абстракции ресурсов. Предложены модели для таких технологий как выделенные сервера при использовании балансировки нагрузки, виртуальный хостинг, серверная виртуализация, облачные вычисления. В общем случае каждая модель включает в себя критерий, ресурсные ограничения, технологические и другие ограничения. Модели, которые рассматриваются в диссертации относятся к линейным или нелинейным, непрерывным, булевым и смешанным задачам математического программирования, которые к тому же имеют стохастические аналоги.

Особое внимание уделено проблеме распределения ресурсов в условиях их нехватки для удовлетворения потребностей критических приложений, процессов и сервисов, а также проблеме повышения эффективности использования ИТ-инфраструктуры в условиях избытка ресурсов при серверной виртуализации.

Разработана модификация метода последовательного анализа вариантов с учетом симметричности решений для случая серверной виртуализации на кластерных системах, которая позволяет существенно уменьшить количество вариантов, которые должны быть проанализированы в процессе поиска решения. Проведенные исследования показали, что предложенный подход позволяет сократить размер области поиска решений более чем на порядок.

Для решения задач большой размерности была проанализирована возможность применения генетического алгоритма и различных его модификаций. В работе был разработан управляемый генетический алгоритм (УГА), который позволяет эффективно управлять сходимостью при поиске решений и отличается от существующих влиянием на порядок выполнения операторов на основании анализа параметров популяции. Исследования показали, что использование УГА в сравнении с классическим ГА и его известными модификациями дает сокращение времени поиска решения до 50% при этом значение целевой функции улучшается на 1-2%.

Разработана информационная технология управления нагрузкой и ресурсами ИТ-инфраструктуры на основе комплекса моделей и алгоритмов, что позволяет гибко реагировать на изменяемость условий, в частности, требований пользователей. Предложенные модели и методы распределения ресурсов были реализованы в виде модуля системы SmartBase ITS Control на языке С#. Исследование и разработка системы проводились на базе программного комплекса для серверной виртуализации VMware ESX, VMware vSphere. Разработанная система не уступает в эффективности и гибкости внедрения существующим аналогам.

Результаты диссертационной работы использованы при создании программного обеспечения SmartBase ITS Control, которое было внедрено в рабочие процессы разработчиков автоматизированных СУ ООО «БМС Консалтинг» и ООО «ИНЛАЙН ГРУП ЗАПАД». Более эффективное распределение виртуальных машин на серверах компаний позволило сократить затраты на эксплуатацию серверов на 6% и 6,5% соответственно. Математические модели и алгоритмы управления ИТ-инфраструктурой использованы в учебном процессе кафедры автоматики и управления в технических системах НТУУ «КПИ».

Ключевые слова: ИТ-инфраструктура, ИТ-сервис, распределение ресурсов, управления ресурсами и нагрузкой.

ABSTRACT

Bukasov M.M. The information technology for IT-infrastructure load and resources management. Thesis for a candidate degree in technical sciences, specialty 05.13.06 -“Information Technologies”. - National Technical University of Ukraine "Kyiv Polytechnic Institute", Kyiv, 2011.

The dissertation work is devoted the decision of important science problem of development of methods, models, algorithms and complex tool for IT-infrastructure load and resources management. The original complex of models and algorithms for IT-infrastructure load and resources management is developed, which recovers the necessities of management taking into account the scales of IT-infrastructure, technologies, stages of life cycle of services, level of providing and level of resources abstraction.

The guided genetic algorithm is offered for an effective management convergence at the search of decisions, which differs from existing by influence on the order of implementation of operators on previous iterations results, which allows improving speed of solving.

Modification of serial analysis of variants is developed taking into account symmetry of decisions for the case of server virtualization on the cluster systems, which allows substantially decrease the amount of variants, which must be analyzed.

Information technology of management loading and resources of IT-infrastructure is developed on the basis of models and algorithms complex, which allows reacting flexibly on changeableness of terms, in particular requirements of users.

Keywords: IT-infrastructure, IT-service, allocation of resources, management resources and loading.

Дисертацією є рукопис.

Робота виконана на кафедрі автоматики та управління в технічних системах Національного технічного університету України “Київський політехнічний інститут” Міністерства освіти і науки, молоді та спорту України.

Науковий керівник: доктор технічних наук, професор Теленик Сергій Федорович, Національний технічний університет України “Київський політехнічний інститут”, завідувач кафедри автоматики та управління в технічних системах

Офіційні опоненти: доктор технічних наук, професор Михальов Олександр Ілліч, Національна металургійна академія України, завідувач кафедри інформаційних технологій і систем

кандидат технічних наук, доцент Баклан Ігор Всеволодович, Національна академія управління, завідувач кафедри інтелектуальних систем

Захист відбудеться “ 18 ” березня 2013 р. о 15 год. на засіданні спеціалізованої вченої ради Д 26.002.03 при Національному технічному університеті України “КПІ”, 03056 Київ, проспект Перемоги, 37, корпус № 35, аудиторія № 001.

З дисертацією можна ознайомитися в науково-технічній бібліотеці Національного технічного університету України “Київський політехнічний інститут”.

Автореферат розісланий “ ” _____________ 2013 р.

Вчений секретар спеціалізованої вченої ради Д 26.002.03 Новіков О.М. доктор технічних наук, професор

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

інфраструктура обмежений інформаційний обчислювальний

Актуальність теми. У наш час автоматизація управління бізнес-процесами великих організацій зазнає впливу різноманітних тенденцій, насамперед інтеграції слабко зв'язаних застосувань, адаптації, інтелектуалізації тощо. Інформаційні технології (ІТ), телекомунікаційні мережі (ТМ), комп'ютерна техніка постають як реальні інформаційно-інфраструктурні основи діяльності організацій.

Ефективність функціонування різноманітних АСУ, а також продуктивність бізнес-процесів багато в чому визначається ефективністю роботи застосованих ІТ, як окремих, так і їх сумісної взаємодії в інтегрованому середовищі. Інтеграція ІТ проявляється у формуванні єдиної інфраструктури інформаційних технологій (ІТ-інфраструктури), яка, підтримуючи кожен бізнес-процес і їх цілісну систему, забезпечує функціонування АСУ в цілому.

Для підтримки ІТ-служб, які забезпечують роботу ІТ-інфраструктури, а також для управління функціональними та забезпечуючими підсистемами АСУ створюються системи управління ІТ-інфраструктурою (СУІ). Створення і впровадження систем такого класу вимагають розроблення відповідних моделей та методів управління ІТ-інфраструктурою підприємства, зокрема управління ресурсами і навантаженням ІТ-інфраструктури.

Дослідження в області управління ресурсами і навантаженням ІТ-інфраструктури проводяться низкою міжнародних організацій (TM Forum, Office of Government Commerce), великих корпорацій (IBM, Microsoft, Hewlett-Packard та ін.), а також такими провідними вченими, як Палагін О.В, Куссуль Н.М., Петренко А.І. у сфері інформаційних технологій, Згуровський М.З., Панкратова Н.Д., Павлов О.А., Зайченко Ю.П. в області системного аналізу та математичних методів (оптимізації, математичного програмування, штучного інтелекту), Холланд Д., Голдберг Д. в області генетичних алгоритмів, які можна використовувати для розв'язання задач управління ресурсами і навантаженням.

Зазначені питання є актуальними та становлять сутність досліджень цієї дисертаційної роботи.

Зв'язок роботи з науковими програмами, планами, темами. Тематика роботи включена в науково-технічні плани кафедри автоматики та управління в технічних системах Національного технічного університету України "КПІ". Робота виконувалась в рамках пріоритетного наукового напрямку, затвердженого в числі актуальних проблем Міністерством освіти і науки України, «Перспективні інформаційні технології, прилади комплексної автоматизації, системи зв'язку» у таких держбюджетних і договірних науково-дослідних та дослідно-конструкторських робіт:

1) науково-дослідна робота “Моделі і методи адаптивної технології швидкої розробки, реалізації та підтримки розподілених застосувань”, 2006-2007 р.р., РК № 0106U002269;

2) науково-дослідна робота "Розроблення методів і засобів управління функціонуванням інформаційно-телекомунікаційних систем", 2008-09 р.р., РК № 0108U000490;

3) науково-дослідна робота “Розробка і дослідження математичних моделей та методів аналізу, синтезу і управління великими інформаційно-телекомунікаційними системами”, 2010-2012 р.р., РК № 0110U002195.

Мета і завдання дослідження. Метою роботи є підвищення ефективності функціонування ІТ-інфраструктури за рахунок створення інформаційної технології управління навантаженням і ресурсами.

Завдання, які необхідно вирішити для досягнення поставленої мети:

1. Аналіз проблем управління ресурсами та навантаженням ІТ-інфраструктури.

2. Аналіз існуючих підходів до управління ІТ-інфраструктурою.

3. Розроблення моделей, методів і алгоритмів управління ресурсами та навантаженням корпоративної ІТ-інфраструктури.

4. Розроблення моделей, методів і алгоритмів управління ресурсами і навантаженням сервіс-орієнтованих ІТ-інфраструктур провайдерів інформаційно-комунікаційних послуг.

5. Розроблення інструментальних засобів управління ресурсами та навантаженням ІТ-інфраструктури.

6. Проведення експериментальних досліджень застосування розроблених інструментальних засобів управління ресурсами та навантаженням ІТ-інфраструктури.

Об'єкт дослідження дисертаційної роботи - процеси розподілу ресурсів і управління навантаженням ІТ-інфраструктури.

Предмет дослідження - методики, математичні моделі та алгоритми автоматизації розподілу ресурсів і управління навантаженням в ІТ-інфраструктурі.

Для досягнення мети і вирішення задач дисертаційного дослідження в роботі застосовані такі методи досліджень, обумовлені характером проблем, які виникли в процесі виконання роботи:

1) методи загальної теорії систем, теорії множин, аналітичного моделювання - для аналізу ІТ-інфраструктури як об'єкта управління, розроблення концепції управління розподілом ресурсів і навантаженням ІТ-інфраструктури;

2) методи математичного програмування - для розроблення методів розподілу ресурсів, задіяних у підтримці ІТ-сервісів;

3) методи теорії імовірності і математичної статистики для оцінювання показників надійності надання сервісів.

Наукова новизна одержаних результатів полягає у вирішенні важливого науково-практичного завдання розроблення методик, моделей, методів і комплексного інструментарію автоматизації проектування та управління ІТ-інфраструктурою.

Вперше на основі системної методології розроблено оригінальний комплекс моделей і алгоритмів управління ресурсами і навантаженням ІТ-інфраструктури, який перекриває потреби управління навантаженням і ресурсами з урахуванням масштабів ІТ-інфраструктури, технологій, етапів життєвого циклу сервісів, рівня забезпечення та рівня абстракції ресурсів.

Вперше запропоновано і реалізовано керований генетичний алгоритм для ефективного керування збіжністю при пошуку рішень, який відрізняється від існуючих впливом на порядок виконання операторів за результатами попередніх ітерацій, що дозволяє збільшити швидкість збіжності пошуку.

Розроблено модифікацію методу послідовного аналізу варіантів для вирішення задачі розміщення віртуальних машин на фізичних серверах, яка дозволяє суттєво зменшити кількість варіантів, які треба проаналізувати, за рахунок відкидання безперспективних рішень на основі властивості симетричності структури рішень.

Вперше розроблено інформаційну технологію управління навантаженням і ресурсами ІТ-інфраструктури, в основу якої покладено комплекс математичних моделей, методів і алгоритмів управління навантаженням і розподілу ресурсів, що дозволяє на відміну від існуючих ІТ здійснювати оптимальний розподіл ресурсів і ефективне управління навантаженням в умовах змінності ІТ-інфраструктури і вимог користувачів.

Практичне значення одержаних результатів. Одержані в дисертаційній роботі результати можуть бути використані при розробленні та впровадженні систем управління ІТ-інфраструктурою великих підприємств та центрів оброблення даних. Розроблені моделі, алгоритми та засоби дозволяють реалізувати механізми розподілення ресурсів і управління навантаженням ІТ-інфраструктури, як в детермінованих умовах, так і в умовах невизначеності.

Практичне значення роботи полягає у підвищенні ефективності використання обчислювальних, комунікаційних та інших ресурсів ІТ-інфраструктури.

Запропоновані методики та інструментальні засоби дозволяють підвищити ефективність використання ресурсів ІТ-інфраструктури, скоротити витрати на підтримку функціонування ІТ-інфраструктури, підвищити доступність важливих ІТ-сервісів.

Результати дисертаційної роботи використані при створенні програмного забезпечення SmartBase ITS Control, яке було впроваджене у робочі процеси розробників автоматизованих СУ ТОВ «БМС Консалтинг» та ТОВ «ІНЛАЙН ГРУП ЗАХІД», що підтверджене відповідними актами впровадження результатів. Математичні моделі і алгоритми управління ІТ-інфраструктурою використані в навчальному процесі кафедри автоматики та управління в технічних системах НТУУ «КПІ».

Основні положення роботи можна застосувати для:

- розроблення та впровадження систем управління ІТ-інфраструктурою;

- підвищення рівня підтримки ІТ-сервісів в умовах обмежених обчислювальних ресурсів;

- підвищення ефективності використання ресурсів ІТ-інфраструктури в умовах надлишку обчислювальних ресурсів;

- збільшення об'єму послуг, що надаються клієнтам ЦОД.

Особистий внесок здобувача. Усі результати, що виносяться до захисту, отримані особисто. В наукових працях, опублікованих у співавторстві, здобувачу належить: у [1] - функціональна структура системи управління інформаційно-телекомунікаційною системою корпоративної АСУ; у [2] - модель розподілу обмежених ресурсів для детермінованої постановки задачі; у [3] - спосіб врахування залежностей між ресурсами, який дозволяє звести багаторівневі залежності між ресурсами до однорівневих; у [4] - модель розподілу ресурсів з врахуванням вимог до рівня надійності; у [5] - структурна схема управління навантаженням і ресурсами ЦОД; у [6] - модель розподілу ресурсів ЦОД при віртуальному хостингу для випадку надлишку ресурсі; у [7] - схема взаємодії СУІ з системою віртуалізації; у [8] - схема взаємодії СУІ з системою віртуалізації; у [9] - модифікацію методу послідовного аналізу варіантів для вирішення задачі розміщення віртуальних машин на фізичних сервера; у [10] - модель планування і розвитку ІТ-інфраструктури; у [11] - модель управління розподілом ресурсів для випадку віртуалізації серверів; у [12] - структурна схема системи управління ІТ-інфраструктурою; у [13] - схема керованого генетичного алгоритму; у [14] - моделі розподілу ресурсів для випадку віртуалізації серверів з можливістю живої міграції, у [16] - модель розподілу ресурсів при віртуальному хостингу на основі web-технологій, у [17] - система правил функціонування керованого генетичного алгоритму.

Апробація результатів дисертації. Основні положення дисертації розглядалися і обговорювалися на засіданнях кафедри автоматики та управління в технічних системах НТУУ «КПІ». Матеріали дисертаційної роботи доповідалися і обговорювалися на IV Міжнародній науково-технічній конференції «Інформаційно-комп'ютерні технології-2008», (Житомир, ЖДТІ, 11-13 грудня, 2008), І Міжнародній науково-практичній конференції «Проблеми й перспективи розвитку ІТ-індустрії», (Харків, 18-19 листопада 2009 р.), «Інформаційні технології - інструмент підвищення конкурентоздатності підприємств» (Київ, 9-10 грудня 2009), Всеукраїнській науково-практичній конференції «Інформатика та системні науки» (Полтава, 18-20 березня 2010 р.), міжнародній науково-практичній конференції «Розподілені комп'ютерні системи» (Київ, 6-8 квітня. 2010 р.), міжнародній науковій конференції «Интеллектуальные системы принятия решений и проблемы вычислительного интеллекта» (Евпатория, 17-21 травня 2010 р.).

Публікації. За темою дисертації опубліковано 17 наукових праць, з них 9 у наукових фахових виданнях.

Основні результати, відображені у публікаціях у наукових фахових виданнях, охоплюють усі положення, що виносяться на захист.

Структура та об'єм роботи. Дисертаційна робота викладена на 194 сторінках, складається з вступу, чотирьох розділів, висновків, списку використаних джерел на 111 найменувань, двох додатків. Робота містить 45 рисунків і 2 таблиці.

ОСНОВНИЙ ЗМІСТ

У вступі обґрунтовано актуальність теми дисертації, сформульовано мету і задачі досліджень, наукову новизну і практичне значення отриманих результатів, наведено дані про впровадження результатів роботи, публікації і особистий внесок автора.

Перший розділ присвячено огляду та аналізу проблем управління ІТ-інфраструктурою та постановці задачі дослідження. Вводяться основні поняття та визначення ІТ-інфраструктури та її системних характеристик, досліджуються проблеми створення ІТ-інфраструктури та управління нею. Здійснюється огляд існуючих комерційних рішень та моделей і методів розподілу ресурсів і управління навантаженням, покладених в її основу. Уточнюються задачі дослідження.

Другий розділ присвячено розробленню моделей і алгоритмів управління ІТ-інфраструктурою організацій і підприємств з урахуванням цілей та задач ведення бізнесу. Оскільки зазначенні моделі залежать від багатьох чинників, то в роботі запропонована класифікація потрібних для реалізації системи управління ІТ-інфраструктурою моделей і алгоритмів з урахуванням цих чинників як ознак класифікації. На рис.1 наведені параметри моделей за кожною із ознак. Потрібні моделі визначаються комбінаціями зазначених параметрів.



Рис.1. Параметри визначення класів моделей управління ресурсами і навантаженням ІТ-інфраструктури

Перша ознака передбачає відмінність моделей в залежності від цілей ведення бізнесу - управління ІТ-інфраструктурою для підтримки власних бізнес-процесів чи надання ІТ-послуг зовнішнім відносно даної організації клієнтам. У першу чергу такий поділ впливає на вид критерія, який використовується у відповідній моделі.

Другою ознакою є технологічні особливості ІТ-інфраструктури, які обумовлені архітектурою її побудови. Ці чинники впливають на всі елементи математичної моделі: критерій, обмеження, тип змінної.

В залежності від етапу життєвого циклу (третя ознака), на якому знаходиться ІТ-сервіс виникають ті чи інші задачі. При цьому на етапі планування крім технологічних і ресурсних обмежень можуть використовуватись також і інші види обмежень, наприклад вартістні обмеження чи обмеження по надійності.

Рівень абстракції ресурсів (четверта ознака) впливає на складність математичної моделі задачі, що вирішується. Задачі великої розмірності пропонується вирішувати у два етапи: на першому етапі здійснювати розподіл абстрактних (узагальнених) ресурсів кожного типу без прив'язки до їх конкретного місцезнаходження, з уточненням отриманих результатів на другому етапі.

Також суттєво впливає на вид моделей остання ознака - забезпечення ресурсами, тобто, чи дозволяється часткова підтримка сервісів, чи вони мають бути підтримані у повному обсязі або не підтримані зовсім.

Згідно з наведеною класифікацією можна сформулювати 2*4*4*2*2=128 класів моделей, частина з яких наведена в дисертації. У загальному вигляді кожна з моделей складається з критерію, який потрібно мінімізувати чи максимізувати, ресурсних обмежень, технологічних та інших обмежень.

В найпростішому випадку дворівневої клієнт-сереверної архітектури модель розподілу обмежених ресурсів може бути представлена у вигляді декількох бізнес-процесів, що безпосередньо використовують частину одного чи декількох незалежних один від одного ресурсів (рис. 2).

Размещено на http://www.allbest.ru/

Введемо необхідні для побудови моделей позначення:

1) Z1, ..., Zn - бізнес-процеси, підтримку яких забезпечує функціонування ІТС;

2) W = (w1, ..., wn) - вектор коефіцієнтів важливості бізнес-процесів Z1,..., Zn відповідно;

3) R1, ..., Rm - інтегровані ресурси ІТС, необхідні для підтримки функціонування бізнес-процесів;

4) P - матриця потреб бізнес-процесів у ресурсах ІТС, де pijвідповідає приведеній кількості потрібного для процесу Zi ресурсу Rj чи 0, якщо ресурс не потрібен;

5) D - матриця наявності потреб бізнес-процесів у ресурсах ІТС:

6) R = (r1,..., rm) - вектор існуючих обмежень на ресурси.

Розглянемо дискретний випадок, коли бізнес-процес або підтримується в повному обсязі, або повністю блокується.

Введемо змінну X = (x1,..., xn):

Тоді критерій оптимального розподілу ресурсів ІТС можна представити у вигляді:

. (1)

при виконанні ресурсних обмежень:

, j = 1, ..., m. (2)

Варто зазначити, що наведені вище моделі, а також інші моделі, які розглядаються в дисертації належать до лінійних або нелінійних, неперервних, бульових та змішаних задач математичного програмування, які до того ж мають стохастичні аналоги.

Для детермінованих задач можна використовувати евристичні алгоритми, методи м'яких обчислень (штучного інтелекту) та точні методи, використання яких обмежено з огляду на розміри задач. Так для задач лінійного програмування можна використовувати відомі методи (симплекс-метод, метод внутрішньої точки). Задачі булевого програмування можна вирішувати методами часткового перебору, наприклад послідовного аналізу варіантів.

Використання точних методів дає можливість знайти найкраще рішення, але їх використання можливе лише для задач обмеженої розмірності, оскільки час пошуку рішень суттєво зростає при збільшенні складності задачі. На відміну від них евристичні методи та методи штучного інтелекту, насамперед генетичні алгоритми (ГА), дозволяють знайти задовільне рішення за досить короткий час навіть для задач великої розмірності. До того ж їх ефективність можна поліпшити за рахунок врахування особливості задач.

В роботі були проаналізовані різні варіанти ГА, і на їх основі був запропонований керований генетичний алгоритм (КГА), який дозволяє ефективно керувати збіжністю в процесі його роботи (рис. 3).

На графіках (рис.4) зображено максимальне та середнє значення функції пристосованості та кількість кроків для випадків класичного (s) та керованого (k) генетичних алгоритмів при різних значеннях розміру популяції (100, 200, 500). Дослідження показали, що використання КГА (k100, k200) у порівнянні з класичним ГА (s100, s500) дає значно кращі результати в швидкодії (до 50%) при цьому значення цільової функції збільшується на 1-2%.



Рис.3. Схема керованого генетичного алгоритму

Рис.4. Ефективність керованого ГА у порівнянні з класичним ГА

Третій розділ присвячено моделям, які використовуються для управління ресурсами і навантаженням ІТ-інфраструктури центрів оброблення даних, в яких все більшої популярності набувають технології серверної віртуалізації, які дозволяють не тільки зменшити вартість придбання серверної частини ІТ-інфраструктури, але й скоротити витрати на її утримання і використання, а можливість «живої міграції» віртуальних машин (ВМ) між фізичними серверами дозволяє отримати показники надійності близькі до кластерних рішень при значно менших витратах.

Розглянемо задачу управління розподілом ресурсів для випадку серверної віртуальзації з можливістю міграції ВМ. Нехай є декілька фізичних серверів Si, i = 1, ..., n, на яких під управлінням гіпервізорів функціонують ВМ Vj, j = 1, ..., m (рис.5). Кожна з ВМ в залежності від потоку клієнтських запитів використовує певну кількість ресурсів типу Rk, k = 1, ..., l (пам'ять, процесорний час, дисковий простір, пропускна спроможність підсистеми вводу-виводу, зовнішніх каналів зв'язку тощо).

Введемо необхідні для побудови моделей позначення:

rki - кількість ресурсу типу Rk, що встановлена на сервері Si;

pkj - потреби ВМ Vj у ресурсах типу Rk для забезпечення заданого рівня SLA;

xij - булева змінна, яка визначає, чи встановлена ВМ Vj на сервері Si.

Размещено на http://www.allbest.ru/

Рис. 5. Модель розподілу ресурсів серверів між ВМ

Оскільки кожна ВМ одночасно розташована не більше, ніж на одному сервері, має виконуватись умова:

. (3)

До того ж, для нормального функціонування ВМ повинні бути забезпечені достатнім обсягом ресурсів серверів, на яких вони розташовані:

. (4)

Розглянемо дві задачі розташування ВМ для випадків нестачі та надлишку ресурсів.

Задача 1. У разі, якщо внаслідок збільшення клієнтських запитів потреба окремих ВМ у ресурсах певного типу збільшилась настільки, що стає неможливим забезпечити усі ВМ необхідною кількістю ресурсів, природним виходом стає задача підтримки найбільш важливих бізнес-процесів шляхом забезпечення ресурсами тих ВМ, на яких працюють пов'язані з ними сервіси, за рахунок менш важливих.

Позначимо через wj, j = 1, ..., m, важливість застосувань, встановлених на ВМ Vj.

Тоді, задачу можна сформулювати таким чином:

, (5)

при обмеженнях (3), (4).

Ця задача становить собою лінійну задачу булевого програмування.

Для її вирішення в роботі були запропоновані евристичні алгоритми, керований ГА, та удосконалений метод послідовного аналізу варіантів, що враховує особливості задачі і дозволяє значно скоротити кількість варіантів, що аналізується.

Сутність удосконаленого полягає у наступному. По-перше, згідно з обмеженням (3), кожна ВМ може бути розташована не більше, ніж на одному сервері, тобто замість перебору 2n комбінацій для кожної ВМ Vj, можна обмежитись розглядом лише n+1 варіантів: yj=0, ..., n, де yj - номер сервера, на якому встановлена ВМ Vj (yj=0 у випадку, якщо внаслідок нестачі ресурсів ВМ Vj не встановлена на жодному сервері або ресурси для неї виділяються по залишковому принципу).

По-друге, враховуючи те, що вимоги ВМ у ресурсах pij є невід'ємними, якщо на якомусь з етапів побудови дерева варіантів розміщення ВМ по серверам одне з обмежень (4) перестає виконуватись, продовжувати побудову цієї гілки немає сенсу, оскільки для усіх її вузлів це обмеження також не буде виконуватись.

По-третє, слід врахувати те, що дуже часто при побудові серверних ферм використовують сервери з однаковою конфігурацією. Якщо, наприклад, є два ідентичних сервера, кількість можливих варіантів розміщення ВМ можна скоротити в 2 рази, оскільки перенесення усіх ВМ з першого сервера на другий, а з другого на перший ніяк не вплине на об'єм ресурсів, які використовуються. Тобто перестановка рядків у матриці X = ||xij||, які відповідають однаковим стовпцям у матриці R = ||rki||, ніяк не впливає ані на виконання обмежень (3), (4), ані на значення критерію (5). Так, наприклад, для випадку трьох ВМ і трьох ідентичних серверів з можливих 27 комбінацій розташування ВМ лише 5 є унікальними, а решта - 22 комбінації - «симетричними» до них. Тобто, навіть для таких незначних значень m і n початкову множину варіантів можна скоротити більше, ніж у 5 разів.

Алгоритм відбору варіантів для аналізу та його результати проілюстровані на рис. 6.



Размещено на http://www.allbest.ru/

Рис. 6. Схема аналізу варіантів для випадку ідентичних серверів

Для наочності буквами («A», «B», «C») позначені ВМ, цифрами (1, 2, 3) - номера серверів, комбінацією букви з цифрою - розміщення ВМ на сервері. Поруч з кінцевими результатами на рисунку перелічені комбінації, які є «дзеркальними» до них, тобто призводять до саме таких результатів і можуть бути виключені з аналізу. Алгоритм відбору варіантів при побудові дерева рішень задачі розташування ВМ полягає у наступному: на черговому рівні чергової гілки кількість серверів, що розглядаються, приймається на 1 більше, ніж максимальна для попередніх рівнів цієї ж гілки, але не більше ніж n.

Після того, як рішення знайдене, аналізуються усі рішення, симетричні до нього, і обирається те, яке призводить до найменшої кількості міграції ВМ між серверами у кластері.

Ефективність використання запропонованого алгоритму у порівнянні з іншими наведена у таблиці 1. Як можна побачити, запропоноване удосконалення дозволяє скоротити кількість варіантів, які аналізуються, більше ніж на порядок. При цьому ефективність методу зростає при збільшенні кількості серверів та ВМ.

Таблиця 1. Кількість варіантів, які аналізується в процесі пошуку рішення

Кількість серверів у кластері	Кількість ВМ	Повний перебір	ПАВ без відкидання симетричних рішень	ПАВ з відкиданням симетричних рішень
4	16	4294967296	1758080	174237
4	12	16777216	82380	7789
4	8	65536	3928	333
4	4	256	164	10

Задача 2. У разі, якщо кількість наявних обчислювальних ресурсів суттєво перевищує потреби ВМ, природною стає задача розподілити ВМ між серверами таким чином, щоб зменшити енергоспоживання за рахунок вимкнення живлення серверів, які не використовуються на цей час.

Оскільки відключати сервери для економії електроенергії має сенс лише у тому випадку, коли у наявності є вільні ресурси (випадок, коли економічний ефект від бізнес-процесів не перевищує енерговитрати на живлення серверів не розглядається), модифікуємо обмеження (3), щоб гарантувати, що кожна ВМ буде забезпечена ресурсами одного і лише одного сервера:

. (6)

Позначимо через ei енергоспоживання сервера Si коли на ньому не працює жодної ВМ. Ознаку того, що на сервері Si не працює жодної ВМ виразимо наступним чином:

. (7)

Тоді задачу мінімізації енергоспоживання можна сформулювати як задачу:

, (8)

при обмеженнях (4), (6).

Для вирішення задачі 2 пропонується той же алгоритм, але зі спрощеною процедурою перебору, оскільки згідно з обмеженням (4) неможливі випадки, коли якась ВМ не розміщена на жодному сервері.

У випадку збільшення розмірності зазначених задач для їх більш ефективного розв'язання рекомендується застосовувати генетичний алгоритм.

Оскільки кожна ВМ може бути встановлена не більше ніж на одному сервері для кодування генів перейдемо від матриці n*m булевих змінних до вектору довжини m дискретних змінних, кожний елемент якого містить номер сервера i=1,...,n, на якому розміщена відповідна ВМ (рис.7). Наприклад:

Рис. 7. Схема кодування генів для задачі розміщення ВМ

Такий спосіб кодування генів дозволяє, по-перше, скоротити розмірність задачі, а по-друге, забезпечити автоматичне виконання обмежень (3), (6). При цьому операція мутації буде відповідати переносу ВМ з одного сервера на інший, а операція кросинговеру буде відповідати обміну декількох ВМ між серверами.

В четвертому розділі розглядаються технологічні аспекти реалізації інформаційної технології управління ресурсами і навантаженням ІТ-інфраструктури.

Розглянуті у попередніх розділах концепція, моделі та алгоритми становлять складові теоретичних основ реалізації інформаційної технології управління ресурсами і навантаженням ІТ-інфраструктури. Інформаційна технологія у якості базових складових включає програмний інструментарій SmartBase ITS Control і комплекс методик його застосування для створення СУІ, її експлуатації і оцінювання результатів проектування і функціонування в процесі експлуатації.

СУІ реалізується у вигляді сервера застосувань, клієнтської частини та агентів. СУІ оперує з об'єктами моніторингу та управління (ОМУ). ОМУ - універсальне і узагальнене поняття, основна функціональна одиниця, в якій вміщені властивості і стани елементів ІТС.

Використання агентів дозволяє здійснювати управління ресурсами і навантаженням на двох рівнях:

1-й рівень: управління окремими віртуальними серверами;

2-й рівень: управління окремими застосуваннями, що встановлені на віртуальних серверах.

Рис. 8. Схема взаємодії модулів СУІ

Схема взаємодії СУІ з системою віртуалізації зображена на рис. 9. На фізичному сервері під управлінням гіпервізора працює n віртуальних серверів. В кожному з них крім клієнтських застосувань встановлена гостьова ОС, та агент СУІ, який здійснює моніторинг та управління застосуваннями віртуального сервера та розподіляє ресурси віртуального сервера між застосуваннями засобами ОС та самих застосувань (при наявності у них відповідних API).

Інформація від агентів СУІ та гіпервізора потрапляє на модуль моніторингу і аналізу.

Модуль управління призначений для вироблення команд управління агентам СУІ (запуск/зупинка застосувань, розподіл ресурсів віртуального сервера між застосуваннями), гіпервізору (запуск/зупинка віртуальних серверів, розподіл ресурсів фізичного сервера між віртуальними машинами) та диспетчеру запитів (управління навантаженням).

Модуль прогнозування призначений для аналізу трендів з метою подальшої реалізації проактивного управління, в даному випадку - перерозподілу ресурсів між застосуваннями до того, як виникла їх нестача для застосувань, задіяних у підтримці бізнес-процесів високої важливості.

Модуль планування призначений для довгострокового управління ресурсами ІТ-інфраструктури при її розвитку чи суттєвих змінах у її функціонуванні.

Диспетчер запитів призначений для обмеження клієнтського трафіку заданого типу з метою вивільнення ресурсів, споживання яких залежить від навантаження.

Рис. 9. Взаємодія СУІ з системою віртуалізації

Результати дисертаційної роботи використані при створенні програмного забезпечення SmartBase ITS Control, яке було впроваджене у робочі процеси розробників автоматизованих СУ ТОВ «БМС Консалтинг» та ТОВ «ІНЛАЙН ГРУП ЗАХІД», що підтверджене відповідними актами впровадження результатів. Математичні моделі і алгоритми управління ІТ-інфраструктурою використані в навчальному процесі кафедри автоматики та управління в технічних системах НТУУ «КПІ». Також результати впроваджені в навчальний процес кафедри Автоматики та управління в технічних системах НТУУ «КПІ»: запропоновані моделі та методи включені в лекційний матеріал, а розроблене програмне забезпечення є основою для виконання лабораторних робіт з дисциплін «Телекомунікаційні системи та мережі», «Основи теорії інформаційних процесів».

ВИСНОВКИ

Дисертаційна робота становить собою закінчене наукове дослідження, присвячене вирішенню актуальної науково-технічної проблеми управління ресурсами і навантаженням ІТ-інфраструктури. Проведені дослідження дозволили отримати наступні наукові результати, які мають істотні переваги перед існуючими рішеннями:

1. На основі аналізу проблем управління ІТ-інфраструктурою було показано, що управління ресурсами і навантаженням ЦОД є критичним для забезпечення ефективності їх функціонування і вимагає використання відповідних інформаційних технологій для комплексного вирішення зазначених проблем.

2. Перспективність створення вітчизняної ІТ управління навантаженням і ресурсами ІТ-інфраструктури обґрунтовується широким впровадженням ЦОД, високою вартістю, вузькою спеціалізацією та закритістю існуючих рішень, рівнем сформульованих на основі аналізу вимог до ІТ управління навантаженням і ресурсами ІТ-інфраструктури таких як відкритість, низька вартість, наявність опису моделей і методів, покладених в основу її функціонування.

3. ІТ управління навантаженням і ресурсами ІТ-інфраструктури повинна базуватись на поєднанні процесного і ресурсного підходів та відрізняється від існуючих універсальністю застосування, орієнтацією на використання комплексу математичних моделей та методів оптимізації режимів використання ІТ-інфраструктури, врахуванням основних чинників впливу на ефективність функціонування ІТ-інфраструктури та якість надання ІТ-сервісів.

4. Розроблений керований генетичний алгоритм -- новий метод організації і виконання операцій формування та оцінювання популяцій для вирішення різних варіантів задач управління навантаженням і ресурсами ІТ-інфраструктури -- відрізняється від існуючих врахуванням додаткових характеристик популяцій і їх використанням для збільшення швидкості збіжності пошуку рішення, що дозволило скоротити час пошуку рішень в середньому на 50% при збільшенні локального оптимуму до 1 %, або збільшення локального оптимуму в середньому на 2% при однакових витратах часу пошуку рішення.

5. Запропонована у роботі модифікація методу послідовного аналізу варіантів для вирішення задачі розміщення віртуальних машин на фізичних серверах за рахунок відкидання безперспективних рішень на основі властивості симетричності структури рішень дозволяє більше ніж на порядок зменшити кількість варіантів, які треба проаналізувати. При цьому ефективність запропонованого алгоритму значно зростає у порівнянні з базовим із збільшенням кількості серверів у кластері.

6. Результати моделювання показали, що використання розробленої на основі отриманих в роботі результатів ІТ управління навантаженням і ресурсами ІТ-інфраструктури на кластерах з серверною віртуалізацією дозволяє збільшити ефективність використання ІТ-інфраструктури в середньому від 2% до 7%.

7. Згідно з результатами експериментальних досліджень розроблена ІТ управління навантаженням і ресурсами ІТ-інфраструктури дозволяє підвищити на 5% доступність сервісів, що надаються на її основі, у випадку виходу з ладу елементів ІТ-інфраструктури за рахунок своєчасного перерозподілу ресурсів.

8. Створена інформаційна технологія була впроваджена на підприємствах ТОВ «БМС Консалтинг» та ТОВ «ІНЛАЙН ГРУП ЗАХІД», що дозволило підвищити ефективність використання обчислювальних ресурсів цих підприємств на 6% та 6,5% відповідно

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Теленик С.Ф., Ролік О.І., Букасов М.М., Соколовський Р.Л. Система управління інформаційно-телекомунікаційною системою корпоративної АСУ// Вісник НТУУ «КПІ». Інформатика, управління та обчислювальна техніка. - К.: «ВЕК+», - 2006. - № 45.- С. 112-126.

Особисто здобувачем була запропонована функціональна структура системи управління інформаційно-телекомунікаційною системою корпоративної АСУ.

2. Теленик С.Ф., Ролік О.І., Букасов М.М., Терещенко П.І. Управління доступом до обмежених ресурсів інформаційно-телекомунікаційної мережі АСУ військового призначення// Зб. наук. праць ЦНДІ Збройних Сил України. 2006. - №3 (37). - C. 33-43.

Особисто здобувачем була розроблена математична модель розподілу обмежених ресурсів для детермінованої постановки задачі.

3. Теленик С.Ф., Ролік О.І., Букасов М.М. Моделі управління розподілом обмежених ресурсів в інформаційно-телекомунікаційній мережі АСУ// Вісник НТУУ «КПІ». Інформатика, управління та обчислювальна техніка. - К.: Єкотех, - 2006. - № 44.- С. 234-239.

Особисто здобувачем був запропонований спосіб врахування залежностей між ресурсами, який дозволяє звести багаторівневі залежності між ресурсами до однорівневих.

4. Теленик С.Ф., Ролік О.І., Терещенко П.І., Букасов М.М. Забезпечення процесів діяльності ресурсами з визначеним рівнем надійності в інформаційно-телекомунікаційній системі спеціального призначення// Збірник наукових праць Військового інституту телекомунікацій та інформатизації національного технічного університету України «Київський політехнічний інститут». - Випуск № 3. - Київ: ВІТІ НТУУ «КПІ», 2006. - С. 134-138.

Особисто здобувачем була розроблена модель розподілу ресурсів з врахуванням вимог до рівня надійності.

5. Теленик С.Ф. Управління навантаженням і ресурсами центрів оброблення даних при виділених серверах / С.Ф. Теленик, О.І. Ролік, М.М. Букасов, Р.В. Римар, К.О. Ролік // Автоматика. Автоматизація. Електротехнічні комплексі та системі. - 2009. - №2 (24). - С. 122-136.

Особисто здобувачем була розроблена структурна схема управління навантаженням і ресурсами ЦОД.

6. С. Теленик, О. Ролік, М. Букасов, С. Андросов, Р. Римар. Управління навантаженням і ресурсами центрів оброблення даних при віртуальному хостингу // Вісник тернопільського державного технічного університету.- 2009.- Том 14.- №4.- С.198-210.

Особисто здобувачем була розроблена модель розподілу ресурсів ЦОД при віртуальному хостингу для випадку надлишку ресурсів.

7. Теленик С.Ф. Моделі і методи розподілу ресурсів в системах з серверною віртуалізацією / С.Ф. Теленик, О.І. Ролік, М.М. Букасов, О.А Косован., О.І. Кобец // Зб. наук. праць ВІТІ НТУУ «КПІ». - Випуск № 3. - Київ: ВІТІ НТУУ «КПІ», 2009. - С. 100-109.

Особисто здобувачем була розроблена схема взаємодії СУІ з системою віртуалізації, а також були розроблені математичні моделі для групи задач управління.

8. Теленик С.Ф., Ролик А.И., Букасов М.М. Ясочка М.В. Определение распространения влияния неисправностей в сети доступа на качество предоставляемых сервисов// Вісник НТУУ «КПІ»: Інформатика, управління та обчислювальна техніка. - К.: «ВЕК+», 2009. - № 50. - С. 164-173.

Особисто здобувачем був запропонований алгоритм аналізу розповсюдження впливу несправностей.

9. Теленик С.Ф., Ролик А.И., Букасов М.М., Лабунський А.Ю. Моделі управління віртуальними машинами при серверній віртуалізації// Вісник НТУУ «КПІ»: Інформатика, управління та обчислювальна техніка. - К.: «ВЕК+», 2009. - № 51. - С. 147-152.

Особисто здобувачем було розроблено модифікацію методу послідовного аналізу варіантів для вирішення задачі розміщення віртуальних машин на фізичних серверах, яка дозволяє суттєво зменшити кількість варіантів, які треба проаналізувати, за рахунок відкидання безперспективних рішень на основі властивості симетричності структури.

10. Букасов М. М., Ролік О. І., Теленик С. Ф. Технологія управління ІТ-інфраструктурою на основі ресурсного підходу. // Вісник ЖДТУ [IV Міжнародна науково-технічна конференція «Інформаційно-комп'ютерні технології-2008»], (Житомир, ЖДТІ, 11-13 грудня, 2008). - 2008. - №4(47). - с. 180-189.

Особисто здобувачем була розроблена модель планування і розвитку ІТ-інфраструктури.

11. Теленик С.Ф., Ролік О.І., Букасов М.М. Моделі і методи розподілу ресурсів в інформаційних системах з віртуалізацією серверів// Проблеми й перспективи розвитку ІТ-індустрії: матеріали 1-й Міжнародної науково-практичної конференції [«Проблеми й перспективи розвитку ІТ-індустрії»], Харків, 18-19 листоп. 2009 р.). - Харків: ХНЕУ, 2009. - С. 46-47.

Особисто здобувачем була розроблена модель управління розподілом ресурсів для випадку віртуалізації серверів.

12. Теленик С.Ф., Ролик А.И., Букасов М.М., Волошин А.В., Галушко Д. А. Система управления ИТ-инфраструктурой - путь к повышению эффективности функционирования предприятия// Матеріали конференції «Інформаційні технології - інструмент підвищення конкурентоздатності підприємств»: 9-10 грудня 2009. - Київ. - УкрНЦ РІТ, 2009. - С. 30-33.

Особисто здобувачем була розроблена структурна схема системи управління ІТ-інфраструктурою.

13. Теленик С.Ф., Ролік О.І., Букасов М.М., Косован О.А. Алгоритми вирішення задач управління ресурсами і навантаженням центрів оброблення даних // Інформатика та системні науки (ІСН-2010): матеріали Всеукраїнської науково-практичної конференції 18-20 березня 2010 р. / за ред. д.ф.-м.н., проф. Ємця О.О. - Полтава: РВВ ПУСКУ, 2010.- С. 189-192.

Особисто здобувачем була розроблена схема керованого генетичного алгоритму.

14. Теленик С.Ф., Ролік О.І., Букасов М.М., Лабунський А.Ю. Моделі управління віртуальними машинами при серверній віртуалізації// Розподілені комп'ютерні системи: зб. праць ювілейної міжнародної науково-практичної конференції РКС-2010, 6-8 квітня. 2010 р. - Т.1.- К.: НТУУ «КПІ», 2010. - С. 118-121.

Особисто здобувачем була розроблена моделі розподілу ресурсів для випадку віртуалізації серверів з можливістю живої міграції.

15. С.Ф. Теленик, О.І. Ролік, М.М. Букасов Управління ресурсами і навантаженням інформаційних інфраструктур телекомунікацій / «Интеллектуальные системы принятия решений и проблемы вычислительного интеллекта». Материалы международной научной конференции (ISDMCI'20010), Евпатория, 17--21 мая 2010 г.-- Том 2. -- Херсон: ХНТУ, 2010.-- с. 165--167.

Особисто здобувачем проводились експерименти по дослідженню ефективності керованого генетичного алгоритму.

16. Теленик С., Ролік О., Букасов М., Крижова К. Управління ресурсами центрів оброблення даних // Вісник Львівського університету. Серія прикладна математика та інформатика. Випуск 15, 2009.- С. 325-340.

Особисто здобувачем була розроблена модель розподілу ресурсів при віртуальному хостингу на основі web-технологій.

17. Теленик С.Ф. Генетичні алгоритми вирішення задач управління ресурсами і навантаженням центрів оброблення даних / С.Ф. Теленик, О.І. Ролік, М.М. Букасов, С.А. Андросов // Автоматика. Автоматизація. Електротехнічні комплекси та системи. - 2010. - № 1(25). - С. 106 - 120.

Размещено на Allbest.ru