Принципы создания архитектуры распределенной базы данных для задачи охраны периметра
Архитектурные принципы создания распределенной базы данных для охраны периметра с высокими требованиями к масштабируемости и отказоустойчивости. Схема модернизированной архитектуры, подходы к достижению заданных ключевых показателей, подход к миграции.
Рубрика | Программирование, компьютеры и кибернетика |
Вид | статья |
Язык | русский |
Дата добавления | 10.05.2022 |
Размер файла | 284,9 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Принципы создания архитектуры распределенной базы данных для задачи охраны периметра
Костюк Андрей Иванович
Беспалов Дмитрий Анатольевич
Волошин Александр Валерьевич
Аннотация
архитектура база данных охрана периметра
Описаны архитектурные принципы создания распределенной базы данных для задачи охраны периметра с высокими требованиями к масштабируемости и отказоустойчивости. Показана схема модернизированной архитектуры, описаны подходы к достижению заданных ключевых показателей, разработан подход к миграции. Проведено исследование производительности системы, определены величины ключевых показателей эффективности, достигаемые подсистемой обеспечения отказоустойчивости.
Ключевые слова: база данных, высокая доступность, отказоустойчивость, масштабируемость, анализ производительности, ресурсное планирование.
Abstract
Kostyuk Andrey Ivanovich
Associate Professor, Candidate of Technical Sciences, Associate Professor of the Department of Computer Engineering, Institute of Computer Technology and Information Security, Southern Federal University
Bespalov Dmitriy Anatolyevich
Associate Professor, Candidate of Technical Sciences, Associate Professor of the Department of Computer Engineering, Institute of Computer Technology and Information Security, Southern Federal University
Voloshin Aleksandr Valeryevich
Ph Dstudent, Department of Computer Engineering, Institute of Computer Technology and Information Security, Southern Federal University
The principles of creating a distributed data base architecture for the task of perimeter protection
The paper describes the architectural principles of creating a distributed data base for the task of perimeter security with high requirements for scalability and fault tolerance. A diagram of the modernized architecture is shown, approaches to achieving the specified key indicators described, and anapproach to migration is developed. A study of the system performance was carried out, and the values of key performance indicators achieved by the fault tolerance subsystem were determined.
Keywords: database, highavailability, faulttolerance, scalability, performanceanalysis, resourceplanning.
Введение
Для целей охраны периметра производственного объекта большой территориальной протяженности с учетом вероятного наличия угроз несанкционированного физического проникновения, на территории которого находятся стационарные или подвижные объекты, требуется использование необитаемых интеллектуальных взаимодействующих мобильных роботизированных платформ.
Для обеспечения охраны протяженного периметра необходимо решить ряд задач, в том числе:
• Исследование архитектуры и возможностей выбранной платформы для обеспечения высокой производительности, масштабируемости и высокой доступности.
• Исследование существующей информационной системы охраны периметра, представленной ранее в работах [1-10]. На практике процесс внедрения каких-либо систем с нуля является сравнительно редким случаем. В большинстве случаев информационные системы эволюционируют параллельно с увеличивающимися требованиями к ним. По этой причине исследование модернизируемой системы как в плане конфигурации, так и в плане производительности, является необходимым шагом к построению новой архитектуры. Важными подзадачами в рамках данного исследования являются сбор и анализ требований к новой, модернизированной системе:
• Проведение ресурсного планирования. Поскольку состояние информационных систем не является статичным, исследование должно включать анализ изменения параметров системы за продолжительный промежуток времени. Кроме того, решение задачи по разработке архитектуры требует знаний о планируемом состоянии системы в будущем.
• Разработка архитектуры высокопроизводительной, масштабируемой высокодоступной системы на основе проведенных исследований и собранных данных.
• Разработка метода внедрения. На практике недостаточно просто разработать систему, удовлетворяющую требованиям заказчика: способ миграции, вероятно, является еще более важной частью проекта. Причиной этого является то, что даже идеально разработанная архитектура будет бесполезной, если ее невозможно внедрить в существующих реалиях бизнеса. Таким образом, очевидно, что план миграции является неотъемлемой частью проекта по модернизации системы.
• Наконец, после выполнения задачи по разработке метода внедрения информационной системы требуется разработать план проекта по внедрению данной системы.
Требования к отказоустойчивости системы. В результате анализа существующих систем были сформированы требования к значениям ключевых показателей эффективности по параметру отказоустойчивости (табл. 1).
Таблица 1 Требования к значениям отказоустойчивости
Рассматриваемая ситуация |
Требования к RTO, мин |
Требования к RPO, мин |
|
Авария одного диска |
0 |
0 |
|
Восстановимая авария узла |
1 |
0 |
|
Повреждение данных |
160 |
1 |
|
Глобальная авария в ЦОД |
160 |
1 |
|
Реорганизация БД |
160 |
0 |
|
Обслуживание сервера |
320 |
0 |
|
Апгрейд СУБД |
10 |
0 |
Примечание: ЦОД - центр обработки данных; БД - база данных; СУБД - система управления базами данных; RTO (RecoveryTimeObjective) - допустимое время восстановления; RPO (RecoveryPointObjective) - допустимая точка восстановления
Выбор платформы. Существуют различные опции платформ, на базе которых возможно выполнить реализацию системы. Выбор конкретной платформы реализации разрабатываемой системы зависит от ряда характеристик:
1. Предоставляемые платформой архитектурные преимущества, влияющие на ключевые показатели эффективности;
2. Сложность осуществления миграции, выражающаяся в трудозатратах;
3. Стоимость покупки оборудования.
Анализ опции использования платформы IBMAIX. Проанализируем плюсы и минусы от использования данной платформы для построения архитектуры системы.
Плюсами платформы являются:
• Нахождение в среднем ценовом сегменте;
• Ускорение проекта по внедрению за счет отсутствия необходимости в миграции платформы;
• Отсутствие необходимости в изменении версий при внедрении в связи с отсутствием изменений инфраструктуры;
• Отсутствие изменений на уровне данных и приложения, относительная простота регресс-теста;
• Возможность использовать конфигурацию DataGuard между центрами обработки данных, что позволит радикально снизить время простоя системы даже при глобальных аварийных ситуациях.
• Минусами, в свою очередь, являются:
• Необходимость специфичных навыков у персонала для обслуживания (дополнительные специалисты по AIX);
• Меньшая масштабируемость по сравнению опцией ПАК OracleExadata.
Примером оборудования на данной платформе может служить система IBM Power E850. Для разворачивания продуктивных и непродуктивных сред по расчетам необходимо минимум шесть таких серверов. Сервера предполагается использовать для расположения как базы данных, так и приложений.
Анализ опции использования платформы Linux x86-64. Для опции использования платформы Linux x86-64 в качестве плюсов можно выделить:
• Отсутствие необходимости в специфичных квалификациях для обслуживания;
• В случае экспорта-импорта - снижение объема БД за счет дефрагментации (15-40%);
• Наименьшая стоимость среди представленных вариантов.
• Минусами являются:
• Усложнение миграции ввиду кросс-платформенности;
• Усложнение миграции ввиду необходимости ручной настройки кластерной конфигурации для обеспечения масштабируемости;
• Нет возможности использовать OracleDataGuard в целях миграции ввиду необходимости кросс-платформенной миграции;
• Необходимость применения ряда программных заплаток и изменения версии БД на этапе внедрения.
Требуемые характеристики оборудования можно обеспечить, например, с помощью серверов DellPowerEdge R740xd. Понадобится как минимум 12 таких серверов для разворачивания продуктивных и непродуктивных сред. Сервера предполагается использовать для расположения базы данных и приложений.
Анализ опции использования программно-аппаратного комплекса OracleExadata. Плюсами выбора данной платформы являются:
• Крайне высокая масштабируемость ПАК OracleExadata;
• Технологии Exadata, позволяющие повысить эффективность использования оборудования;
• Отсутствие необходимости настройки кластера БД;
• В случае миграции путем экспорта-импорта снижение объема БД за счет дефрагментации (15-40%);
• Отсутствие необходимости покупать и настраивать систему хранения данных, поскольку она является частью ПАК.
• Минусами являются:
• Необходимость специфичных навыков у персонала для обслуживания программноаппаратных комплексов (ПАК);
• Усложнение внедрения ввиду необходимости кроссплатформенной миграции;
• Отсутствие возможности использовать OracleDataGuard для миграции;
• Необходимость применения ряда программных заплаток и изменения версии базы данных на этапе внедрения.
Требуемые характеристики можно обеспечить, например, с помощью серверов Exadata X7-2. Необходимо понимать, что даже в минимальной комплектации Exadata оставляет запас по физическим ресурсам, предоставляя возможность для вертикального масштабирования системы.
С точки зрения оборудования, для реализации данной опции потребуется:
• Конфигурация OracleExadata X7-2 1/8 Rack - для развертывания продуктивных окружений;
• Конфигурация OracleExadata X7-2 1/4 Rack - для развертывания непродуктивных окружений.
Выбор платформы. По результатам проведенного анализа было принято решение выбрать программно-аппаратный комплекс OracleExadata в качестве платформы для построения новой архитектуры высокодоступной масштабируемой базы данных.
Выбор инструментов реализации
Согласно таблице 1, в которой отражены требования к значениям KPI (KeyPerformanceIndicators - ключевые показатели эффективности) решения отказоустойчивости, сформируем список технологий, которые потребуется использовать для достижения необходимых значений KPI. Технологии, выбранные для использования в разрабатываемой подсистеме, приведены в таблице 2.
Таблица 2. Выбор технологий для достижения значений KPI
Ситуация |
RTO, мин |
RPO, мин |
Решение |
|
Авария одного диска |
0 |
0 |
Для удовлетворения данного требования рекомендуется внедрение технологии OracleAutomaticStorageManagement. |
|
Восстановимая авария узла |
1 |
0 |
Для удовлетворения данного требования рекомендуется внедрение технологии OracleRealApplicationCluster, совместно с технологией OracleDataGuard. |
|
Повреждение данных |
160 |
1 |
Для достижения данных значений KPI рекомендуется внедрение подхода к резервному копированию на основе OracleRecoveryManager, с организацией резервного копирования файлов данных и архивных журналов повторного выполнения. |
|
Авария в центре обработки данных, глобальная авария в регионе |
160 |
1 |
В данной ситуации описанные KPI достижимы в случае построения отказоустойчивой системы на основе активного и пассивного окружения, географически отдаленных друг от друга. |
|
Реорганизация базы данных |
160 |
0 |
Данные требования выполняются, при выборе соответствующих подходов к проведению обслуживания системы. |
|
Обслуживание сервера |
320 |
0 |
Для достижения данных KPI рекомендуется внедрение технологий Oracle ASM, OracleRealApplicationCluster, OracleDataGuard и последующее использование функций данных технологий для минимизации окон простоя системы. |
|
Апгрейд СУБД |
10 |
0 |
Кроме того, необходимо упомянуть, что ни одно отказоустойчивое решение не может работать должным образом в отсутствии системы мониторинга и оповещения об аварийных ситуациях.
Платформой для создания такой системы выберем OracleEnterpriseManagerCloudControl.
Таким образом, сформируем следующий список технологий, выбранных к внедрению:
1. OracleAutomaticStorageManagement;
2. OracleRealApplicationClusters;
3. OracleDataGuard;
4. OracleRecoveryManager;
5. OracleEnterpriseManagerCloudControl.
Архитектура системы. Используя список технологий для внедрения, разработаем архитектуру основной подсистемы - продуктивного окружения.
Согласно исследованию существующей системы заказчика, данная подсистема состоит
из двух связанных между собой окружений:
• Продуктивного окружения, являющегося основным для обработки транзакционной нагрузки;
• Отчетного окружения, созданного в целях распределения нагрузки в режиме «только чтение» с использованием технологии OracleActiveDataGuard.
Кроме того, необходимо учитывать, что выбранная для реализации решения платформа OracleExadata X7-2 1/8 Rack не является монолитной.
На уровне вычислительного оборудования серверов указанная конфигурация представляет собой совокупность из трех физических серверов.
Таким образом, архитектура разрабатываемой подсистемы непременно будет включать в себя использование технологии OracleRealApplicationCluster.
На рисунке 1 представлена разработанная архитектура продуктивной подсистемы.
Рис. 1. Разработанная архитектур апродуктивной подсистемы
Как показано на рисунке, согласно разработанной архитектуре, предлагается разместить продуктивное окружение в качестве кластера OracleRealApplicationCluster с экземплярами БД на соответственно первом и втором узле ПАК OracleExadata.
В свою очередь, отчетное окружение предлагается разместить на третьем узле, организовывая передачу данных для репликации через внутреннюю оптоволоконную сеть ПАК OracleExadata.
Использование технологий OracleRealApplicationClusters позволяет увеличить способность системы к масштабированию, ее отказоустойчивость как в случае незапланированных простоев, так и в случае плановых периодов обслуживания.
Итоговая архитектура системы может быть представлена на основе графического языка моделирования архитектур корпоративного уровня ArchiMate.
Таким образом, на рисунке 2 представлена упрощенная общая архитектура системы на основе конфигурация OracleDataGuard с осуществлением репликации изменений в продуктивной базе данных между удаленными друг от друга центрами обработки данных, а также каскадная пересылка записей повторов.
Рис. 2. Итоговая архитектура системы
Примечания
1. Костюк А.И. Структуры данных системы цифрового описания данных средств охраны и мониторинга объектов // Современные наукоемкие технологии, 2017. № 12. С. 43-48.
2. Костюк А.И., Шаповал Н.Е. Концептуальная модель базы геоданных объектов // Информационные системы и технологии: фундаментальные и прикладные исследования: сб. ст. II Всерос. науч.- практ. конф. молодых ученых, аспирантов, магистрантов и студентов. Таганрог, 2017. С. 448-450.
3. Костюк А.И. Изоморфно-статистическая идентификация изображений // Современные наукоемкие технологии. 2017. № 6. С. 58-61. URL: http://www.top- technologies.ru/ru/article/view?id=36698
4. IntegrationofModelsofAdaptiveBehaviorofAntandBeeColony / B.K. Lebedev, O.B. Lebedev, E.M. Lebedeva, A.I. Kostyuk // ArtificialIntelligenceandAlgorithmsinIntelligentSystems. CSOC2018
2018. AdvancesinIntelligentSystemsandComputing. Vol. 764 / R. Silhavy (eds). Springer; Cham. SCOPUS, 2019. URL: https://www.scopus.com/authid/detail.uri?authorId=57 196048780
5. Костюк А.И., Мунтян Е.Р., Поленов М.Ю. О подходе к модернизации программной системы поддержки управленческих решений // Известия ЮФУ. Технические науки. 2015. № 3. С. 46-54.
6. Исследование возможности внедрения виртуализации в системах управления SmartHouse /
A. И. Костюк, М.Ю. Поленов, Е.Р. Мунтян,
B. А. Лукьянов, А.Ю. Николава // Информатизация и связь. 2015. № 3. С. 72-77.
7. VLSI PlanningBasedontheAntColonyMethod / B.K. Lebedev, O.B. Lebedev, E.O. Lebedeva, A.I. Kostyuk // ProceedingsoftheSecondInternationalScientificConference “IntelligentInformationTechnologiesforIndustry” (IITI'17). IITI 2017. AdvancesinIntelligentSystemsandComputing, Vol. 679 /
A. Abraham, S. Kovalev, V. Tarassov, V. Snasel, M. Vasileva, A. Sukhanov (eds). P. 388-398. SpringerCham., 2017.
(https://link.springer.com/chapter/10.1007/978-3-319- 68321-8_40).
8. Поленов М.Ю., Костюк А.И., Лукьянов В.А. Анализ существующих угроз для безопасности виртуальной среды // Информационные технологии, системный анализ и управление: сб. трудов XII Всерос. науч. конф. Ростов н/Д: Изд-во ЮФУ, 2015. Т. 1. C. 76-78.
9. Мунтян Е.Р., Костюк А.И., Лиотвейзен В.В. Особенности виртуальной карты для расчета марша соединений // Инновационное развитие современной науки: сб. ст. Междунар. науч.-практ. конф., 14 марта 2015 г., г. Уфа: в 2 ч. Ч. 1. Уфа: Аэтерна, 2015. С. 49-52.
10. GAPS (GPS AnalysisandPositioningSoftware). URL: http://gaps.gge.unb.ca/submitbasic.php (дата обращения: 25.05.2020).
References
1. Kostyuk A.I. Datastructuresofthedigitaldescriptionsystemforthedataoffacilitiesformonitoringandmonitoringobjects // ModernHighTechnologies.
2017. No. 12. P. 43-48.
2. Kostyuk A.I., Shapoval N.E. A conceptualmodelofthegeodatabaseofobjects // Informationsystemsandtechnologies: fundamentalandappliedresearch: collectionofarticlesofthe 2ndRussianscient. andpract. conferenceofyoungscientists, graduatestudents, undergraduatesandstudents. Taganrog, 2017. P. 448450.
3. Kostyuk A.I. Isomorpho-probablisticidentificationofimages // ModernHighTechnologies. 2017. No. 6.
P. 58-61. URL: http://www.top- technologies.ru/ru/article/view?id=36698
4. IntegrationofModelsofAdaptiveBehaviorofAntandBeeColony / B.K. Lebedev, O.B. Lebedev, E.M. Lebedeva, A.I. Kostyuk // ArtificialIntelligenceandAlgorithmsinIntelligentSystems. CSOC2018
2018. AdvancesinIntelligentSystemsandComputing. Vol. 764 / R. Silhavy (eds). Springer; Cham. SCOPUS, 2019. URL: https://www.scopus.com/authid/detail.uri?authorId=57 196048780
5. Kostyuk A.I., Muntyan E.R., PolenovM.Yu. Ontheapproachtomodernizationofthesoftwaresystemforsupportingmanagementdecisions // SFU News. TechnicalSciences. 2015. No. 3. P. 46-54.
6. InvestigationofthepossibilityofimplementingvirtualizationinSmartHousecontrolsystems / A.I. Kostyuk, M.Yu. Polenov, E.R. Muntyan, V.A. Lukyanov, A.Yu. Nikolava // InformatizationandCommunication. 2015. No. 3. P. 72-77.
7. VLSI PlanningBasedontheAntColonyMethod / B.K. Lebedev, O.B. Lebedev, E.O. Lebedeva, A.I. Kostyuk // ProceedingsoftheSecondInternationalScientificConference “IntelligentInformationTechnologiesforIndustry” (IITI'17). IITI 2017. AdvancesinIntelligentSystemsandComputing, Vol. 679 /
A. Abraham, S. Kovalev, V. Tarassov, V. Snasel, M. Vasileva, A. Sukhanov (eds). P. 388-398. SpringerCham., 2017.
(https://link.springer.com/chapter/10.1007/978-3-319- 68321-8_40).
8. PolenovM.Yu., Kostyuk A.I., Lukyanov V.A. Analysisofexistingthreatstothesecurityofthevirtualenvironment // Informationtechnologies, systemanalysisandmanagement: collectionofproceedingsofthe 12th RussianScientificConference. Rostov-on-Don: PublishingHouseof SFU, 2015. Vol. 1. P. 76-78.
9. Muntyan E.R., Kostyuk A.I., Liotweisen V.V. Featuresof a virtualmapforcalculatingtheconnectionmarch // Theinnovativedevelopmentofmodernscience: a collectionofarticlesoftheInternationalscientific-practicalconference, March 14, 2015, Ufa: in 2 pt. Pt. 1. Ufa: Aeterna, 2015. P. 49-52.
10. GAPS (GPS AnalysisandPositioningSoftware). URL: http://gaps.gge.unb.ca/submitbasic.php (accessdate: 25.05.2020).
Размещено на Allbest.ru
Подобные документы
Современные базы данных – многофункциональные программные системы, работающие в открытой распределенной среде изучении администрирования базы данных. Способы организации внешней памяти баз данных. Системы управления базами данных для хранения информации.
курсовая работа [185,6 K], добавлен 07.12.2010Создание таблиц базы данных с помощью MS Access "Страны Азии". Форма базы данных и запросы к выборкам данных. Модификация структуры таблиц, создания связей между главными таблицами, редактирование данных и проектирование форм для реальной базы данных.
контрольная работа [723,9 K], добавлен 25.11.2012Основные виды баз данных. Система управления базами данных. Анализ деятельности и информации, обрабатываемой в поликлинике. Состав таблиц в базе данных и их взаимосвязи. Методика наполнения базы данных информацией. Алгоритм создания базы данных.
курсовая работа [3,1 M], добавлен 17.12.2014Этапы проектирования базы данных, определение целей и содержание таблиц. Добавление данных и создание других объектов базы данных. Даталогическая модель: структуризация, нормализация, схемы данных. Порядок, принципы создания пользовательского интерфейса.
курсовая работа [1,3 M], добавлен 26.03.2013Возможности извлечения информации из баз данных. Программы для создания и обработки базы данных и создания пользовательского интерфейса. Обоснование выбора программных средств для реализации. Создание базы данных, интерфейса и базы данных к интерфейсу.
курсовая работа [2,9 M], добавлен 24.03.2023Разработка баз данных для предприятий. Процесс создания базы данных "Видеопрокат" в MS Access, содержащей сведения о выдаче кредита. Основные таблицы базы данных: "Выдача и возврат", "Фильм", "Кассета", "Жанр", "Клиент". Схема данных, отчет по запросу.
курсовая работа [2,7 M], добавлен 07.06.2012Понятие базы данных, ее архитектура. Классификация баз данных. Основные модели данных. Примеры структурированных и неструктурированных данных. Достоинства и недостатки архитектуры файл-сервер. Иерархическая модель данных. Виды индексов, нормализация.
презентация [1,4 M], добавлен 06.08.2014Среды создания баз данных. Установка программного продукта MS Access 2000, построение реляционной базы данных, поддержка языка XML. ER-диаграмма (схема "сущность-связь"). Заполнение форм, создание таблиц. Действия для создания и редактирования списка.
курсовая работа [954,9 K], добавлен 22.12.2010Авторизация с каталогами проектирования базы данных магазина. Задачи базы данных: учет всех товаров, поиск и выдача данных о клиентах, адрес, телефоны, цена и наличие товара. Этапы проектирования базы данных. Схема данных, создание запросов и их формы.
реферат [1,6 M], добавлен 22.10.2009Исследование технологии проектирования базы данных. Локальные и удаленные базы данных. Архитектуры и типы сетей. Программная разработка информационной структуры предметной области. Обоснование выбора архитектуры "клиент-сервер" и операционной системы.
дипломная работа [1,1 M], добавлен 15.02.2017