Узлы сети

EUGrid/Globus

X-Com

Гетерогенная сеть, состоящая из разнородных узлов: вычислительных узлов (супер-ЭВМ, кластеров серверов, рабочих станций и т.д.), хранилищ данных, устройств визуализации и специальных устройств.

Мощные средства распределенного планирования позволяют учитывать динамическое вхождение и исключение из системы ресурсов сети, но не ориентированны на динамически изменяемую мощность каждого узла, что не позволит в полной мере использовать уже существующие мощности.

Однородная сеть, узлами которой являются только вычислительные узлы (нет хранилищ данных и т.д.), что не исключает выполнение узлами разных задач.

Мощность узлов никак не лимитируется архитектурой сети, система динамически и автоматически определяет фактическую мощность узлов и использует эту информацию для планирования.

Таким образом, система Grid/Globus предназначена для большего количества задач, например, при наличии большого объема данных их можно распределить по узлам сети, но включение в систему новых узлов усложняется.

Коммуникационная сеть

EUGrid/Globus

X-Com

Строится собственная сеть с собственными протоколами передачи данных. Сеть строится ярусами. Ярусы начальных уровней (до третьего) сильно связаны высокоскоростными каналами передачи данных (порядка 100Gbit/sec), что влечет за собой прокладку специальных линий.

Ярусы конечных уровней так же требуют высокой связанности. Используются зависимые от приложения протоколы передачи данных. Включение новых узлов требует значительной программно-аппаратной работы, кроме того, сеть не может работать в асинхронном режиме, когда в некоторые моменты времени может отсутствовать связь между узлами.

Сеть строится на стандартных протоколах передачи данных, используются HTTP, FTP, SMTP. Инфраструктура для передачи данных уже построена, и проект может задействовать практически любой существующий вычислительный ресурс.

Значительно упрощается развертывание и администрирование системы, так как достаточно стандартных пользовательских прав на узлах сети.

Важным аспектом является возможность работы в асинхронном режиме, когда нет постоянного сетевого соединения с вычислителем, это позволит охватить большую часть существующих вычислителей.

Логическая архитектура сети

EUGrid/Globus

X-Com

Логически сеть представляет собой матрицу. Где по одному измерению идут ресурсы, а по другому - проекты.

Архитектура децентрализована и ориентирована на групповую разработку и эксплуатацию приложений. Группы работают с некоторым виртуальным ресурсом, который планируется и разделяется между реальными вычислителями.

Заметим, что реальная сеть должна строиться исходя из специфики задачи, так решая задачи совместной распределенной обработки больших объемов данных, надо быть готовым к большому объему пересылок данных между узлами, что в свою очередь повлечет за собой организацию адекватных задаче каналов взаимодействия.

Сеть представляет собой иерархическую систему, где есть основной сервер управляющий всеми задачами, он распределяет задачи между узлами.

Сеть позволяет вводить иерархию, когда основной сервер раздает задачи логическим узлам (работа с ними строится по тому же принципу, что и с обычными узлами, просто их мощность потенциально больше, за счет чего можно планировать задачи), а те в свою очередь работают с такими же логическими узлами, или конечными вычислителями.

Такая организация позволяет построить гибкую и легко наращиваемую сеть, которая сможет динамически адаптироваться к изменяющимся вычислительным особенностям узлов и при достаточно большом количестве узлов гарантировать общую вычислительную мощь сети.

Безопасность

EUGrid/Globus

X-Com

В данном проекте безопасности уделяется большое значение, глубоко проработаны административные и технические вопросы защиты, в том числе:

- Защита от несанкционированного доступа к ресурсам сети;

- Защита от умышленного взлома с целью получения доступа к данным;

- Защита от умышленного взлома, приводящего к отказу сервисов;

- Разграничение прав доступа к системе;

Однако ряд вопросов по безопасности в данном проекте не регламентируется, например защита от умышленного искажения в одном из сегментов сети результатов расчетов

Мы также уделяем большое внимание безопасности, но основной акцент делаем на корректности и проверке результатов расчетов (в Globus данный вопрос никак не регламентируется).

В системе предусмотрена защита от всех основные видов атак: защита от НСД, защита от взлома, есть разграничение прав доступа, но в целом уровень безопасности в нашей системе ниже, чем в EU, это связанно в первую очередь с использованием стандартных протоколов Интернет (TCP/IP, HTTP, SSL).

Также наша система менее устойчива к атакам направленным на отказ сервиса.

Однако, гибкая архитектура X-Com позволяет продолжать эксперимент даже в случае частичного отказа некоторых сегментов сети при этом мы гарантируем правильность расчета.

Способ планирования вычислений

EUGrid/Globus

X-Com

Отдельная система планирования, управление которой также требует огромных усилий. По сути, задача планирования вычислений в такой системе сама является достаточно сложной и требует разработки специальных алгоритмов.

Система планирования является ориентированной на конкретные задачи и не учитывает динамически изменяющейся архитектуры сети (т.е. невозможно подключить к эксперименту узлы, которые до его начала не были запланированы для эксперимента).

Планирование осуществляется полностью автоматически. Есть несколько готовых схем планирования, которые охватывают практически все задачи решаемого класса.

Важно, что система автоматически адаптируется к существующей структуре сети и производит динамическое планирование вычислений (мы имели ввиду, что по ходу выполнения эксперимента можно в произвольный момент времени подключать и отключать узлы).

Управление инфраструктурой

EUGrid/Globus

X-Com

Отдельная система планирования, управление которой также требует огромных усилий. По сути, задача планирования вычислений в такой системе сама является достаточно сложной и требует разработки специальных алгоритмов.

Система планирования является ориентированной на конкретные задачи и не учитывает динамически изменяющейся архитектуры сети (т.е. невозможно подключить к эксперименту узлы, которые до его начала не были запланированы для эксперимента).

Планирование осуществляется полностью автоматически. Есть несколько готовых схем планирования, которые охватывают практически все задачи решаемого класса.

Важно, что система автоматически адаптируется к существующей структуре сети и производит динамическое планирование вычислений.

3.1. Средства разработки

EUGrid/Globus

X-Com

Сложный программно-аппаратный комплекс средств разработки. Практически под каждую задачу надо проводить полный комплекс разработки с учетом специфики задачи. Требует вовлечения инструментария разработки распределенных приложений, специальных средств программирования, средств хранения данных, политики поддержки групп разработки.

Используются самые различные средства программирования: Java, C, Fortran. Основная проблема в том, что вычисления требуют серьезной переработки архитектуры прикладной программы.

Все существующие подсистемы (Particle Physics Data Grid, China Clipper, MONARC, Nile, Condor, GIOD и др.), по сути, являются отдельными проектами, каждый из которых стоит миллионы долларов.

Система предназначена для решения ограниченного круга, но если задача принадлежит данному классу (см. 2.2), то требуется минимальная переработка существующего кода. Приложение может быть написано на любом переносимом языке, важно чтобы этот язык имел возможность динамической линковки в операционных системах узлов.

Интерфейс взаимодействия прикладной программы с основной системой четко специфицирован и не требует больших усилий для модификации существующих алгоритмов.

3.2. Прикладные задачи

EUGrid/Globus

X-Com

Предназначена для решения широкого круга научных задач, однако, каждая задача требует отдельной разработки и по сути мы решаем задачу распределенных вычислений в каждом конкретном случае. Система имеет хороший специальный инструментарий для этого, но разработки прикладных приложений требует больше сил.

Предназначена для решения определенного круга задач.Основное требование, чтобы задача позволяла разбиение на небольшие блоки фиксированного количества типов, которые бы были достаточно маленькими (несколько часов вычислений на обычной рабочей станции), это необходимо, чтобы позволять динамическое планирование. Другое пожелание - небольшой объем исходных данных и результата. Таким образом, система ориентированна на распределенную обработку, небольших объемов данных.