Технологии высокопроизводительных параллельных вычислений в научных исследованиях и учебном процессе вуза

Размещено на http://www.allbest.ru/

Воронежский государственный университет

Технологии высокопроизводительных параллельных вычислений в научных исследованиях и учебном процессе вуза

Кургалин С.Д.

Высокопроизводительные вычислительные системы в последнее время получают все большее распространение и широко используются как при решении сложных научных задач, так и для подготовки специалистов высшей квалификации в области компьютерного моделирования. Решение ряда актуальных задач в приоритетных научных направлениях нередко не может быть осуществлено на "традиционных" последовательных компьютерах из-за слишком большого времени выполнения программ, поэтому использование таких систем часто становится единственной возможностью получения новых научных результатов.

В 2002 г. в Воронежском государственном университете (ВГУ) при поддержке гранта VZ-010 фонда CRDF создан 20-процессорный высокопроизводительный вычислительный кластер в составе четырехпроцессорного сервера SUPERSERVER 8060 (4ЧCPU Pentium III Xeon, 700 MГц, 4 Гб SDRAM), четырех двухпроцессорных серверов SUPERSERVER 6010H (2ЧCPU Pentium-III, 1,13 ГГц, 1 Гб SDRAM), восьми рабочих станций (Pentium-4, 2,0 ГГц, 512 Mб RIMM). Пиковая производительность кластера - 28 Gflops. На кластере установлена операционная система Windows 2000. Узлы кластера первого уровня (четырех- и двухпроцессорные) связаны по протоколу Gigabit Ethernet, для связи остальных узлов (однопроцессорных) реализован протокол Fast Ethernet. Используется высокопроизводительное сетевое коммутационное оборудование (Rapier 24 и Rapier G6f) компании Allied Telesyn Intern. Кластер связан оптоволоконным каналом с разветвленной внутренней сетью ВГУ и имеет высокоскоростной выход во внешнюю сеть, объединяющую ряд вузов г. Воронежа.

Создание параллельного кластера существенно увеличивает возможности компьютерного моделирования сложных процессов и проведения ресурсоемких расчетов. Образование лаборатории высокопроизводительных вычислений ВГУ и включение ее в информационно-образовательную среду открывает новые перспективы для научных исследований в Воронеже, области и регионе [1]. Эта лаборатория интегрируется с лабораторией дистанционного образования ВГУ на основе высокоскоростного канала доступа к их ресурсам. На их базе организован универсальный учебно-научный комплекс, в котором ведутся учебные занятия, проходят научные семинары, а также разрабатывается программные средства для обеспечения научных исследований и учебного процесса. Комплекс используется и в системе повышения квалификации и профессиональной переподготовки (в институте повышения квалификации ВГУ).

Студентам ВГУ читаются курсы “Параллельные алгоритмы обработки данных”, “Высокопроизводительные компьютерные системы”, “Параллельное программирование”. Параллельные алгоритмы изучаются также в курсах “Математическая логика и дискретная математика”, “Вычислительный эксперимент и методы вычислений” и др.

Объединение параллельного кластера и регионального информационно-образовательного Интернет-портала "Воронежский виртуальный университет" - “http://Voronezh.OpeNet.ru” [2], созданного и администрируемого ВГУ и включенного в общероссийскую информационно-образовательную среду, позволило обеспечить условия для дистанционного проведения сложных вычислительных экспериментов в научных и учебных целях.

Одним из важных этапов включения компьютерного кластера в систему научных исследований вуза и учебный процесс является проведение его тестирования. Тестирование позволяет оценить возможности его использования при решении сложных научных проблем, стоящих перед учеными вуза. При создании тестирующих программ и последующем анализе получаемых результатов происходит детальное освоение системы и начинается деятельность по повышению ее эффективности, постоянно продолжающаяся во все время эксплуатации.

Тестирование кластера проводилось в следующих направлениях: а) тестирование базового коммуникационного уровня - определение параметров среды взаимодействия параллельных процессов, эффективности выполнения основных коммуникационных процедур и примитивов синхронизации. Оно включает определение пропускной способности и латентности коммуникационной сети кластера в различных режимах, а также эффективности работы конструкций MPI (Message Passing Interface) [3]; б) тестирование коммуникационного уровня приложений - оценка эффективности отображения различных логических топологий процессов на коммуникационную среду; в) тестирование уровня программного и аппаратного обеспечения - оценка эффективности работы системы в течение определенного периода времени (нагрузочное тестирование).

Пропускная способность R сети определяется количеством информации, передаваемой между узлами сети в единицу времени. "Полезная" пропускная способность сети снижается за счет передачи служебной информации. Общая пропускная способность R сети - отношение количества переданной по сети информации к затраченному времени. Средняя пропускная способность RC одного логического канала - отношение общей пропускной способности R к количеству задействованных каналов. Латентность S - время, затрачиваемое программным обеспечением и устройствами сети на подготовку к передаче информации по данному каналу.

Основной механизм связи между процессами в MPI - передача взаимодействия между парой взаимодействующих процессов [3]. Для измерения пропускной способности в этом случае организуется пересылка от процесса с номером 0 процессу с номером 1 сообщения длиной L бит. Процесс 1, приняв сообщение от процесса 0, посылает ему ответное сообщение той же длины. Используются блокированные вызовы MPI (MPI_Send и MPI_Recv) [3]. Эти действия повторяются N раз. Пропускная способность R определяется по формуле , где T - время, затраченное на все эти обмены. Пропускная способность двунаправленных обменов определяется аналогичным образом. Используются неблокированные вызовы MPI (MPI_Isend и MPI_Irecv) [3]. Измеряется время, затрачиваемое процессом 0 на передачу сообщения процессу 1 и прием ответа от него, при условии, что процессы начинают передачу информации одновременно после синхронизации.

Полнота сети есть мера того, насколько сильно одновременно происходящие обмены “мешают” друг другу. Для оценки качества коммутаторов все обмены на одном узле запускаются одновременно. Если число процессоров N, а объем данных, передаваемых каждым процессором, равен X, то суммарный объем данных D, переданных одним узлом, будет . Если сеть идеальна (никакой обмен не мешает никакому другому), то этот объем может быть передан из узла за время . В действительности же этот тест будет выполняться за реальное время . Отношение и дает экспериментальный коэффициент полноты . Чем ближе к единице, тем более независимо осуществляются одновременные обмены в данной сети.

Для исследования эффективности отображения логических топологий процессов на коммуникационную среду по каждому каналу между двумя узлами передается в обе стороны L бит информации. Если для данной топологии задействованы N(P) каналов, где P - число узлов, то суммарный объем передаваемой по сети информации равен 2LN(P). Пусть узел i имеет логических связей с другими узлами, тогда он передает и принимает бит. Для определения пропускной способности производится синхронизация передачи с помощью операции MPI_Barrier; измеряется "начальное" время ; инициализируется передача/прием информации "нужному" узлу с помощью операций MPI_Send или MPI_Recv; производится барьерная синхронизация; измеряется "конечное" время , после чего определяются общая R и средняя RC пропускные способности.

При определении производительности кластера для процессоров, связанных по протоколу Fast Ethernet, получена латентность 90 мкс и пропускная способность 80 Mбит/с для сообщений размером 256 Кбайт. Для процессоров, связанных по протоколу Gigabit Ethernet, получена латентность 100 мкс, а пропускная способность составляет 320 Mбит/с для сообщений размером 256 Кбайт. Для одного узла латентность составляет 95 мкс, а пропускная способность - 360 Mбит/с для сообщений размером 256 Кбайт.

При определении коэффициента полноты Fe для сети Gigabit Ethernet (коммутатор Rapier G6f) получено Fe = 0,9; для сети Fast Ethernet (коммутатор Rapier 24) - Fe =0,5.

Тестирование показало, что использование коммутатора Rapier G6f и сети Gigabit Ethernet позволяет до 20 раз увеличить общую пропускную способность по сравнению с сетью Fast Ethernet. Особенно это важно в случаях сложных топологий соединения процессоров с большим числом связей. вычислительный компьютерный моделирование кластер

Для дистанционного доступа по сети Интернет к вычислительным ресурсам кластера на базе программного обеспечения Microsoft Internet Information Server (MSIIS) создан специализированный Web-сервер, размещенный на 4-процессорном внутреннем узле кластера - SUPERSERVER 8060. Интерфейс сервера разработан на основе технологии Active Server Pages на языке Java Script. Для удаленного доступа к кластеру пользователи должны пройти регистрацию, после чего им предоставляется возможность размещать свои программы для выполнения на кластере через Web-интерфейс (браузер), дистанционно компилировать и исполнять их. Защита данных на Web-сервере осуществляется средствами MSIIS и файловой системы NTFS. Программы выполняются в пакетном (автоматическом) режиме без взаимодействия с оператором или пользователем. Результаты работы программы переносятся на компьютер пользователя средствами Web-браузера.

Для эффективного использования компьютерного кластера возникает необходимость создания новых параллельных алгоритмов или переработки имеющихся последовательных алгоритмов. В процессе формирования библиотеки параллельных алгоритмов и программ, которая должна обеспечить широкое использование кластера для расчетов в различных областях, были разработаны или реализованы в возможных топологиях кластера ВГУ параллельные алгоритмы умножения квадратных матриц, расчета многомерных интегралов и многократных сумм функций, зависящих от нескольких переменных, решения "задачи коммивояжера", параллельных сортировок и др.

Актуальной является разработка методов компьютерного моделирования для решения сложных задач на параллельном кластере. К таким задачам, решаемым в настоящее время, относятся: расчет вероятности процесса внутреннего тормозного излучения (ВТИ) при б-, кластерном и протонном распадах [4]; моделирование спектров б-частичных состояний в ядрах и др.

Созданный ранее комплекс последовательных программ для решения этих задач на традиционных компьютерах не обеспечил проведение полного цикла расчетов из-за катастрофического увеличения времени вычислений с ростом числа входных данных, поэтому имеющиеся последовательные алгоритмы были подвергнуты распараллеливанию. Применялись как известные приемы распараллеливания алгоритмов, так и вновь созданные для обеспечения эффективной работы конкретной параллельной программы комплекса. При этом использовались среда параллельного программирования MPICH 1.2.5 и язык Fortran.

С середины 1980-х годов началось теоретическое изучение ВТИ при б-распаде [5]. Его экспериментальное обнаружение [6,7] привело к активизации теоретических исследований. Однако все работы по теории ВТИ при б-распаде, выполненные до последнего времени, основывались либо на существенных упрощениях, либо на очень простых модельных потенциалах, весьма далеких от реального ядерного взаимодействия. В работе [4] на базе использования реалистических ядерных потенциалов создана новая теоретическая модель расчета спектров ВТИ, универсальная для б-, кластерного и протонного распадов, в которой отсутствуют вышеуказанные недостатки. На ее основе было проведено компьютерное моделирование ВТИ разной мультипольности, что дало возможность выяснить долю вкладов дипольного и квадрупольного излучений в суммарные спектры ВТИ. Вычислены спектры ВТИ для б-распада ядер 226Ra, 210Po, 214Po, для которых имеются экспериментальные данные. Полученные вероятности достаточно хорошо совпадают с результатами экспериментальных работ. Проведены расчеты вероятности ВТИ для кластерного распада ядра 222Ra.

В последнее время большое внимание привлекает исследование протонного распада, поэтому было проведено моделирование процесса ВТИ и для этого вида распада в ядре 113Cs. Найдены сходные черты и различия в поведении вероятностей и в областях формирования излучений при б-, кластерном и протонном распадах.

Использование высокопроизводительного вычислительного кластера позволило продвинуться вперед в решении ряда физических задач и приобрести опыт создания параллельных алгоритмов и программ, необходимый для применения новых методов компьютерного моделирования в различных направлениях научных исследований.

Со второй половины 1990-х годов технологии программирования глобальных распределенных ресурсов развиваются под названием GRID-технологий [8]. На их базе строятся системы для решения крупномасштабных задач в области фундаментальных и прикладных исследований. Основа технологии GRID состоит в создании набора стандартизованных служб для обеспечения надежного, дешевого и безопасного доступа к географически распределенным высокотехнологичным информационным и вычислительным ресурсам - отдельным компьютерам, кластерам и суперкомпьютерным центрам, хранилищам информации, сетям, научному инструментарию и т.д. В мире активно реализуется ряд GRID-проектов. В Европе - это EU DataGRID, в котором участвуют крупнейшие научные центры 14 стран, в том числе и России, по разработке глобальной информационной среды нового поколения для высокопроизводительной обработки больших объемов информации [9]. Учитывая хорошие параметры компьютерного кластера ВГУ и его расположение в центральной части России, в настоящее время решаются вопросы его интеграции в масштабные российские проекты по разработке, апробации и развитию GRID-технологий.

Литература

1. Запрягаев С.А., Кургалин С.Д. Высокопроизводительный вычислительный кластер в учебном процессе Воронежского университета // Математика, компьютер, образование.- 10 Междун. конф.- Пущино, 2003.- С.26.

2. Запрягаев С.А., Кургалин С.Д., Толстобров А.П. Воронежский виртуальный университет как региональная часть единого информационно-образовательного пространства России // Информационные технологии в образовании.- Матер. междун. конф.- Болгария, 2002.- С. 149-152.

3. Корнеев В.Д. Параллельное программирование в MPI.- М.-Ижевск: Институт компьютерных исследований, 2003. -304 с.

4. Кургалин С.Д., Чувильский Ю.М., Чуракова Т.А. Внутреннее тормозное излучение при кластерном и протонном распадах // Изв. РАН, сер. физ.- 2001.- Т.65, №5.- C.666-670.

5. Баткин И.С., Копытин И.В., Чуракова Т.А. Внутреннее тормозное излучение, сопровождающее б-распад // Ядерная физика.- 1986.- Т.44, Вып. 6(12).- С.1454-1457.

6. D'Arrigo A., Eremin N.V., Fazio G. Investigation of bremsstrahlung emission in б-decay of heavy nuclei // Physics Letters.- 1994.-V.B332, № 1,2.- P.25-30.

7. Kasagi J., Yamazaki H., Kasajima N.et.al. Bremssrahlung emission in б-decay and tunnelling motion of б particles // Journ. Phys.- 1997.- V.G23.- P.1451.

8. The Grid: Blueprint for a New Computing Infrastructure / Ed. by I. Foster and C. Kesselman // Morgan Kaufman Pub., San Francisco, CA.- 1999.

9. Ильин В.А., Кореньков В.В. Создание российского сегмента европейской инфраструктуры EU DATAGRID // Электронные библиотеки: перспективные методы и технологии, электронные коллекции.- Труды Четвертой Всероссийск. научн. конф. Т.1.- ОИЯИ, Дубна, 2002.- С. 239-248

Размещено на Allbest.ru