При построении суперкомпьютера IBM использовала конфигурационную схему, которая в качестве структурного компонента рассматривает объединенные между собой два blade-сервера IBM QS22 (Cell) и один blade-сервер IBM LS21 (Opteron). Всего в системе насчитывается 3060 структур типа "tri-blade", каждая из которых обеспечивает производительность в 400 гигафлопс. В основных системных операциях задействованы процессоры Opteron, а за математические расчеты и операции с интенсивным использованием ЦП отвечают чипы Cell. Программная часть разработана компанией Red Hat на базе операционной системы Linux. Стоимость Roadrunner составила около $100 млн долларов.

5. Построение простого кластера на примере linux-проекта Beowulf

1) Узлы кластера

Подходящим выбором являются системы на базе процессоров Сore 2 Duo, или SMP-сервера с небольшим числом процессоров (4- 8). По некоторым причинам оптимальным считается построение кластеров на базе двухпроцессорных систем.Стоит установить на каждый узел не менее 2048MB оперативной памяти .

Одну из машин следует выделить в качестве центральной (головной) куда следует установить достаточно большой жесткий диск, возможно более мощный процессор и больше памяти, чем на остальные (рабочие) узлы. Имеет смысл обеспечить (защищенную) связь этой машины с внешним миром.

При комплектации рабочих узлов вполне возможно отказаться от жестких дисков - эти узлы будут загружать ОС через сеть с центральной машины, что, кроме экономии средств, позволяет сконфигурировать ОС и все необходимое ПО только 1 раз (на центральной машине).

Если эти узлы не будут одновременно использоваться в качестве пользовательских рабочих мест, нет необходимости устанавливать на них видеокарты и мониторы. Возможна установка узлов в стойки (rackmounting), что позволит уменьшить место, занимаемое узлами, но будет стоить несколько дороже.

Возможна организация кластеров на базе уже существующих сетей рабочих станций, т.е. рабочие станции пользователей могут использоваться в качестве узлов кластера ночью и в выходные дни.

Системы такого типа иногда называют COW (Cluster of Workstations).

Количество узлов следует выбирать исходя из необходимых вычислительных ресурсов и доступных финансовых средств. Следует понимать, что при большом числе узлов придется также устанавливать более сложное и дорогое сетевое оборудование.

2) Сеть.

Для получения хорошей производительности межпроцессорных обменов используют полнодуплексный Fast Ethernet на 100Mbit/sec. При этом для уменьшения числа коллизий или устанавливают несколько "параллельных" сегментов Ethernet, или соединяют узлы кластера через коммутатор (switch).

3) Операционная система.

Следует установить бесплатно распространяемую OC Linux с усовершенствованным ядром Дистрибутивы Linux распространяются через Интернет или на CD-ROM. Рекомендуемый дистрибутив - RedHat Linux Существует также русифицированный дистрибутив - KSI Linux. Также же отлажена техника загрузки Linux через сеть, что очень полезно для бездисковых конфигураций. Необходимо найти и правильно настроить наиболее подходящие к установленным адаптерам драйвера.

4) Компиляторы.

Так, для процессоров Intel лучшим выбором будет разработанные Intel компиляторы с языков C/C++/Fortran95 (доступны бесплатно для некоммерческого использования в версии Linux), либо компиляторы от Portland Group (С/С++/Fortran90/HPF). Если же вам по каким-то причинам нет возможности установить у себя эти компиляторы, то вы можете использовать свободно распространяемые компиляторы серии GCC (Gnu Compiller Collection), которые поддерживают большинство современных аппаратных и программных платформ и поставляются практически со всеми дистрибутивами Linux и Unix.

5) Коммуникационные библиотеки.

Наиболее распространенным интерфейсом параллельного программирования в модели передачи сообщений является MPI. Хотя использование PVM ничем не хуже. Рекомендуемая бесплатная реализация MPI - пакет MPICH, разработанный в Аргоннской Национальной Лаборатории. Для кластеров на базе коммутатора Myrinet разработана система HPVM, куда также входит реализация MPI.

Для эффективной организации параллелизма внутри одной SMP - системы возможны два варианта:

Для каждого процессора в SMP-машине порождается отдельный MPI-процесс. MPI-процессы внутри этой системы обмениваются сообщениями через разделяемую память (необходимо настроить MPICH соответствующим образом).

На каждой машине запускается только один MPI-процесс. Внутри каждого MPI-процесса производится распараллеливание в модели "общей памяти", например с помощью директив OpenMP.

После установки реализации MPI имеет смысл протестировать реальную производительность сетевых пересылок.

Кроме MPI, есть и другие библиотеки и системы параллельного программирования, которые могут быть использованы на кластерах. Следует понимать, что использование для программирования нестандартных средств ведет к плохой переносимости параллельных программ.

Заключение

Все ведущие производители микропроцессоров придерживаются одних точек зрения на будущее отрасли суперкомпьютеров: отдельные, независимые суперкомпьютеры в скором времени будут вытеснены группами высокопроизводительных серверов, объединенных в кластер. Сегодня классические суперкомпьютеры уступают в производительности современным, распределенным, кластерным системам.

Существует определенный класс задач, требующих производительности более высокой, нежели мы можем получить, используя обычные компьютеры. В этих случаях из нескольких мощных систем создают высокопроизводительный кластер, который позволяет распределить вычисления разным процессорам, а также по разным рабочим станциям.

Если задача, позволяет эффективное распараллеливание и к ней не предъявляется требования по исполнению и взаимодействию параллельно выполняемых потоков, то часто принимается решение о создании высокопроизводительного кластера из некоторого числа низкопроизводительных однопроцессорных систем.

Следствием таких решений, при достаточно низкой стоимости, становится возможность достижения гораздо большей производительности, и скорости вычислений по сравнению с суперкомпьютерами.

Часто можно встретить заблуждение, что только использование суперкомпьютера может само по себе дать прирост производительности. Это не верно. Если задача не имеет внутреннего параллелизма и не адаптирована соответствующим образом, максимум, что можно получить от кластера - это запуск на выполнение нескольких экземпляров программы одновременно, работающих с различными начальными данными. Это не ускорит выполнение одной конкретной программы, но позволит сэкономить много времени, если необходимо посчитать множество вариантов за ограниченное время.

Если объемы задачи таковы, что только один прогон на однопроцессорной машине может длиться сутками, неделями и месяцами, то очевидно, следует приложить усилия по адаптации алгоритма. Следует разделить задачу на несколько (по числу процессоров) более мелких подзадач, которые могут выполняться независимо, а в тех местах, где независимое выполнение невозможно, явно вызывать процедуры синхронизации, для обмена данными через сеть. Например, если происходит обработка большого массива данных, то разумно будет разделить его на области и распределить их по процессорам, обеспечив равномерную загрузку всего кластера.

ОS Linux является, доминирующей в области построения кластерных систем, так она надежна и быстро действенна. Кластеры с использованием OS Linux начали развиваться больше 15 лет назад, совершив революцию в вычислительных системах. Они стали доступны задолго до появления Wolfрack, используемого в Windows NT,

В ОС Linux имеется все необходимое для построения кластеров, создана среда в которой можно эффективно добиться написания качественных параллельных программ.

В настоящее время не ожидается появление ОС, способной вытеснить Linux, как основу построения и управления кластерными системами.

Список использованных источников

1. Курячий Г.В., Маслинский К.А. Операционная система Linux.Курс лекций. Учебное пособие. ИНТУИТ, Москва, 2005

2. Цирюлик О., Горошко Е. QNX/UNIX Анатомия параллелизма. СПБ-МОСКВА, 2006

3. ХьюзК.,Хьюз Т. Параллельное и распределенное программирование с использованием С++

4. http://rsusu1.rnd.runnet.ru/tutor/method/m1/page06.html

5. http://www.ci.ru/inform10_99/p_08_9.htm

6. http://www.citforum.ru/operating_systems/linux/linux_parall/

7. http://vidrom.narod.ru/

8. http://www.ixbt.com/cpu/clustering.shtml

9. http://cluster.linux-ekb.info/os.php

10. http://www.bestreferat.ru/referat-53017.html

Размещено на Allbest.ru