Организация вычислительных систем и сетей

Классификация компьютеров по областям применения. Персональные компьютеры и рабочие станции. Функциональная и структурная организация процессоров. Системные и локальные шины. Топология локальных сетей. Методы доступа и протоколы передачи данных.

Рубрика Программирование, компьютеры и кибернетика
Вид учебное пособие
Язык русский
Дата добавления 28.06.2009
Размер файла 198,2 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Вторым компонентом времени обслуживания является время ожидания. Чтобы искомый сектор повернулся до совмещения с положением головки требуется некоторое время. После этого данные могут быть записаны или считаны. Для современных дисков время полного оборота лежит в диапазоне 8-16 мс, а среднее время ожидания составляет 4-8 мс.

Последним компонентом является время передачи данных, т.е. время, необходимое для физической передачи байтов. Время передачи данных является функцией от числа передаваемых байтов (размера блока), скорости вращения, плотности записи на дорожке и скорости электроники. Типичная скорость передачи равна 1-4 Мбайт/с.

В состав компьютеров часто входят специальные устройства, называемые дисковыми контроллерами. К каждому дисковому контроллеру может подключаться несколько дисковых накопителей. Между дисковым контроллером и основной памятью может быть целая иерархия контроллеров и магистралей данных, сложность которой определяется главным образом стоимостью компьютера. Поскольку время передачи часто составляет очень небольшую часть общего времени доступа к диску, контроллер в высокопроизводительной системе разъединяет магистрали данных от диска на время позиционирования так, что другие диски, подсоединенные к контроллеру, могут передавать свои данные в основную память. Поэтому время доступа к диску может увеличиваться на время, связанное с накладными расходами контроллера на организацию операции ввода/вывода.

Рассмотрим теперь основные составляющие времени доступа к диску в типичной подсистеме SCSI. Такая подсистема включает в себя четыре основных компонента: основной компьютер, главный адаптер SCSI, встроенный в дисковое устройство контроллер и собственно накопитель на магнитных дисках. Когда операционная система получает запрос от пользователя на выполнение операции ввода/вывода, она превращает этот запрос в набор команд SCSI. Запрашивающий процесс при этом блокируется и откладывается до завершения операции ввода/вывода (если только это был не запрос асинхронной передачи данных). Затем команды пересылаются по системе шин в главный адаптер SCSI, к которому подключен необходимый дисковый накопитель. После этого ответственность за выполнение взаимодействия с целевыми контроллерами и их устройствами ложится на главный адаптер.

Затем главный адаптер выбирает целевое устройство, устанавливая сигнал на линии управления шины SCSI (эта операция называется фазой выбора). Естественно, шина SCSI должна быть доступна для этой операции. Если целевое устройство возвращает ответ, то главный адаптер пересылает ему команду (это называется фазой команды). Если целевой контроллер может выполнить команду немедленно, то он пересылает в главный адаптер запрошенные данные или состояние. Команда может быть обслужена немедленно, только если это запрос состояния, или команда запрашивает данные, которые уже находятся в кэш-памяти целевого контроллера. Обычно же данные не доступны, и целевой контроллер выполняет разъединение, освобождая шину SCSI для других операций. Если выполняется операция записи, то за фазой команды на шине немедленно следует фаза данных, и данные помещаются в кэш-память целевого контроллера. Подтверждение записи обычно не происходит до тех пор, пока данные действительно не запишутся на поверхность диска.

После разъединения, целевой контроллер продолжает свою собственную работу. Если в нем не предусмотрены возможности буферизации команд (создание очереди команд), ему надо только выполнить одну команду. Однако, если создание очереди команд разрешено, то команда планируется в очереди работ целевого контроллера, при этом обрабатывается команда, обладающая наивысшим приоритетом в очереди. Когда запрос станет обладать наивысшим приоритетом, целевой контроллер должен вычислить физический адрес (или адреса), необходимый для обслуживания операции ввода/вывода. После этого становится доступным дисковый механизм: позиционируется каретка, подготавливается соответствующая головка записи/считывания и вычисляется момент появления данных под головкой. Наконец, данные физически считываются или записываются на дорожку. Считанные данные запоминаются в кэш-памяти целевого контроллера. Иногда целевой контроллер может выполнить считывание с просмотром вперед.

После завершения операции ввода/вывода целевой контроллер в случае свободы шины соединяется с главным адаптером, вслед за чем выполняется фаза данных (при передаче данных из целевого контроллера в главный адаптер) и фаза состояния для указания результата операции. Когда главный адаптер получает фазу состояния, он проверяет корректность завершения физической операции в целевом контроллере и соответствующим образом информирует операционную систему.

Одной из характеристик процесса ввода/вывода SCSI является большое количество шагов, которые обычно не видны пользователю. Обычно на шине SCSI происходит смена семи фаз (выбор, команда, разъединение, повторное соединение, данные, состояние, разъединение). Естественно каждая фаза выполняется за некоторое время, расходуемое на использование шины. Многие целевые контроллеры (особенно медленные устройства подобные магнитным лентам и компакт-дискам) потребляют значительную часть времени на реализацию фаз выбора, разъединения и повторного соединения.

Варианты применения высокопроизводительных подсистем ввода/вывода широко варьируются в зависимости от требований, которые к ним предъявляются. Они охватывают диапазон от обработки малого числа больших массивов данных, которые необходимо реализовать с минимальной задержкой (ввод/вывод суперкомпьютера), до большого числа простых заданий, которые оперируют с малыми объемами данных (обработка транзакций).

Запросы на ввод/вывод заданной рабочей нагрузки можно характеризовать в терминах трех метрик: производительность, время ожидания и пропускная способность. Производительность определяется числом запросов на обслуживание, получаемых в единицу времени. Время ожидания определяет время, необходимое на обслуживание индивидуального запроса. Пропускная способность определяет количество данных, передаваемых между устройствами, требующими обслуживания, и устройствами, выполняющими обслуживание.

Ввод/вывод суперкомпьютера почти полностью определяется последовательным механизмом. Обычно данные передаются с диска в память большими блоками, а результаты записываются обратно на диск. В таких применениях требуется высокая пропускная способность и минимальное время ожидания, однако они характеризуются низкой производительностью. В отличие от этого обработка транзакций характеризуется огромным числом случайных обращений, относительно небольшими отрезками работы и требует умеренного времени ожидания при очень высокой производительности.

Так как системы обработки транзакций тратят большую часть времени обслуживания на поиск и ожидание, технологические успехи, приводящие к сокращению времени передачи, не будут оказывать особого влияния на производительность таких систем. С другой стороны, в научных применениях на поиск данных и на их передачу затрачивается одинаковое время, и поэтому производительность таких систем оказывается очень чувствительной к любым усовершенствованиям в технологии изготовления дисков. Как будет показано ниже, можно организовать матрицу дисков таким образом, что будет обеспечена высокая производительность ввода/вывода для широкого спектра рабочих нагрузок.

В последние годы плотность записи на жестких магнитных дисках увеличивается на 60% в год при ежеквартальном снижении стоимости хранения одного Мегабайта на 12%. По данным фирмы Dataquest такая тенденция сохранится и в ближайшие два года. Сейчас на рынке представлен широкий ассортимент дисковых накопителей емкостью до 9.1 Гбайт. При этом среднее время доступа у самых быстрых моделей достигает 8 мс. Например, жесткий диск компании Seagate Technology имеет емкость 4.1 Гбайт и среднее время доступа 8 мс при скорости вращения 7200 оборот/мин. Улучшаются также характеристики дисковых контроллеров на базе новых стандартов Fast SCSI-2 и Enhanced IDE. Предполагается увеличение скорости передачи данных до 13 Мбайт/с. Надежность жестких дисков также постоянно улучшается. Например, некоторые модели дисков компаний Conner Peripherals Inc., Micropolis Corp. и Hewlett-Packard имеют время наработки на отказ от 500 тысяч до 1 миллиона часов

Другим направлением развития систем хранения информации являются магнитооптические диски. Запись на магнитооптические диски (МО-диски) выполняется при взаимодействии лазера и магнитной головки. Луч лазера разогревает до точки Кюри (температуры потери материалом магнитных свойств) микроскопическую область записывающего слоя, которая при выходе из зоны действия лазера остывает, фиксируя магнитное поле, наведенное магнитной головкой. В результате данные, записанные на диск, не боятся сильных магнитных полей и колебаний температуры. Все функциональные свойства дисков сохраняются в диапазоне температур от -20 до +50 градусов Цельсия.

МО-диски уступают обычным жестким магнитным дискам лишь по времени доступа к данным. Предельное достигнутое МО-дисками время доступа составляет 19 мс. Магнитооптический принцип записи требует предварительного стирания данных перед записью, и соответственно, дополнительного оборота МО-диска. Однако завершенные недавно исследования в SONY и IBM показали, что это ограничение можно устранить, а плотность записи на МО-дисках можно увеличить в несколько раз. Во всех других отношениях МО-диски превосходят жесткие магнитные диски.

В магнитооптическом дисководе используются сменные диски, что обеспечивает практически неограниченную емкость. Стоимость хранения единицы данных на МО-дисках в несколько раз меньше стоимости хранения того же объема данных на жестких магнитных дисках.

Сегодня на рынке МО-дисков предлагается более 150 моделей различных фирм. Одно из лидирующих положений на этом рынке занимает компания Pinnacle Micro Inc. Для примера, ее дисковод Sierra 1.3 Гбайт обеспечивает среднее время доступа 19 мс и среднее время наработки на отказ 80000 часов. Для серверов локальных сетей и рабочих станций компания Pinnacle Micro предлагает целый спектр многодисковых систем емкостью 20, 40, 120, 186 Гбайт и даже 4 Тбайт. Для систем высокой готовности Pinnacle Micro выпускает дисковый массив Array Optical Disk System, который обеспечивает эффективное время доступа к данным не более 11 мс при скорости передачи данных до 10 Мбайт/с.

9. Организация RISC системы AS/400

9.1 Архитектура PowerPC - как основа сиcтемы AS/400

Архитектура PowerPC вполне обычна т. е. обладает всеми традиционными для RISC характеристиками; командами фиксированной длины, операциями «регистр- регистр», простыми режимами адресации и большим набором регистров. В то же время она имеет и характерные отличия.

В основе всего набора команд лежит идея суперскалярной реализации. В суперскалярном процессоре за один такт несколько команд могут быть распределены на несколько конвейеров. Аппаратура процессора просматривает поток команд и отправляет на выполнение максимально возможное число независимых команд, обычно две -- четыре за цикл. В дальнейшем эти команды могут выполняться параллельно и даже завершиться в порядке отличном от порядка их следования. Этот дополнительный параллелизм заметно повышает производительность процессора.

Команды направляются одновременно в три независимых исполняющих блока. Общая структура PowerPC представлена на рис. 9.1. Здесь показаны блоки переходов, фиксированной точки, плавающей точки, а также кэш команд, кэш данных, память и пространство ввода/вывода, которое в данной архитектуре выглядит как часть памяти.

Для каждого исполняющего блока архитектурой определен независимый набор регистров. Любая определенная архитектурой команда может выполняться только одним типом управляющих блоков. Таким образом, у каждого блока есть собственный набор регистров плюс собственный набор команд. Эти исполняющие блоки часто называют процессорами, так как им присущи все характеристики процессора. Можно сказать, что процессор PowerPC содержит три отдельных процессора - исполняющих блока. Заметьте также, что у каждого исполняющего блока может быть несколько несколько конвейеров команд. Если, например, модели для контролера сетевого интерфейса важна производительность операций с плавающей точкой, то блок плававающей точки должен содержать два конвейера и более и выполнять более одной команды плавающею точки одновременно. То же верно и для двух других блоков. Возможно создание процессоров PowerPC, способных сразу выполнять пять или более команд.

Преимущество такой схемы не только в возможности одновременного выполнения нескольких команд, но и в том, что, благодаря наличию у каждого блока отдельных ресурсов достаточно минимального объема взаимодействия и синхронизации между блоками. Исполняющие блоки способны подстраиваться под поток команд и позволять командам обгонять другу друга и завершаться в ином порядке.

Архитектура PowerPC отличается от обычного RISC-процессора еще и использованием нескольких составных команд.

Самый большой недостаток RISC в сравнении с CISC - объем кода. Для выполнения одной и той же программы RISC требуется больше команд, чем CISC. Составные команды позволяют минимизировать это разрастание кода. Некоторые из них весьма просты -- например, обновление регистра базы при загрузке и сохранении, позволяющее исключить дополнительную команду прибавления. Другие, такие как команды множественной загрузки и сохранения, предназначенные для перемещения значений нескольких регистров одной командой, сложнее. Есть и команды загрузки/сохранения цепочек, позволяющие загружать и сохранять произвольно выровненную цепочку байтов. В последней паре команд поклонники CISC различают не очень хорошие замаскированные команды пересылки символов.

Некоторые операции, вроде пересылки невыровненных строк байтов, происходят довольно часто и требуют определенной оптимизации. Если составная команда дает то, что нужно, но нарушает какое-то неписаное правило чистого RISC. Составные команды не знаменуют возврат к CISC-архитектуре -- они лишний раз доказывают, что нет ничего абсолютно белого или черного.

Интенсивное применение суперскалярных возможностей и составных команд -- основа философии проектирования архитектуры PowerPC. Эта философия используется и другими архитектурами, такими как Sun SuperSPARC: и Motorola 88110.

Что такое мегагерц? В последние годы стало популярно выражать производительность микросхемы процессора ЭВМ в мегагерцах. Эта единица характеризует тактовую частоту. Для простоты ее можно соотнести со скоростью вращения автомобильного двигателя: эта величина показывает, сколько оборотов в минуту совершает коленчатый вал. Скорость процессора можно задать как число тактов в секунду. За один число команд, которые процессор может выполнить в секунду, физическая единица герц (Гц), получившая свое название в честь немецкого физика, равна одному циклу в секунду, а один мегагерц -- это миллион циклов в секунду.

Примерами этой философии высокой тактовой частоты являются архитектуры Digital Alpha, HP PA-RISC и MIPS R4000. Для сравнения возьмем процессор PA-RISC. Старшие модели PA-RISC: обычно выполняют две команды за такт, менее мощные модели PowerPC -- три команды, а старшие модели - четыре или более. Этот дополнительный параллелизм дает PowerPC выигрыш в производительности, хотя и за счет увеличения сложности, что может снизить тактовую частоту.

Системы Speed Daemons (высокая тактовая частота) и Brainics (сложность). Основной вопрос в том, что тактовая частота, измеряемая в мегагерцах, не всегда адекватно отражает соотношение производительности процессоров 150-МГц Brainiac может легко превзойти по производительности 300- МГц Speed Daemon. Все зависит от выполняемой программы и степени параллелизма команд, достигаемой компилятором.

9.2 Расширения архитектуры PowerPC

Архитектура PowerPC определяет требуемые и необязательные команды как для 32-, так и для 64-разрядного набора команд, и каждый процессор PowerPC реализует разные наборы необязательных команд. Самое значительное расширение в архитектуре для AS/400 -- поддержка тегов памяти.

В System/38 была введена концепция одноуровневой памяти. Попросту говоря, вся память, в том числе дисковая, является единым большим адресным пространством. Нам требовался эффективный механизм для защиты областей памяти от пользователей, не имеющих к ним прав доступа. В МI адресация выполнялась через 16-байтовые указатели. Указатель содержит некоторый адрес, который пользователь может изменить. Поскольку измененный адрес указывает на любую область памяти, необходимо предоставить способ предотвращения неавторизованных изменений адресов пользователями.

С каждым словом памяти System/38 связан специальный бит защиты памяти -- бит тега (tag bit). В слове памяти System/38 -- 32 разряда данных. Указатель МI занимает четыре таких слова. Всякий раз, когда операционная система сохраняет в четырех последовательных словах памяти указатель, аппаратура включает (устанавливает в 1) 4 бита тега для индикации того, что указатель содержит адрес, допустимый для этого пользователя. Если пользователь изменяет в памяти любую часть указателя, то аппаратура выключает (устанавливает в О) бит тега. Если хотя бы один из битов тега сброшен, то адрес в указателе неверен и его нельзя использовать для доступа к памяти.

В целях безопасности бит тега необходимо скрыть: он должен храниться в недоступной пользователю области памяти. Бит тега не может быть одним из битов данных внутри слова, поскольку такие биты пользователь может видеть и изменять. Он должен храниться отдельно. System/38 использует для каждого слова памяти биты кода коррекции ошибок. Часть памяти с этими битами невидима программам, работающим поверх МI. Разработчики добавили к битам кода коррекции ошибок еще один бит и использовать его как бит тега. Если какая-либо пользовательская программа изменяет слово памяти, процессор должен автоматически сбрасывать скрытый бит тега. Если данное слово является частью указателя, то последний становится неверным. Только микрокод, расположенный ниже МI, имеет команды для включения битов тега.

AS/400 также использует биты тега в памяти. Поскольку в архитектуре PowerPC биты тега не предусмотрены, было добавлено к ней режим активных тегов (tags-active mode). В этом режиме процессор знает о наличии битов тега и будет сбрасывать их всякий раз, когда пользователь изменяет слово в памяти. Все процессоры AS/400 работают в режиме активных тегов, а процессоры PowerPC используют режим неактивных тегов.

9.3 65 - разрядный процессор

В AS/400 ширина слова памяти возросла до 64 разрядов данных. Каждая восьмерка байтов памяти AS/400 связывает бит тега, и указатель МI занимает два таких слова. Разработчики полагали, что хранить два теговых бита в регистрах новых RISC-процессоров, как и в памяти, в некоторой степени выгодно. Кроме того, необходимо было сократить размер указателей МI до 8 байт. Внутри 16-байт указателей было неиспользуемое пространство, которое нужно сжать.

Чтобы хранить тестированные указатели в регистрах, размер целочисленных регистров нужно было увеличить до 65 разрядов. Эта схема разрабатывалась около года. Но от нее пришлось отказаться и вернутся к тому, чтобы хранить теги только в памяти. На то были три основные причины. Во-первых, изменение размера указателя влияло на OS/400 и требовало внесения в ее код слишком многих модификаций. Во-вторых, такой подход ограничивал будущие расширения размера адреса 64 разрядами. В-третьих, и это было главным, процессоры в режиме активных тегов оказались бы несовместимы с набором команд PowerPC.

Будущие процессоры, реализующие режим неактивных тегов, где 65-й разряд игнорируется, были бы полностью совместимы с PowerPC. Поначалу не собирались реализовывать 32-разрядные команды в режиме активных тегов, полагая, что этот режим будет использоваться только операционной системой AS/400, которая имеет дело лишь с 64-разрядными командами. На предварительном этапе выполнять какое-либо 32-разрядное программное обеспечение в режиме активных тегов не планировалось.

Затем, когда было решено поддерживать совместимость с набором команд PowerPC, пришлось избавиться от 65-го разряда в процессоре, полагая, что в дальнейшем возможно некое слияние операционных систем IBM. Поскольку большая часть программного обеспечения будет написана для 32-разрядного процессора, то и процессоры даже в режиме активных тегов реализуют 32-разрядный набор команд. Все будущие процессоры Рочестера при включенном режиме неактивных тегов смогут исполнять любые приложения и операционные системы для PowerPC.

Хотя вернулись к 64-разрядным процессорам уже много лет назад, в IBM по-прежнему иногда говорят о 65-разрядных процессорах, которые никто никогда не создавал. Просто многим неизвестно, что здесь делает бит тега. Вероятно, если бы мы назвали его битом защиты указателя в памяти (pointer in memory protection), то меньше бы людей пребывало в заблуждении. Увы, тогда нам пришлось бы все свое время посвятить объяснениям того зачем нам нужен бит-«рimр» .

9.4 Команды PowerPC AS/400

Архитектура PowerPC определяет привилегированные операции и команды, используемые не приложениями, а только операционной системой. Режим активных тегов включает разширения, добавленные для AS/400.

Например, механизм трансляции адреса должен поддерживать и одноуровневую память с общим адресным пространством, и обычную память с отдельным адресным пространством для каждого процесса. С помощью режима активных тегов мы приказываем процессору обратиться к одноуровневой памяти. В режиме неактивных тегов процессор использует обычную трансляцию адреса PowerPC.

В состав других расширений для AS/400 входят команды для работы с десятичными числами, некоторые новые команды загрузки и сохранения, а также расширения внутреннего регистра состояния процессора для усовершенствования переходов.

Следующие цифры помогут обобщить и изменения в архитектуре AS/400 и связать их с перспективой развития архитектуры PowerPC:

32-разрядная архитектура PowerPC определяет 187 команд, причем 11 из них необязательные;

64-разрядная архитектура PowerPC определяет 228 команд (187 из 32-разрядного набора плюс 41 дополнительная), из них 21 необязательная;

архитектура Amazon определяет 253 команды (228 из 64-разрядного набора PowerPC плюс 25 дополнительных), из них 20 необязательных. Причем 25 дополнительных команд доступны только в режиме активных тегов. Режим неактивных тегов поддерживает лишь 64-разрядный набор команд PowerPC.

Кроме того, определение любой архитектуры динамично и конкретные числа могут изменяться.

9.5 Процессоры AS/400

Два процессора, реализации которых здесь рассмотрим, поддерживают только режим активных тегов и только модель ввода/вывода AS/400. Это значит, что на них могут исполняться приложения, но не операционные системы, написанные для стандартного процессора PowerPC. Любая другая операционная система, исполняющаяся на одном из этих процессоров, для таких функций, как ввод/вывод, должна использовать средства, предоставляемые операционной системой AS/400.

В перспективе процессоры AS/400 будут поддерживать режимы как активных, так и неактивных тегов в дополнение к поддержке нескольких структур ввода/вывода одновременно, т. е. смогут исполнять любую операционную систему PowerPC.

9.5.1 Процессоры АЗО (Muskie)

Разработанный в Рочестере под именем Muskie, АЗО был выпущен в 1995 г. как старшая модель процессора для AS/400. В момент выхода АЗО являлся самым быстрым из процессоров технологии PowerPC и самым быстрым микропроцессором IBM. Один такт этого высокопроизводительного процессора длится всего 6,5 нс., что соответствует тактовой частоте 754 МГц. АЗО явно ориентирован на применение в системах для коммерческих расчетов, а не на технических рабочих станциях.

А30 - одномодульный многокристальный конвейерный процессор, предназначенный для старших моделей AS/400. Он способен выбирать и исполнять до четырех команд за такт. Пиковая производительность операций с фиксированной точкой (целочисленных) для АЗО равна 616 млн. команд в секунду (MIPS - million instructions per second). Кроме того, процессор имеет блок плавающей точки с пиковой производительностью 308 млн. команд в секунду (MFLOPS -- million floating-point operations per second), 8-Кбайт кэш команд на кристалле, 256-Кбайт кэш модуля и поддерживает до 64 Гбайт основною памяти. Процессор поддерживает и многопроцессорные конфигурации.

Процессор А30 со всеми своими вспомогательными схемами занимает семь кристаллов, упакованных в один многокристальный модуль, насчитывающий более 25 млн. транзисторов. Один кристалл управляет вводом/выводом, т. е. технически не является частью процессора. Остальные шесть, составляющие процессор, с соединениями между ними показаны на

Однокристальные процессоры обычно изготавливаются по КМОП-технологии (комплементарная структура металл - оксид-- полупроводник). Микросхемы КМОП потребляют меньше мощности (т. е. рассеивают меньше тепла), чем микросхемы других технологий. В результате на одном кристалле может быть больше транзисторов. Пока все схемы размещены на одном кристалле, маломощные цепи КМОП работают очень быстро. Другое дело - связи между кристаллами. Если для этого используются усилители КМОП, производительность падает.

Все шесть кристаллов АЗО основаны на технологии БиКМОП (BICMOS, биполярный-КМОП). Биполярная технология, обеспечивая высокое быстродействие, требует большей мощности. Из-за объема рассеиваемого тепла биполярные кристаллы не могут использовать такую же высокую плотность упаковки, как в кристаллах КМОП. Преимущество технологии БиКМОП в способности сохранять высокое быстродействие и при передаче между кристаллами. Это возможно за счет размещения на одном кристалле как биполярных цепей, так и цепей КМОП. Последние используются для схем внутри кристалла, а первые -- для внешних усилителей.

БиКМОП отлично подходит для многокристального процессора, хотя и сопровождается большим выделением тепла. Для иллюстрации: семикристальный модуль АЗО рассеивает приблизительно 130 Вт. Можете сравнить это со 130-Вт электролампочкой, находящейся в коробке, длина сторон которой всего 63,5 мм. Без воздушного охлаждения такому модулю не обойтись - вот почему этот процессор используется только в модулях старших моделей AS/400 - 530 и 535.

Чтобы понять, почему для реализации процессора необходимо так много транзисторов, рассмотрим подробнее его кристаллы. В состав шести кристаллов одного процессора входят кристалл процессорного блока (PU -- Processing Unit), Кристалл блока плавающей точки (FPU -- Floating-Point Unit) и четыре одинаковых кристалла блоков управления основной памятью (MSCU -- Main Store Control Unit).

На Кристалле PU расположены кэш команд, блок переходов и блок фиксированной точки. Кэш команд (8 Кбайт, ширина 32 байт) может выбирать из памяти за один такт 32 байт (восемь команд). Для передачи больших объемов данных за один такт предназначены 32-байт тракты данных. Даже регистровый стек блока фиксированной точки рассчитан на загрузку или сохранение четырех 64-разрядных регистров за такт.

FPU размещается на отдельном кристалле и поддерживает стандарт IEEE для операций с плавающей точкой. Этот блок способен выдавать результат в каждом такте, обеспечивая очень высокую производительность команд с плавающей точкой для данного процессора. Четыре команды за такт передаются от кристалла PU на кристалл FPU по 16-байт Р-шине. Вся информация, хранящаяся в памяти, также пересылается из PU по Р-шине в кэш данных, откуда она выбираются для FPU со скоростью 32 байт/такт. Данные из FPU и PU пересылаются в кэш данных по 16-байт шине записи.

MSCU реализует кэш данных и интерфейс памяти. Все четыре кристалла совместно предоставляют 256-Кбайт кэш и интерфейсы к шинам данных (см. рис. 8.2.). При конвейерных обращениях к кэшу за один такт считывается 32 и сохраняется 16 байт данных. MSCU поддерживает многопроцессорные конфигурации, обеспечивая когерентность кэшей разных процессоров.

PU и FPU вместе насчитывают пять конвейеров, однако в каждом цикле может быть распределено только четыре команды:

перехода (включая операцию над содержимым регистре условия);

загрузки/сохранения;

арифметики с фиксированной точкой;

фиксированной точки для логических операций сдвига или циклического сдвига, или команда плавающей точки.

Команды плавающей точки исполняются в FPU, но не одновременно с выполняемыми в PU командами фиксированной точки для логических операций, сдвига или циклического сдвига. Конвейер загрузки/сохранения осуществляет выборку и запись данных как с фиксированной, так и с плавающей точкой. Наличие не скольких конвейеров позволяет выполнять фрагменты нескольких команд одновременно.

Вся описанная выше аппаратура составляет полностью 64 разрядный процессор, работающий с тактовыми частотами 125 и 154 МГц. Процессор АЗО также поддерживает общую память и симметричное мультипроцессирование (SMP). Первоначально поддерживаются конфигурации до четырех процессороз, но возможны и более крупные.

Являясь самым быстрым для своего времени RISС-процессором IВМ АЗО оптимизирован для нужд коммерческих вычислений. Иллюстрируют это положение следующие характеристики.

Комерческие системы и серверы должны обрабатывать огромные объемы информации. 16-байт (128-бит) и 32-байт (255 бит) шины позволяют этому процессору справляться с большими объемами данных и команд. Сравните это с типичными 8-байт (64-бит) шинами большинства высокопроизводительных RISC процессоров. Последние предназначены для использования в рабочих станциях, где обрабатываются гораздо меньшие объемы данных.

Даже в системе способной перемещать большие объемы данных кэш обычно является узким местом большинства RISC-процессоров. Для его ликвидации в АЗО предусмотрен 256-Кбайт кэш данных, работающий за один цикл. Производительность кэша здесь доходит до 4,9 Гбайт/с, а производительность шины - до 2,2 Гбайт/с. Это вдвое превосходит быстродействие других высокопроизводительных RISC-процессоров, предназначенных для технических расчетов.

Поскольку команда перехода может вызвать простои конвейера, современные RISC-процессоры подобно суперЭВМ, реализуют некоторую разновидность предсказания переходов. Для большинства RISC-процессоров точность предсказания переходов при выполнении технических задач составляет 80 - 90%. Эти высокие показатели достигаются благодаря тому, что в технических задачах большой объем циклической обработки, когда процессор несколько раз повторяет последовательность команд тела цикла. Для программ подобного типа функция предсказания переходов работает отлично. В программах для коммерческих задач циклов гораздо меньше и точность предсказания переходов здесь может быть ниже 50% (это соответствует точности случайного выбора). Поэтому, вместо того чтобы пытаться угадать место перехода, АЗО выбирает команды из обоих мест перехода и начинает выполнять их (так называемое спекулятивное выполнение -- speculative execution). Данный метод при наличии очень скоростного кэша (а он у АЗО есть) позволяет достичь, по сути, 100%-ной точности на задачах любого типа.

Еще один важный аспект коммерческих вычислений -- высокая степень целостности данных и высокий коэффициент готовности. АЗО реализует коды коррекции ошибок для всех связей за пределами кристаллов. Кроме того, большая часть логики управления и передачи данных на каждом кристалле также содержит различные схемы контроля. Сравните это с типичным RISC-процессором для рабочей станции, который редко имеет что-либо подобное этим возможностям определения и исправления ошибок.

9.5.2 Процессоры А10 (Cobra)

В процессорах А10, как и в АЗО, реализована расширенная 64-разрядная архитектура PowerPC. Кроме того, А10 являются суперскалярными, что позволяет использовать параллелизм на уровне команд. Функционально оба семейства процессоров исполняют один и тот же набор команд уровня приложений. Реализуемые ими необязательные команды несколько различны. Например, А10 предназначается для средних и младших моделей AS/400, поэтому команды, поддерживающие такие возможности, как мультипроцессирование, в него не включены.

Процессоры А10 разработаны в Эндикотте, штат Нью-Йорк. В настоящий момент имеется четыре модели процессоров Cobra. В системах RISC AS/400 используются Cobra-4 и Cobra-CR (CR -- cost reduced, т. е. цена снижена). Cobra-CR - это процессор Cobra-4, способный работать только на частоте 50 МГц - самой низкой частоте процессора Cobra-4.

Для тестирования нового программного обеспечения операционной системы команда проектировщиков в Эндикотте предложила специальный вариант под названием Cobra-0. Он используется только для тестирования и не устанавливается в AS/400 Небольшая группа из Рочестера разработала четвертую версию для системы Advanced 36, анонсированной в 1994 г. Она названа Cobra-Lite, поскольку в ней отсутствуют 17 обязательных команд PowerPC.

При разработке А10 ставилась задача объединить процессор и интерфейс памяти на одном кристалле (интерфейс шины ввода/вывода располагается на отдельном кристалле). Для достижения этого А10 использует технологию КМОП, а не БиКМОП. Точнее, в А10 применяется технология, названная IBM CMOS-45. В результате процессор рассеивает меньше тепла, чем АЗО, и может устанавливаться в корпусах меньшего размера с меньшими требованиями к охлаждению. Поэтому оригинальные корпуса, представленные для Advanced Series в 1994 г., оснащаются только процессорами А10.

Подобно АЗО, процессор А10 имеет пять конвейеров, но за один цикл может распределять не более трех команд:

перехода (включая команду регистра условия);

загрузки/сохранения;

арифметики с фиксированной точкой (включая логические команды, команды сдвига и циклического сдвига); или команду плавающей точки; или команду регистра условия.

Три конвейера (фиксированной точки, плавающей точки и команд регистра условия) совместно используют третий слот распределения.

Первые процессоры А10 работают на тактовых частотах 50 и 77 МГц, но их конструкция допускает и более высокие частоты. На частоте 77 МГц А10 показывает 231 MIPS. Для поддержания подобной скорости А10 имеет 4-Кбайт внутренний (на кристалле) кэш команд и 8-Кбайт (также внутренний) кэш данных. Эти кэши могут быть дополнены внешним (на отдельных микросхемах) кэшем в 1 Мбайт.

9.6 Машинный интерфейс AS/400 (MI)

Сравнивая с обычным машинным интерфейсом, мы часто говорим о нем как о машинном интерфейсе высокого уровня. Дело в том, что многие инструкции выполняют очень сложные функции, в то время как мало какие из существующих машинных интерфейсов располагают инструкциями вызова, поддерживающими и раннюю и позднюю компоновку. Для обычного интерфейса более характерна наличие инструкций передачи управления.

Чтобы понять разницу инструкцию обычного машинного интерфейса (рис. 9.3). Она состоит из кода операции (КОП) и одного или нескольких полей оперрандов. Инструкции могут быть арифметическими (в каждом компьютере есть инструкция сложения), передачи управления и манипуляции данными. Самое важное, с операндами какого рода имеют дело инструкции.

Обычные машинные интерфейсы работают с содержимым регистров, памяти или непосредственно с данными, записанными в самой инструкции. Иначе говоря, они не подозревают о существовании данных приложения или операционной системы. Возьмем такую стандартную инструкцию, как сложение содержимого регистров. Она определяет два регистра процессора и выполняет операцию, извлекая биты из одного регистра, складывая их с битами из другого регистра и размещая результат в определенном месте. Биты для инструкции значения не имеют. Об их значении заботится программа, но не инструкция. Машина не знает, что там лежит, - это просто набор битов, к которому применяется алгоритм сложения. То, что в регистрах находятся имена двух сотрудников и поэтому рассматривать их в качестве арифметических операндов нет смысла, не учитывается. Операции этого уровня представляет собой просто обработку содержимого регистров или памяти.

Мы уже говорили о недостатке такой структуры - ее существенной зависимости от аппаратной технологии. Так как инструкции работают в адресном пространстве, пространстве регистров ввода/вывода и пространстве регистров, они привязаны к этим физическим структурам. Их изменение может потребовать изменения инструкций. Значит, преобразование существующих программ связано с большими проблемами.

Машинный интерфейс AS/400 (рис. 9.4) устроен совсем иначе. У него, как и у обычных машин, имеется набор инструкций с кодами операций и операндами. Есть в нем также разные типы арифметических операций (команды сложения) и операций передачи управления, работающих с традиционными операндами. Отличается же он от обычной машины инструкциями, аналогичными промежуточному представлению, характерному для современных компиляторов языка высокого уровня, а также структурами данных (объектами).

Главное здесь не в самих инструкциях или операциях, а в использовании ими операндах. В обычной машине есть регистры, память и непосредственные данные. В MI тоже имеются непосредственные данные, но нет ни регистров, ни памяти. Их заменяют объекты.

В машинном интерфейсе МI определены объекты нескольких типов. Большинство из них - сложные структуры данных, необходимые для представления информационных ресурсов. Одним из самых важных типов объектов в системе служит пространство - просто набор байтов не относящийся к физическому оборудованию. Многие с трудом представляют себе, что значит масса подвешенных неизвестно где байтов, которую очень хочется связать с аппаратурой. Но в MI понятие пространства не имеет отношения к физической памяти - оно абсолютно не зависимо от того, что находится ниже.

Когда программе MI требуется память, она использует пространство. Это не концепция регистров и физической памяти и не адресное пространство в традиционном смысле. Например, компилятор AS/400 помещает в пространство созданный шаблон программы.

Кроме пространства, существуют и другие типы объектов. До сих пор мы обсуждали только системные объекты МI. Но объекты поддерживают и OS/400.

10. Принципы организации вычислительных систем

10.1 Классификация вычислительных систем

Создание вычислительных систем (ВС)--наиболее реальный путь разрешения противоречия между непрерывно растущими потребностями в быстродействующих и надежных средствах вычислений и пределом технических возможностей ЭВМ на данном этапе развития.

Вычислительная система представляет собой сложный комплекс, состоящий из разнообразных технических средств соответствующего программного обеспечения. Как технические, так и программные средства имеют модульную структуру построения, позволяющую наращивать ее в зависимости от назначения и условий эксплуатации системы. Программная автоматизация управления вычислительным процессом осуществляется с помощью ОС.

Первыми ВС были однопроцессорные мультипрограммные ЭВМ, высокая производительность которых была достигнута за счет распределения во времени основных устройств системы между программами.

Дальнейшее повышение производительноти ЭВМ было достигнуто за счет мультиобработки программ (задач), т. е. за счет разбиения программ на отдельные блоки и параллельной обработки этих блоков на нескольких обрабатывающих устройствах, входящих в состав ВС. Мультиобработка позволяет не только повысть производительность, но и сократить время выполнения отдельных программ, которые могут разбиваться на части и распределяться между различными обрабатывающими устройствами.

Первым типом ВС с мультиобработкой был многомашинный комплекс МК - многомашинная ВС. В состав МК объединялись различные ЭВМ с классической структурой, имеющие возможность обмениваться информацией.

На рис. 10.1 представлена структура двухмашинной ВС. Каждая ЭВМ имеет ОП, ВЗУ, ПфУ, подключаемые к центральной части ЭВМ - процессору (ПР) с помощью каналов ввода-вывода (КВВ), и работает под управлением своей ОС. Обмен информацией между ЭВМ1 и ЭВМ2 осуществляется через системные средства обмена (ССО) в результате взаимодействия ОС машин между собой.

Основной недостаток многомашинной ВС - недостаточно эффективно используется оборудование комплекса. Достаточно, в ВС в каждой ЭВМ выйти из строя по одному устройству (даже разных типов), как вся ВС становится неработоспособной.

Следующим шагом в направлении дальнейшего увеличения производительности ВС явилось создание многопроцессорных ВС с мультиобработкой, в составе которых содержится два или несколько процессоров (ПР), работающих с единой ОП, общий набор каналов ввода-вывода (КВВ) и ВЗУ (рис. 10.2). Наличие единой ОС делает возможным автоматическое распределение ресурсов системы на различных этапах ее работы. В результате достигается высокая «живучесть» ВС, позволяющая в случае отказа отдельных. модулей перераспределить нагрузку между работоспособными, обеспечив тем самым выполнение наиболее важных для ВС функций.

К недостаткам многопроцессорных ВС относят трудности, возникающие при реализации общего поля ОП, ВЗУ, а также при разработке специальной ОС.

Дальнейшее развитие идей мультиобработки привело к созданию крупных многопроцессорных систем высокой производительности, получивших назначение высокопараллельных ВС. Такие ВС в зависимости от ее структуры могут одновременно обрабатывать множественный поток данных или команд. Под потоком команд понимается последовательность команд, выполняемых ВС, а потоком данных - последовательность данных, обрабатываемых под управлением потока команд.

Высокопараллельные ВС структуры типа ОКМД (одиночный поток команд и множественный поток данных) получили название матричных ВС (рис. 10.3). Они содержат которое количество одинаковых сравнительно простых быстродействующих процессоров (ПР), соединенных друг с другом так, что образуется сетка (матрица), в узлах котрых размещаются ПР. Все НР выполняют одну и ту же команду, но над разными операндами, доставляемыми процессорам из памяти несколькими потоками данных.

Высокопараллельные ВС структуры типа МКОД (множественный поток команд и одиночный поток данных) получили название конвейерных. ВС. Такие ВС содержат цепочкку последовательно соединеных ПР, так что информация на выходе одного ПР является входной информацией для другого ПР. Каждый ПР обрабатывает соответствующую часть задачи, передавая результаты соседнему ПР, который использует их в качестве исходных данных.

Так, например, операция сложения чисел с плавающей запятой может быть разделена на 4 этапа: сравнение порядков; выравнивание порядков; сложение мантисс; нормализация результата. В конвейерной ВС все эти этапы вычислений будут выполняться отдельными процессорами, образующими конвейер.

Высокопараллельные ВС по сравнению с многопроцессорными ВС обеспечивают более высокую производительнсть, надежность, и "живучесть". Однако при этом усиливаются недостатки - усложение управление системой, трудность программирования и малая загрузка системы.

Первые два недостатка компенсируются благодаря применению БИС и специальных языков программирования. Третий недостаток приводит к тому, что большинство высокопараллельных ВС ориентируется на специализированное применение.

Реализация идей мультипрограммной работы потребовала пересмотра способов взаимодействия оператора с программой. Прежде всего возникла необходимость в большом количестве абонентских пунктов, позволяющих нескольким пользователям одновременно взаимодействовать с ЭМВ по своим программам. Часто такие пульты находятся на значительном расстоянии от ЭВМ и связаны с ней телефонными или телеграфными каналами. В качестве оконечных устройств (терминалов) обычно используют дисплеи. Такая связь ЭВМ со многими дистанционно расположенными пультами получила название мпогопультовой.

Многопультовый режим работы, обеспечивающий одновременный доступ к ЭВМ многих пользователей, вызвал соответствующую организацию их обслуживания. Обычно такое обслуживание осуществляется в режиме разделения времени между пользователями.

Вычислительная система с разделением времени последовательно и циклически опрашивает терминалы всех пользователей, записывает информацию обратившихся абонентов и обслуживает их в той же последовательности. Каждому пользователю (абоненту) выделяется определенный, строго ограниченный квант машинного времени (максимум доли секунд). В течение таких циклически повторяющихся квантов времени осуществляется выполнение каждой программы. В идеальном случае интервал времени между включениями в работу одной и той же программы не должен превышать обычное время реакции человека. Тогда программист, управляющий своей программой, не будет ощущать прерывистого характера ее выполнения и у него создается иллюзия индивидуального общения с ВС.

Вычислительные системы с разделением времени являются основой сети вычислительных центров коллективного пользования.

Чтобы удовлетворять предъявляемым требованиям к ВС, они должны иметь:

развитую ОС, обеспечивающую одновременное выполнение различных программ и организующую доступ пользователя к стандартным программам;

трансляторы с языков программирования, облегчающих работу программистов по подготовке программ;

средства, обеспечивающие динамическое распределение памяти между программами, а также свободное перемещение программ в процессе вычислений;

средства защиты памяти и программ от вмешательства других программ;

датчик времени (таймер), позволяющий в соответствии с запросами пользователей выделять им необходимое время для работы, по истечении которого ВС автоматически переключается на выполнение других программ;

как аппаратурные, так и программные средства с целью организации приоритетов для одновременно ждущих программ.

Многопроцессорные и многомашинные ВС классифицируют по различным признакам. Рассмотрим некоторые из них.

По назначению ВС делятся на универсальные и специализированные. Универсальные ВС предназначены для решения широкого круга задач, специализированные -- для решения определенного круга задач. Специализированные ВС, как правило, должны иметь аппаратурные и программные средства, предназначенные специально для этой системы.

По типу оборудования ВС подразделяются на однородные и неоднородные. Однородные системы содержат несколько однотипных ЭВМ (или процессоров), неоднородные - разнотипные ЭВМ (или процессоры). Основной недостаток однородных ВС - неполная загруженность отдельных ЭВМ (процессоров) во время ее работы. В целях повышения эффективности использования ЭВМ (процессоров) используются неоднородные ВС. Например, более производительная центральная ЭВМ системы выполняет обработку информации, а менее производительные ЭВМ1, ЭВМ2 и ЭВМ3 осуществляют ввод и вывод ннформации, ее предварительную. обработку и передачу в центральную ЭВМ. Коммутатор при передаче информации в центральную ЭВМ и выдаче из нее результатов настраивается на выбор соответствующей ЭВМ 2-го уровня.

Вычислительные системы с иерархической структурой могут иметь и более двух уровней иерархии. ЭВМ, выполняющие предварительную обработку информации, часто, называют машинами-сателлитами.

По типу структуры ВС разделяются с постоянной и переменной структурами. Под структурой ВС понимают состав системы и схемы функциональных и управляющих связей между ее элементами. В системах с постоянной структурой в процессе ее функционирования не изменяется состав функциональных и управляющих связей между ее элементами. Переменную структуру имеют адаптивные системы, т. е. такие, у которых структура изменяется на основе анализа текущей информации. Подобные системы позволяют достичь оптимального состояния в любых изменяющихся условиях функционирования.

По степени централизации управления ВС разделяются на централизованные, децентрализованные и со смешанным управлением.

В централизованных ВС все функции управления сосредоточены в одном элементе, в качестве которого используется одна из ЭВМ, называемая машиной-директором, или центральный процессор.

В децентрализованной ВС каждый процессор или ЭВМ действуют автономно, решая свои задачи.

В системе со смешанным управлением ВС разбивается на группы взаимодействующих ЭВМ (или процессоров), в каждой из которых осуществляется централизированное управление, а между группами - децентрализированное.

10.2 Многомашинные вычислительные системы

В настоящее время наиболее широко используют двухмашинные вычислительные комплексы, которые могут работать в одном из следующих режимов.

1. 100% - ное горячее резервирование. Обе ЭМВ в этом режиме исправны и работают параллельно,выполняя одни те же операпни над одной и той же информацей (дуплексный режим). После выполнения каждой команды результаты преобразования сравниваются и при их совпадении процесс вычислений продолжается. При этом в памяти обоих ЭВМ в каждый момент находится одна и та же информация. При обнаружении несовпадения в результатах обработки Неисправная ЭВМ выводится на ремонт, а исправная ЭВМ продолжает работать под контролем встроенной в ЭВМ системы автоматического контроля.

2. 0дна исправная ЭВМ решает задачи без дублирования, а другая ЭВМ находится в режиме «Профилактика», в котором осуществляется прогон контролирующих тестов. Если основная ЭВМ продолжает не в состоянии выполнить задачу, то резервная может прекратить "Профилактику" и начать работу параллельно с основной.

3. Обе ЭВМ работают в автономном режиме со своим набором ПфУ по автономным рабочим программам.

Задание режимов работы вычислительного комплекса возможно программным путем или с помощью команд прямого управления или с пульта управления комплекса.

По типу организации многомашинные ВК можно разделить на две группы: незвязанные и связанные.

Несвязанные ВК разрабатывались с целью разгрузить центральный процессор от выполнения операций по вводу-выводу данных извне. Они состоят из центральной и периферийной ЭВМ, между которыми нет прямого физического соединения и отсутствуют какие-либо совместно исполняемые аппаратные средства. Целесообразность их применения определяется тем, что операции ввода-вывода информации и вычисления совмещаются во времени. Небольшая и недорогая ЭВМ выполняет медленные операции ввода-вывода информации (считывание с перфокарт, печать и т. и.), а центральная ЭВМ -- высокоскоростные операции, обмениваясь в процессе вычислений с ВЗУ.


Подобные документы

  • Особенности, отличия, топология и функционирование локальных компьютерных сетей. Программное обеспечение информационно-вычислительных сетей. Основные протоколы передачи данных, их установка и настройка. Аутентификация и авторизация; система Kerberos.

    курсовая работа [67,7 K], добавлен 20.07.2015

  • Классификация вычислительных сетей. Функции локальных вычислительных сетей: распределение данных, информационных и технических ресурсов, программ, обмен сообщениями по электронной почте. Построение сети, адресация и маршрутизаторы, топология сетей.

    доклад [23,2 K], добавлен 09.11.2009

  • Классификация вычислительных сетей. Основные причины широкого распространения локальных вычислительных сетей. Топология вычислительной сети. Обоснование дифференциального и интегрального исчисления. Характеристика основных правил дифференцирования.

    контрольная работа [292,0 K], добавлен 21.12.2010

  • Понятие и назначение локальных вычислительных сетей (ЛВС), их классификация. Топология сетей: "звезда", "кольцо", "общая шина", "дерево", их достоинства и недостатки. Устройства межсетевого интерфейса и их назначение: мосты, маршрутизаторы, шлюзы.

    реферат [112,1 K], добавлен 23.12.2008

  • Топология компьютерных сетей. Методы доступа к несущей в компьютерных сетях. Среды передачи данных, их характеристики. Структурная модель OSI, её уровни. Протокол IP, принципы маршрутизации пакетов. Физическая топология сети. Определение класса подсети.

    контрольная работа [101,8 K], добавлен 14.01.2011

  • Компьютерные сети и их классификация. Аппаратные средства компьютерных сетей и топологии локальных сетей. Технологии и протоколы вычислительных сетей. Адресация компьютеров в сети и основные сетевые протоколы. Достоинства использования сетевых технологий.

    курсовая работа [108,9 K], добавлен 22.04.2012

  • Назначение локальных сетей как комплекса оборудования и программного обеспечения, их технические средства, топология. Организация передачи данных в сети. История развития глобальных сетей, появление Интернета. Программно-техническая организация Интернета.

    реферат [40,8 K], добавлен 22.06.2014

  • Эволюция вычислительных систем. Базовые понятия и основные характеристики сетей передачи информации. Задачи, виды и топология локальных компьютерных сетей. Модель взаимодействия открытых систем. Средства обеспечения защиты данных. Адресация в IP-сетях.

    лекция [349,0 K], добавлен 29.07.2012

  • Архитектура персональных компьютеров, классификация сетей (глобальные, региональные, локальные), методы доступа к передаче данных и протоколы. Динамические структуры данных; списки, их основные виды и способы реализации; технологии программирования.

    шпаргалка [584,9 K], добавлен 09.03.2010

  • Общие принципы построения вычислительных сетей, их иерархия, архитектура. Каналы связи и коммуникационное оборудование. Эталонная модель взаимодействия открытых систем OSI. Организация локальных и корпоративных сетей, топология и технические средства.

    реферат [569,4 K], добавлен 05.02.2009

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.