Аппаратные средства хранения больших объемов данных
Проблемы, возникающие при хранении больших объемов данных. Обзор основных носителей информации и оценка возможности применения каждого из них в цифровых хранилищах больших объемов данных с учетом надежности, скоростных характеристик и стоимости хранения.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | статья |
| Язык | русский |
| Дата добавления | 30.05.2017 |
| Размер файла | 55,3 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru
Аппаратные средства хранения больших объёмов данных
Р.В. Шарапов
Введение
Одной из важнейших проблем, возникающих при хранении больших объёмов данных, является рациональный выбор носителей информации. Среди них можно выделить: магнитную ленту, CD, DVD Blu-ray диски, накопители на жёстких магнитных дисках, накопители на флэш-памяти (твердотельные накопители). Каждый из этих носителей имеет свои особенности, преимущества и недостатки.
Цель исследования -- оценить возможности применения каждого вида носителей в цифровых хранилищах больших объёмов данных с учетом надёжности, скоростных характеристик и стоимости хранения.
объем носитель информация цифровой хранилище
Накопители на магнитной ленте
Накопители на магнитной ленте -- запоминающие устройства, основанные на принципе магнитной записи на ленточных носителях, осуществляющие последовательный доступ к данным.
Магнитная лента -- один из старейших носителей информации, применяемых в компьютерной технике. Основная область применения -- долговременное хранение резервных копий и больших архивов информации.
Основные достоинства накопителей на магнитной ленте (стримеров): низкая стоимость данных, способность хранить большие объёмы данных, высокая стабильность работы, надёжность, неприхотливость к условиям хранения носителей, невысокое потребление энергии. К недостаткам стоит отнести низкую скорость доступа к произвольным данным и высокую стоимость накопителей.
В настоящее время для построения накопителей на магнитных лентах используются несколько стандартов. Один из них -- стандарт LTO (Linear Tape-Open), разработанный в 1998 году компаниями IBM, Hewlett-Packard и Seagate Technology. Для записи данных в стандарте LTO используется формат Ultrium, оптимизированный под наиболее производительную запись данных. В современных накопителях используется LTO пятого поколения (получивший название LTO-5). LTO-5 позволяет записывать на 1 картридж до 1,5 Тб данных (3 Тб при использовании аппаратного сжатия). Картриджи LTO обеспечивают срок хранения от 15 до 30 лет, поддерживают около 260 полных записей ленты и около 5000 загрузок/выгрузок в накопитель. Скорость доступа к данным в LTO-5 достигает 180 Мб/с. Применение интерфейса SAS позволяет передавать информацию со скоростью 3 или 6 Гбит/с. При стоимости картриджа ёмкостью 1,5 Тб (3 Тб в сжатом виде) в 50$, хранение 1 Гб информации обходится в 0,033 $ (без учета стоимости оборудования, техобслуживания и расхода электроэнергии).
Компания IBM использует для производства ленточных накопителей свой закрытый стандарт IBM 3592 [1]. Стандарт ориентирован не только на резервное копирование больших объёмов данных, но и на быстрый произвольный доступ к данным. В стандарте IBM 3592 используется оптимизация производительности в старт-стопном режиме записи за счёт кэширования данных и многоскоростного движения ленты (до 7 скоростей). Накопители, построенные на основе стандарта, позволяют работать с картриджами ёмкостью в 4 Тб несжатых данных и обеспечивают скорость передачи до 250 Мб/с. При стоимости картриджа в 240$ хранение 1 Гб информации обходится в 0,06 $.
На базе накопителей на магнитной ленте строятся так называемые ленточные библиотеки [2]. Такие системы могут использовать сотни, а иногда и тысячи картриджей, автоматически загружаемых в устройства чтения/записи с помощью роботов (называемых автозагрузчиками). Картриджи снабжаются специальными штрих-кодами, по которым их и идентифицирует робот. Ленточные библиотеки могут работать сразу с несколькими накопителями, что ускоряет процесс работы с магнитными лентами. По сравнению с другими системами, ленточные библиотеки способны хранить огромные массивы данных с наименьшими затратами. По исследованиям аналитиков, при объёме данных в несколько петабайт, их хранение с использованием ленточных библиотек обходится в 23 раза дешевле, чем при использовании дисковых массивов. Потребление электроэнергии ленточных библиотек при этом меньше в 290 раз [3]!
Одна из последних разработок компании Oracle StorageTek SL8500 Modular Library System способна использовать до 100000 картриджей и хранить до 1эксабайта (1000 петабайт) данных (при использовании аппаратного сжатия). Эта ленточная библиотека может включать в себя до 640 устройств чтения/записи.
Таким образом, ленточные накопители могут с успехом использоваться для хранения архивных копий данных [4]. Ленточные библиотеки являются неплохими кандидатами для использования в многоуровневых цифровых хранилищах в качестве нижнего уровня (обеспечивающего долговременное хранение больших массивов данных и не критичного к скорости доступа).
Оптические накопители
Компакт-диск (Compact Disc, CD) -- оптический носитель информации в виде пластикового диска с отверстием в центре, процесс записи и считывания информации которого осуществляется при помощи лазера.
Компакт-диски имеют ёмкость 650 или 700 Мб. Единица скорости чтения/записи CD (1x) равна 150 Кб/с. При скорости 52х накопитель CD обеспечивает скорость передачи информации в 7,62 Мб/с. При использовании бюджетных дисков за 0,17$ стоимость хранения 1 Гб составляет 0,24$. Стоимость хранения на перезаписываемых дисках несколько выше: при цене в 0,6$ за диск, хранение 1 Гб информации будет стоить в 0,8$.
К сожалению, ёмкость CD в настоящее время недостаточна для хранения более или менее больших объёмов информации.
DVD (Digital Versatile Disc -- цифровой многоцелевой диск) -- носитель информации, выполненный в форме диска с размерами компакт-диска, имеющий более плотную структуру рабочей поверхности, позволяющую хранить больший объём информации. DVD накопители позволяют обеспечивать произвольный доступ к данным.
Единица скорости чтения/записи DVD (1x) равна 1,32 Мб/с. При скорости 16х накопитель DVD обеспечивает скорость передачи информации в 21,12 Мб/с, а при скорости 24х -- 31,7 Мб/c. При использовании бюджетных дисков за 0,30$ стоимость хранения 1 Гб составляет 0,063$.
Существуют так называемые DVD библиотеки, позволяющие работать с тысячами дисков, автоматически загружаемых в накопители (аналогично ленточным библиотекам). Общий объём данных, хранимых подобными библиотеками может достигать нескольких десятков терабайт. Например, DVD библиотека Kubota SA 2154-4 позволяет работать с 2154 дисками, автоматически загружаемыми в 4 накопителя. К сожалению, в современной ситуации такие объёмы являются недостаточными, и рассматривать вопросы применение DVD библиотек в современных цифровых хранилищах данных не следует. Производительность подобных систем также достаточно невелика и прямо пропорциональна числу используемых накопителей.
Blu-ray Disc (BD) -- новый формат оптических носителей, используемый для записи данных с повышенной плотностью. Blu-ray использует диски того же размера, что и CD/DVD. В дисках Blu-ray может использоваться несколько слоёв для хранения информации (известны прототипы с несколькими десятками слоёв). Фактически получили распространение однослойные диски ёмкостью 25 Гб, двухслойные диски ёмкостью 50 Гб, трехслойные ёмкостью 100 Гб и четырехслойные ёмкостью 128 Гб. Единица скорости чтения/записи Blu-ray (1x) равна 4,5 Мб/с. При скорости 12х накопитель Blu-ray обеспечивает скорость передачи информации в 54 Мб/c.
При цене 2$ за Blu-ray диск ёмкостью в 25 Гб, стоимость хранения 1 Гб информации (без учета стоимости оборудования) составляет около 0,08$. При использовании дисков емкостью 50 Гб с ценой в 7$, стоимость хранения 1 Гб составляет 0,14$.
В настоящее время в продажу стали поступать Blu-ray библиотеки. Они позволяют работать с сотнями Blu-ray дисков ёмкостью до 128 Гб, автоматически загружаемых в накопители с помощью робота. Аппаратно они похожи на DVD библиотеки с замененными на Blu-ray накопителями и носителями информации. Часто Blu-ray библиотеки позволяют одновременно работать не только с Blu-ray дисками разной ёмкости, но и с CD и DVD носителями.
Одна из таких библиотек, DISC/NSM BD-7000 Blu-ray Library, позволяет хранить до 690 дисков различного типа, использовать одновременно до 14 накопителей. Суммарный объём хранимых данных может достигать 69 Тб (при использовании Blu-ray дисков ёмкостью 100 Гб). Blu-ray библиотеки могут служить неплохой альтернативой ленточным библиотекам в организациях, оперирующих данными в несколько десятков терабайт.
Дисковые накопители
Накопитель на жёстких магнитных дисках (Hard Disk Drive, HDD) -- устройство хранения информации, основанное на принципе магнитной записи. Благодаря своей надёжности и высокой скорости работы, накопители на жёстких дисках стали основными устройствами хранения информации в компьютерах.
К достоинствам накопителей на жёстких магнитных дисках относятся: высокая скорость доступа к данным, большая ёмкость носителей, небольшая удельная стоимость хранения информации.
К недостаткам накопителей на жёстких магнитных дисках можно отнести: чувствительность к механическим воздействиям, перегрев носителей, достаточно высокое энергопотребление, снижение производительности по мере использования накопителей вследствие дефрагментации данных.
При стоимости бюджетного накопителя на жёстких магнитных дисках ёмкостью 2 Тб в 110$, стоимость хранения 1 Гб информации составляет 0,055$ (без учета стоимости дополнительного оборудования и расходов на электроэнергию). Стоимость серверных накопителей несколько выше. Так Hitachi Ultrastar 15K600 ёмкостью в 600 Гб, имеющий интерфейс SAS 2.0 и скорость вращения шпинделя 15000 оборотов в минуту, стоит 300$. Стоимость хранения 1 Гб информации при этом составляет 0,5$.
Накопители на жёстких магнитных дисках используются в различных видах систем хранения информации: RAID массивах, сетевых системах хранения данных, сетях хранения данных.
В многоуровневых цифровых хранилищах накопители на жёстких магнитных дисках могут использоваться на различных уровнях [5]: от самых верхних (быстрых) до нижних (архивных), в зависимости от конкретных задач.
Твердотельный накопитель (SSD, solid-state drive) -- запоминающее устройство с функциями жёсткого диска, не содержащее движущихся элементов. В качестве запоминающих устройств в таких накопителях чаще всего используется энергонезависимая флэш-память (существуют накопители на основе энергозависимой памяти).
К достоинствам твердотельных накопителей относятся: высокая скорость доступа к данным, нечувствительность к механическим воздействиям (вследствие отсутствия движущихся частей), малое потребление энергии, бесшумная работа, высокая стабильность работы даже при большой дефрагментации данных, широкий диапазон рабочих температур.
Недостатками твердотельных накопителей являются: ограниченное число циклов перезаписи информации (десятки тысяч циклов), высокая стоимость хранения информации, небольшая ёмкость по сравнению с накопителями на жёстких магнитных дисках.
Время доступа к данным в твердотельных накопителях составляет около 0,1 мс, что существенно ниже аналогичных показателей накопителей на жёстких магнитных дисках.
При стоимости бюджетного SSD накопителя ёмкостью 480 Гб в 410$, стоимость хранения 1 Гб информации составляет 0,854$. В связи с тем, что твердотельные накопители являются достаточно новой ветвью в хранении данных, можно ожидать совершенствования технологии и постепенного снижения стоимости подобных устройств.
Несмотря на высокую стоимость, твердотельные накопители можно использовать для хранения часто запрашиваемых данных, критичных ко времени доступа. В многоуровневых цифровых хранилищах твердотельные накопители лучше всего подходят для организации самого верхнего уровня, отвечающего за оперативный доступ к актуальным данным [6].
Выводы
Анализ показал, что существующие на сегодняшний день носители существенно отличаются друг от друга, как по стоимости хранения информации, так и по времени доступа к ней (см. таблицу 1).
Таблица № 1
Сравнение носителей информации
|
Носитель |
Стоимость хранения 1 Гб |
Скорость передачи данных |
|
|
Магнитная лента LTO-5 |
0,033$ |
180 Мб/с |
|
|
Магнитная лента IBM 3592 |
0,06$ |
250 Мб/с |
|
|
CD-R |
0,24$ |
7,62 Мб/с |
|
|
DVD-R |
0,063$ |
31,7 Мб/c |
|
|
Blu-ray |
0,08$ |
54 Мб/c |
|
|
HDD |
0,055$ |
200 Мб/c* |
|
|
SSD |
0,854$ |
1000 Мб/c* |
* Ориентировочная достигаемая скорость передачи данных
По итогам анализа можно предложить следующие варианты использования носителей информации по уровням хранения в цифровых хранилищах (см. рис. 1):
? Твердотельные накопители могут применяться на самом верхнем уровне хранения в случае необходимости обеспечения сверхбыстрого доступа к оперативным данным.
? Накопители на жёстких магнитных дисках могут использоваться как основные носители для хранения оперативных данных. В зависимости от конкретных задач они могут образовывать несколько подуровней: современные быстрые накопители со скоростными интерфейсами SAS, SCSI и Fibre Channel; бюджетные накопители с интерфейсами SATA и ATA; устаревшие накопители.
? DVD и Blu-ray библиотеки могут образовывать нижний уровень для архивного хранения данных средних объёмов (десятки терабайт).
? Ленточные библиотеки могут использоваться в качестве нижнего уровня для хранения сверхбольших объёмов данных (сотни терабайт и более).
Рис. 1 - Применение носителей информации на различных уровнях.
Можно заметить, что по мере перехода от верхних уровней к нижним, скорость доступа к хранимым данным снижается, а объёмы данных растут. Стоимость хранения также снижается, достигая 0,03$ на нижнем уровне.
Литература:
1. Kadleck B., Coutts C. IBM TotalStorage Enterprise Tape 3592: Presentation Guide (February 2004) [Текст]. -- 26 p.
2. Osuna A., Sharma R., Silvestri M., Wiedemann S. IBM System Storage Tape Library Guide for Open Systems. Eighth Edition (June 2011) SG24-5946-07 [Текст] -- Vervante, 2011. -- 566 p.
3. Reine D., Kahn M. Disk and Tape Square Off Again -- Tape Remains King of the Hill with LTO-4 [Текст] // Clipper Notes, Report #TCG2008009LL, 13.02.2008. -- 13 p.
4. Шарапов Р.В. Вопросы применения ленточных библиотек в многоуровневых системах хранения экологических данных [Текст] // Машиностроение и безопасность жизнедеятельности, 2011. -- № 2. -- С.33-36.
5. Шарапов Р.В. Аппаратные средства организации верхнего уровня оперативного хранения часто используемых экологических данных в многоуровневых системах хранения [Текст] // Машиностроение и безопасность жизнедеятельности, 2011. -- № 3. -- С.28-33.
6. Шарапов Р.В. Некоторые вопросы использования многоуровневых систем хранения изображений в задачах мониторинга окружающей среды [Текст] // Современные наукоемкие технологии, 2011. -- № 2. -- С. 50-52.
Размещено на Allbest.ru
Подобные документы
Метод анализа иерархий. Система для хранения больших объемов информации является база данных. База данных в наибольшей степени удовлетворяет всем выделенным критериям. Она обеспечивает быстрый поиск нужной информации (оперативность).
контрольная работа [326,9 K], добавлен 10.06.2004Базы данных как совокупность структур, предназначенных для хранения больших объемов информации и программных модулей. Основные особенности создания базы данных автобусного парка, анализ этапов проектирования. PHP как скриптовый язык программирования.
курсовая работа [1,9 M], добавлен 04.04.2013Базы данных как совокупность структур, предназначенных для хранения больших объемов информации и программных модулей. Анализ способов создания базы данных для учета книг личной библиотеки, особенности использования языка программирования C++Builder.
курсовая работа [8,1 M], добавлен 10.01.2014Система управление базами данных, реляционная модель. Принципы взаимодействия между клиентскими и серверными частями. Трехуровневая модель технологии "клиент-сервер". Фрактальные методы сжатия больших объемов данных. Анализ концепции хранилища данных.
курс лекций [265,0 K], добавлен 05.06.2009Разработка программного продукта, позволяющего автоматизировать деятельность предприятия. Автоматизация ввода и обработки больших объемов информации. Формирование выходной документации. Установка системы и порядок работы с дистрибутивом. Обзор алгоритма.
курсовая работа [3,6 M], добавлен 18.02.2013Проблемы, связанные с продуктивным распределением и систематизированием больших потоков информации. Основные виды распределенных баз данных, анализ процессов их функционирования. Стратегии распределения данных. Распределение сетевого справочника данных.
курсовая работа [397,5 K], добавлен 09.08.2015Этапы статистического анализа данных, приемы и методы его проведения. Ключевые положения закона больших чисел в теории вероятностей, его общий смысл. Теорема Бернулли - простейшая форма закона больших чисел. Количество данных, способы его измерения.
реферат [112,3 K], добавлен 03.03.2014Виды носителей, которые используются для выбора технологии хранения резервных копий и данных. Восстановление данных на чистом компьютере. Разновидности программ резервного копирования. Обзор и назначение программы Paragon Drive backup Workstation.
курсовая работа [4,8 M], добавлен 26.01.2013Информатизация общества. Внедрение методов сбора, передачи и хранения больших объемов информации на базе средств микропроцессорной и вычислительной техники. Секрет популярности профессии оператора ЭВМ. Описания профессиональной деятельности выпускников.
презентация [426,3 K], добавлен 28.02.2013Создание средств накопления больших объемов информации на машинных носителях. Системы управления базами данных. Создание компьютерной техники и программного обеспечения. Структурированные взаимосвязанные данные и их хранение. Приложения Visual FoxPro.
курсовая работа [609,7 K], добавлен 12.05.2009
