Современные системы хранения данных

Размещено на http://www.allbest.ru/

2

Введение

Информационная технология тесно связана с информационными системами, которые являются для нее основной средой. На первый взгляд может показаться, что определения информационной технологии и системы очень похожи между собой.

Информационная технология является процессом, состоящим из четко регламентированных правил выполнения операций, действий, этапов разной степени сложности над данными, хранящимися в компьютерах. Основная цель информационной технологии в результате целенаправленных действий по переработке первичной информации получить необходимую для пользователя информацию.

Информационная система представляет собой человеко-компьютерную систему обработки информации. Информационная система является средой, составляющими элементами которой является компьютеры, компьютерные сети, программные продукты, базы данных, люди, различного рода технические и программные средства, связи и т.д. Основная цель информационной системы - организация хранения и передачи информации.

Реализация функций информационной системы невозможна без знания ориентированной на нее информационной технологии, Информационная технология может существовать и вне сферы информационной системы.

Пример. Информационная технология работы в среде текстового процессора Microsoft Word, который не является информационной системой.

Таким образом, информационная технология является более емким понятием, отражающим современное представление о процессах преобразования информации в информационном обществе. В умелом сочетании двух информационных технологий - управленческой и компьютерной - залог успешной работы информационной системы.

Обобщая все вышесказанное, введем несколько более узкие определения информационной системы и технологии, реализованные средствами компьютерной техники.

Информационная технология - совокупность четко определенных целенаправленных действий персонала по переработке информации на компьютере.

Информационная система - человеко-компьютерная система для поддержки принятия решений и производства информационных продуктов, использующая компьютерную информационную технологию.

Информационный процесс обмена предполагает обмен данными между процессами информационной технологии.

Передача информации осуществляется различными способами: с помощью курьера, пересылка по почте, доставка транспортными средствами, дистанционная передача по каналам связи, с помощью других средств коммуникаций.

При дистанционной передаче по каналам связи (рис. 3.3) можно выделить два основных типа процедур. Это процедуры передачи данных по каналам связи и сетевые процедуры, позволяющие осуществить организацию вычислительной сети. Процедуры передачи данных реализуются с помощью операции кодирования - декодирования, модуляции - демодуляции, согласования и усиления сигналов. Процедуры организации сети включают в себя в качестве основных операции по коммутации и маршрутизации потоков данных (трафика) в вычислительной сети. Процесс обмена позволяет, с одной стороны, передавать данные между источником и получателем информации, а с другой - объединять информацию многих ее источников.

Дистанционная передача по каналам связи сокращает время передачи данных, однако, для ее осуществления необходимы специальные технические средства, что удорожает процесс передачи. Предпочтительным является использование технических средств сбора и регистрации, которые, собирая автоматически информацию с установленных на рабочих местах датчиков, передают ее в ЭВМ для последующей обработки, что повышает ее достоверность и снижает трудоемкость.

Дистанционно может передаваться как первичная информация с мест ее возникновения, так и результатная в обратном направлении. В этом случае результатная информация фиксируется различными устройствами: дисплеями, табло, печатающими устройствами. Поступление информации по каналам связи в центр обработки в основном осуществляется двумя способами: на машинном носителе или непосредственно вводом в ЭВМ при помощи специальных программных и аппаратных средств. Дистанционная передача информации с помощью современных коммуникационных средств постоянно развивается и совершенствуется. Особое значение этот способ передачи информации имеет в многоуровневых межотраслевых системах, где применение дистанционной передачи значительно ускоряет прохождение информации с одного уровня управления на другой и сокращает общее время обработки данных.

Модель обмена данными включает в себя формальное описание процедур, выполняемых в вычислительной сети: передачи, маршрутизации, коммутации. Именно эти процедуры и составляют информационный процесс обмена. Для качественной работы сети необходимы формальные соглашения между ее пользователями, что реализуется в виде протоколов сетевого обмена. В свою очередь, передача данных основывается на моделях кодирования, модуляции, каналов связи. На основе моделей обмена производится синтез системы обмена данными, при котором оптимизируются топология и структура вычислительной сети, метод коммутации, протоколы и процедуры доступа, адресации и маршрутизации.

В подсистему обмена данными входят комплексы программ и устройств, позволяющих реализовать вычислительную сеть и осуществить по ней передачу и прием сообщений с необходимыми скоростью и качеством.

Физическими компонентами подсистемы обмена служат устройства приема - передачи (модемы, усилители, коммутаторы, кабели, специальные вычислительные комплексы, осуществляющие коммутацию, маршрутизацию и Доступ к сетям). Программными компонентами подсистемы являются программы сетевого обмена, реализующие сетевые протоколы, кодирование - декодирование сообщений и др.

1. Основные параметры систем хранения

1.1 Надежность

Системы хранения предполагают круглосуточный режим работы и практически стопроцентную готовность предоставить хранимые на них данные.

При этом требования по надежности и устойчивости к единичным отказам предъявляются и к модулям системы, отвечающим за интерфейсам с потребителями, и к модулям, непосредственно хранящим данные. Основными способами повышения надежности в современных системах являются:

· параллельная многопроцессорная архитектура с не менее чем двойным резервированием всех компонентов на аппаратном уровне без единой точки отказа, обеспечивающая максимальную доступность и минимальный ущерб при любых отказах и сбоях; применение встроенных систем защиты от перебоев электропитания, обеспечивающих сохранение данных в кэш-памяти или на дисках;

· использование дисков горячей замены;

· встроенные подсистемы мониторинга сбоев или предсбойных ситуации;

· коммутируемое подключение дисков, обеспечивающее полную изоляцию отказа или сбоя;

· физическое разделение памяти и путей для данных и служебной информации;

· защита данных по технологии RAID6, обеспечивающая сохранность данных при выходе из строя двух дисков в группе.

1.2 Масштабируемость

Масштабируемость - одно из важнейших свойств современных систем хранения. Именно оно обеспечивает сохранение инвестиции? в базовую конфигурацию СХД и определяет подготовленность инфраструктуры хранения к росту объемов информации.

Широчайшие возможности по масштабируемости современных СХД позволяют заказчику подобрать оптимальную конфигурацию для решения своих задач на начальном этапе и в перспективе. Как правило, масштабируемость определяется: количеством конструктивно устанавливаемых дисков, определяющих общую вместимость системы; возможностью поддержки дисков FC (или SAS) и SATA различной емкости в одной системе, что позволяет оптимизировать стоимость хранилища; возможностью установки дополнительных портов; возможностью наращивания кэш-памяти, что увеличивает производительность системы.

1.3 Производительность

Производительность системы хранения определяет и количество серверов, которые смогут одновременно использовать ее ресурсы, и скорость передачи данных между СХД и потребителем. Производительность СХД обуславливается как архитектурными особенностями, так и сбалансированным подбором численных характеристик всех компонентов, основными среди которых являются:

· количество операции ввода-вывода в секунду при работе с кэш-памятью;

· эффективная пропускная способность внутренних шин; объем кэш-памяти и количество одновременных операции;

· применение накопителей SSD (Solid State Drive).

1.4 Функциональность

Богатое функциональное наполнение современных систем хранения в сочетании с высокой производительностью, надежностью и масштабируемостью является существенным фактором, определяющим выбор СХД для конкретного применения. К наиболее важным и интересным функциям, все чаще встречающимся в СХД, можно отнести:

· виртуализацию ресурсов СХД на всех уровнях (от дисков до портов);

· виртуализацию подключенных внешних хранилищ; возможность создания виртуальных хранилищ на базе одной системы для обеспечения гарантированного качества обслуживания приложении (QoS); выделение виртуальной емкости (Thin Provisioning) для повышения общей утилизации ресурсов; наличие инструментария для создания локальных копии и мгновенных снимков данных с поддержкой широкого спектра приложении;

· наличие инструментов для удалённой репликации данных как в синхронном, так и в асинхронном режимах;

· поддержку топологии репликации для более чем двух точек;

· поддержку групп целостности при удалённой репликации.

Естественно, что системы хранения разного класса обладают разной функциональностью, но одна из самых заметных тенденции настоящего времени состоит в оснащении систем даже начального уровня богатым инструментарием для работы с данными (копирование, реплицирование) без участия серверов.

2. Подходы к хранению данных

2.1 Многоуровневое хранение

Современная тенденция к сокращению расходов на ИТ-инфраструктуру приводит к необходимости четкого баланса между выделяемыми ресурсами СХД и ценностью данных, которые на них хранятся в данный момент времени. Ответом на это требование стала концепция многоуровневого хранения, согласно которой каждому типу данных или приложению выделяются ресурсы с соответствующими характеристиками быстродействия, доступности и функциональности, а соответственно, и стоимости.

Некоторые модели СХД поддерживают установку широкого круга носителей (включая диски Fibre Channel различных емкостей и скорости вращения, экономичные диски SATA большой емкости) и подключение внешних систем хранения данных.

В сочетании с широким выбором уровней аппаратной защиты (RAID10, RAID5, RAID6) и возможностью разделения системы на виртуальные СХД такие системы являются идеальной платформой для построения многоуровневого хранилища.

Приведем пример разделения приложении? и их данных на уровни и реализации этих уровней с помощью СХД Hitachi Data Systems USP V.

Требования: максимальная производительность и минимальное время отклика.

Системы хранения данных

Приложения: временные таблицы транзакционных баз, сверхкритичные приложения.

Характеристики: внутренние диски Flash, RAID5, отдельная виртуальная СХД с гарантированными ресурсами.

Требования: максимальная производительность и надежность.

Приложения: базы данных ERP-системы, биллинговые приложения.

Характеристики: внутренние диски FC 146 GB 15K, RAID10, отдельная виртуальная СХД с гарантированными ресурсами.

Требования: высокая производительность и надежность.

Приложения: почтовая система, бизнес-приложения, аналитика.

Характеристики: внутренние диски FC 300GB 10K, RAID5, отдельная виртуальная СХД.

Требования: средняя производительность и надежность.

Приложения: инфраструктурные службы, файловое хранилище.

Характеристики: внешнее хранилище FC, RAID5.

Уровень 4

Требования: on-line-доступность, сохранность данных.

Приложения: резервное копирование, электронный архив.

Характеристики: внешнее хранилище SATA, RAID6.

Помимо разделения хранилища на уровни остается проблема управления циклом жизни данных. Так, данные, имеющие критическую важность сегодня, уже через год могут в значительной степени потерять свою актуальность и, соответственно, снизить требования к ресурсам.

Система HDS USP V имеет полный набор инструментов для бесперебоиного перемещения данных между уровнями хранения как в ручном режиме, так и на основе установленных администратором политик.

2.2 Виртуализация хранилищ

Все системы хранения уровня high-end обладают возможностью подключения внешних систем хранения данных различных поколении? и производителей и дальнейшего представления их полезной емкости приложениям как собственной. Такой функционал позволяет повысить экономическую отдачу от приобретённой СХД, благодаря следующим архитектурным возможностям:

· централизация управления емкостью инфраструктуры хранения и выделение этой емкости приложениям независимо от ее физического расположения. Так, администратор получает возможность выбирать емкость с необходимыми характеристиками из единого пула и распределять ее в четком соответствии с текущими и будущими задачами;

· единая точка лицензирования программных продуктов. Вся виртуализованная емкость единой системы хранения воспринимается системой как внутренняя емкость. При этом, для включения внешней емкости в работу необходимо лишь приобретение лицензии на полезный объем, стоимость которой значительно ниже, чем аналогичной лицензии на внутреннюю емкость. Все лицензированные операции, доступные для внутреннего хранилища, могут быть использованы и для внешних систем (в том числе на внешние системы могут распространяться функции, самостоятельно ими не поддерживаемые, например различные типы репликации, thin provisioning, подключение к мэинфреим-системам и т.п.). Собственных лицензии на внешние системы не требуется;

· построение иерархического хранилища, охватывающего множество физических систем хранения данных. Виртуализовав различные системы хранения с различными параметрами емкости, заказчик получает возможность создания многоуровневой схемы хранения с максимальным соответствием характеристик стоимости, производительности и надежности хранения требованиям бизнес-задач и приложении. При изменении тех или иных требовании приложении данные можно бесперебоино переносить между уровнями хранения (как в ручном, так и в автоматическом режиме) на основе установленных политик, обеспечивая тем самым управление циклом жизни данных; обеспечение гетерогенной репликации. В силу того что виртуализованная емкость воспринимается системой как собственная, подключение внешних систем позволяет обеспечить непрерывную репликацию данных между СХД различных производителей (например, EMC V-Max и IBM DS8000), что невозможно с использованием штатных средств этих систем.

Схема виртуализации внешних систем хранения на базе, например, СХД HDS USP V не требует эксклюзивного использования всей их емкости. Таким образом, часть приложении? может работать с ресурсами различных СХД напрямую, а оставшаяся емкость этих систем может быть виртуализована для повышения утилизации или расширения функционала. Системы USP V также поддерживают различные опции виртуализации внешних СХД, в частности, с применением кэш-памяти системы USP V или без такового, в зависимости от требовании к производительности.

Основные тенденции развития СХД

2.3 Внутренняя репликация

Возможности по созданию локальных копии данных внутри системы хранения и без использования ресурсов серверов являются критическими для защиты данных приложении. Сегодня отчетливо различаются две технологии создания внутренних копии данных:

· клонирование, или создание полных физических копии? данных посредством копирования;

· мгновенные снимки (snapshots), или создание виртуальных томов, отражающих состояние продуктивного тома на конкретный момент времени.

Клоны данных требуют того же объема, что и продуктивный том, а их создание растянуто во времени на период начального копирования. Однако преимуществом клонов является полная независимость от тома родителя. Таким образом, с клоном можно выполнять любые операции без ущерба для производительности приложения, использующего продуктивные данные.

Мгновенные снимки создаются мгновенно и на момент создания вообще не занимают места в хранилище. По мере накопления изменений на продуктивном томе растут и все соответствующие снимки. При этом snapshot использует данные с продуктивного тома и из так называемого “пула”, где сохраняются изменения. Основным недостатком мгновенных снимков является их зависимость от продуктивного тома, а значит, и то, что любая нагрузка на снимок будет влиять на производительность основного тома.

2.4 Внешняя репликация

Внешняя (или удаленная) репликация данных средствами СХД позволяет предприятиям решать задачу защиты данных и непрерывности бизнеса даже в случае выхода из строя одной из СХД или центра обработки данных в целом.

Различаются два вида удаленной репликации: синхронная и асинхронная.

При использовании синхронной репликации любая запись передается на удаленную систему немедленно по появлении, а приложение получает подтверждение записи только после того, как она записана на удаленную систему.

Преимуществом синхронной репликации является гарантированная сохранность данных, то есть тома на локальной и удаленной системах являются полными копиями в каждый момент времени. Недостаток - повышенные требования к пропускной способности канала передачи данных между системами и ограничение по расстоянию репликации, обусловленное задержками на передачу сигнала и не превышающее около 40 км.

В случаях, когда расстояние или имеющийся в наличии канал передачи данных не позволяют использовать синхронную репликацию, применяется асинхронная репликация. При ее использовании приложение получает подтверждение записи мгновенно, а передача на удаленную систему происходит по мере возможности.

Преимуществами асинхронной репликации являются снижение требовании к каналу передачи данных и отсутствие ограничении по расстоянию. Основной недостаток заключается в отставании удаленной копии во времени от локальной, а значит, потеря части данных при сбое на основной СХД.

Поддержка SSD- (Solid State Drive) или Flash-дисков является важным фактором при выборе высокопроизводительной системы хранения данных. Применение подобного рода дисков позволяет обеспечить достаточный уровень производительности для самых требовательных задач. Как правило, SSD-диски применяются в системах хранения уровня high-end и инсталлируются в те же слоты, что и стандартные диски системы, при этом возможно одновременное использование как SSD-дисков, так и стандартных SAS-, FC- или SATA-дисков в одной системе. Использование SSD-дисков с точки зрения управления и дополнительных программных опции? ничем не отличается от использования стандартных дисков.

2.5 Кэш-память

Кэш-память в современных массивах является одним из наиболее критичных компонентов и выполняет роль, аналогичную роли оперативной памяти в серверах, - предоставляет максимально быстрый доступ к данным. Через кэш-память системы происходит весь ввод-вывод информации от серверов. При этом современные массивы используют ряд алгоритмов, позволяющих повысить эффективность использования кэш-памяти, в том числе за счет применения отложенной записи (destage) на диски и предсказательного чтения (prefetch) с дисков.

Для защиты от потери данных в кэш-памяти, которые еще не были сохранены на диск, в случае сбоя. Системы хранения данных используются механизмы зеркалирования содержимого кэш-памяти между контроллерами, а также техники сохранения данных при отключении питания (питание кэш-памяти от батареи).

Хранение и накопление информации вызвано многократным ее использованием, применением условно-постоянной, справочной и других видов информации, необходимостью комплектации первичных данных до их обработки.

Назначение технологического процесса накопления данных состоит в создании, хранении и поддержании в актуальном состоянии информационного фонда, необходимого для выполнения функциональных задач системы управления. Хранение и накопление информации осуществляется в информационных базах в виде информационных массивов, где данные располагаются по установленному в процессе проектирования порядку.

С хранением и накоплением непосредственно связан поиск данных, т. е. выборка нужных данных из хранимой информации, включая поиск информации, подлежащей корректировке или замене. Процедура поиска информации выполняется автоматически на основе составленного пользователем или ПЭВМ запроса на нужную информацию.

Указанные функции, выполняемые в процессе накопления данных, реализуются по алгоритмам, разработанным на основе соответствующих математических моделей.

Процесс накопления данных состоит из ряда основных процедур, таких, как выбор хранимых данных, хранение данных, их актуализация и извлечение.

Информационный фонд систем управления должен формироваться на основе принципов необходимой полноты и минимальной избыточности хранимой информации. Эти принципы реализуются процедурой выбора хранимых данных, в процессе выполнения которой производится анализ циркулирующих в системе данных и на основе их группировки на входные, промежуточные и выходные определяется состав хранимых данных. Входные данные - это данные, получаемые из первичной информации и создающие информационный образ предметной области. Они подлежат хранению в первую очередь. Промежуточные данные - это данные, формирующиеся из других данных при алгоритмических преобразованиях. Как правило, они не хранятся, но накладывают ограничения на емкость оперативной памяти компьютера. Выходные данные являются результатом обработки первичных (входных) данных по соответствующей модели, они входят е состав управляющего информационного потока своего уровня и подлежат хранению в определенном временном интервале. Вообще, данные имеют свой жизненный цикл существования, который фактически и отображается в процедурах процесса накопления.

Процедура хранения состоит в том, чтобы сформировать и поддерживать структуру хранения данных в памяти ЭВМ. Современные структуры хранения данных должны быть независимы от программ, использующих эти данные, и реализовывать вышеуказанные принципы (полнота и минимальная избыточность). Такие структуры получили название баз данных. Осуществление процедур создания структуры хранения (базы данных), актуализации, извлечения и удаления данных производится с помощью специальных программ, называемых системами управления базами данных.

В процессе накопления данных важной процедурой является их актуализация. Под актуализацией понимается поддержание хранимых данных на уровне, соответствующем информационным потребностям решаемых задач в системе, где организована информационная технология. Актуализация данных осуществляется с помощью операций добавления новых данных к уже хранимым, корректировки (изменения значений или элементов структур) данных и их уничтожения, если данные устарели и уже не могут быть использованы при решении функциональных задач системы.

Процедура извлечения данных из базы необходима для пересылки требуемых данных либо для преобразования, либо для отображения, либо для передачи по вычислительной сети.

При выполнении процедур актуализации и извлечения обязательно выполняются операции поиска данных по заданным признакам и их сортировки, состоящие в изменении порядка расположения данных при хранении или извлечении.

На логическом уровне все процедуры процесса накопления должны быть формализованы, что отображается в математических и алгоритмических моделях этих процедур.

Модель накопления данных формализует описание информационной базы, которая в компьютерном виде представляется базой данных.

Процесс перехода от информационного (смыслового) уровня к физическому описывается трехуровневой системой моделей представления информационной базы: концептуальной, логической и физической схем.

Концептуальная схема информационной базы описывает информационное содержание предметной области, т.е. какая и в каком объеме информация должна накапливаться при реализации информационной технологии.

Логическая схема информационной базы должна формализовано описать ее структуру и взаимосвязь элементов информации. При этом могут быть использованы различные подходы: реляционный, иерархический, сетевой. Выбор подхода определяет и систему управления базой данных, которая, в свою очередь, определяет физическую модель данных - физическую схему информационной базы, описывающую методы размещения данных и доступа к ним на машинных (физических) носителях информации. Модель данных - формализованное описание информационных структур и операций над ними.

Размещено на Allbest.ru