Программирование мультимедиа-систем

Претензии высокого уровня к качеству видео призвана удовлетворить система HDTV (High-Defenition Television, разрешение 1150 строк по 2035 пикселов в строке, 50 полукадров/сек, формат кадра 16:9).

Даже стандарт HDTV (11502035=2'340'250 пиксел) недостаточен для современных цифровых фото- и видеокамер, обычным становится применение т.н. 4-х мегапиксельных камер.

Для записи видеоинформации на магнитную ленту (видеомагнитофоны) используются форматы VHS (Video Home System, не более 240 строк при аналоговом способе записи), S-VHS (Super VHS, усовершенствованная VHS, разрешение до 400 строк; вариант S-VHS C предполагает более компактный вариант оборудования), Video 8 (цифровая запись методом импульсно-кодовой модуляции, 260 строк) и Hi-8 (усовершенствование Video 8, до 400 строк). Современными цифровыми системами являются DV, miniDV и Digital 8 (не менее 500 строк в кадре).

Распространенной цифровой системой профессионального уровня является Betacam, предложенная и активно поддерживаемая c 1982 г. фирмой Sony (www.sony.com). Betacam является не просто форматом видеозаписи (625 строк при 50 полукадрах/сек или 525/30), но цифровой системой, объединяющей различные носители и технологии (Betacam и Betacam SP для аналоговой и Betacam XP для гибридной - аналоговой или цифровой записи):

· магнитную ленту (шириной 12,65 мм и толщиной 14,510^-3 мм, время записи 62/194 мин) для съемки и линейного монтажа в полевых условиях

· магнитный диск для нелинейного монтажа в студийных условиях

· цифровые интерфейсы для подключения к сетям передачи данных и линиям телекоммуникаций, стандарты SDI (Serial Digital Interface) и SDTI (Serial Digital Transport Interface)

· компрессию (степени 10:1 по методу MPEG-2, см. подраздел 4.2) с целью повышения эффективности обмена данными.

Линейный монтаж предусматривает простейшие манипуляции с исходным видеоматериалом; нелинейный монтаж позволяет произвольным образом компоновать отдельные фрагменты видеоряда, снабжать их титрами и видеоэффектами, озвучивать и переозвучивать фрагменты и др. В случае нелинейного монтажа новый вариант видеофильма создается (компилируется) на основе существующего ролика и файла проекта, содержащего информацию о всех необходимых манипуляциях с видеоданными (к сожалению, стандартизация форматов файлов проектов в настоящее время только зарождается).

Для записи аудиовидео CD используются форматы VCD (Video Compact Disc, качество видео сравнимо с VHS, используется сжатие по методу MPEG-1), SVCD (Super VCD, длительность записи 35-60 мин на стандартном CD) и DVD (Digital Compact Disc, сжатие по MPEG-2); подробнее см. следующий подраздел. В нижерасположенной таблице приведены распространенные форматы записи аудиовидео-информации на CD:

Тип CD	Стандарт NTSC	Стандарт PAL	Способ сжатия и скорость передачи данных для видео	Способ сжатия и скорость передачи данных для аудио
DVD	720480	720576	MPEG-2, переменная до 9,8 Mб/сек	MPEG-2 (AC-3), 768 kб/сек
Mini DVD	720480	720576	MPEG-2, переменная до 9,8 Mб/сек	MPEG-2 (AC-3), 768 kб/сек
SVCD	480480	480576	MPEG-2, переменная до 2,6 Mб/сек	MPEG-1, 384 kб/сек
VCD	352240	352288	MPEG-1, 1,15 Mб/сек	MPEG-1, 224 kб/сек

4.2 Сжатие и распаковка видеоданных

Согласно современным понятиям видео представляет собой последовательность статических изображений, сменяющих друг друга с частотой не менее 2530 раз в секунду, при этом поток данных для видео весьма велик. Например, для разобранного в подразделе 3.2 случая (изображение 640480 пикселов, глубина цвета 16 бит) видеопоток при 25 кадрах/сек (FPS - Frame Rep Second) равен 50 Мбайт/сек ! Ясно, что в случае видео сжатие данных еще более важно, чем для статических изображений.

Концепция одновременной записи видео и звука была предложена еще MS в формате AVI (Audio Video Interleave), принципом является запись аудио- и видеосигналов в одном файле отдельно для каждого кадра (frame) - сначала звук первого видеокадра, затем изображение, затем звук следующего кадра и т.д. При этом информация внутри кадров или последовательности кадров может быть не сжата вообще (в прошлом применялось часто вследствие ограниченной мощности процессоров для сжатия в реальном времени) или скомпрессована любым известным методом (при сохранении расширения AVI). Одним из распространенных ПО конвертации несжатых AVI в MPEG-1 является XingMPEG Encoder (www.xingtech.com). Аппаратные методы компрессации видео в настоящее время применяются не столь часто (можно упомянуть, например, мощный аппаратно-программный комплекс miroVideo DC1000 фирмы Pinnacle Systems, www.pinnaclesys.com, подробнее см. раздел 6). В настоящее время обычным является сохранение в файлах с расширением AVI сильно скомпрессированных видеофайлов DivX (см. ниже).

При сжатии файлов видео обычно применяются методы, подобные известным технологиям компрессии файлов изображений; часто учитывается особенность видео, заключающаяся в (относительно малом) изменении содержащейся в последовательных кадрах информации. Звук в аудиовидеофильмах записывается в виде отдельной дорожки (дорожек) и располагается вперемешку с кадрами видео, при этом используются специальные механизмы синхронизации видео и аудио. Мощность аудиопотока значительно (на порядки) ниже видеопотока, поэтому в случае ограничения пропускной способности канала передачи информации первым страдает видео; при всех системах кодирования принята идеология возможного пропуска видеокадров при обязательном сохранении аудиопотока (пропуск части аудиопоследовательности значительно заметнее для зрителя, нежели кадров видео вследствие значительной запоминающей способности глаза).

На сегодняшний день повсеместно распространенным является стандарт MPEG сжатия видеоинформации. Термин MPEG является аббревиатурой Moving Picture Expert Group - название международной экспертной группы, действующая в направлении разработки стандартов кодирования и сжатия видео- и аудио- данных. MPEG состоит из трех частей: Audio, Video и System (объединение и синхронизация двух других).

Алгоритм MPEG-компрессии принципиально ориентирован на обработку последовательностей кадров и использует высокую избыточность информации в изображениях, разделенных малым временным интервалом. Между смежными изображениями обычно меняется только малая часть сцены - например, происходит плавное смещение небольшого объекта на фоне фиксированного заднего плана. В этом случае полную информацию о сцене достаточно сохранять только выборочно - для опорных изображений. Для остальных изображений достаточно передавать только разностную информацию: о положении объекта, направлении и величине смещения, о новых элементах фона (открывающихся за объектом по мере его движения). Эти разности можно формировать не только по сравнению с предыдущими изображениями, но и с последующими (поскольку именно в них по мере движения объекта открывается часть фона, ранее скрытая за объектом). Таким образом, в MPEG-кодировке принципиально формируются три типа кадров: I (Intra), выполняющие роль опорных и сохраняющие полный объем информации о структуре изображения; P (Predictive), несущие информацию об изменениях в структуре изображения по сравнению с предыдущим кадром (типов I или P); B (Bi-directional), сохраняющие только самую существенную часть информацию об отличиях от предыдущего и последующего изображений (только I или P). Последовательности I-, P- и B-кадров объединяются в фиксированные по длине и структуре группы кадров - GOP (Group of Pictures). Каждая GOP обязательно начинается с I-кадра и с определенной периодичностью содержит P-кадры. Ее структуру описывают как M/N, где M - общее число кадров в группе, а N - интервал между P-кадрами. Так, типичная для Video CD и DVD IPB группа 15/3 имеет следующий вид: IBBPBBPBBPBBPBB. Здесь каждый B-кадр восстанавливается по окружающим его P-кадрам (в начале и конце группы - по I и Р), а в свою очередь каждый Р-кадр - по предыдущему Р- (или I) кадру. В то же время I-кадры самодостаточны и могут быть восстановлены независимо от других, однако являются опорными для всех P и тем более B- кадров группы. Соответственно у I наименьшая степень компрессии, у В - наибольшая. Установлено, что по размеру типичный Р-кадр составляет 1/3 от I, а B - 1/8 часть. В результате MPEG последовательность IPPP (GOP 4/1) обеспечивает 2-кратное уменьшение требуемого потока данных (при том же качестве) по сравнению с последовательностью только из I кадров, а использование GOP 15/3 позволяет достичь 4-кратного сжатия.

Известны следующие стандарты (или фазы) общего стандарта: MPEG-1, MPEG-2, MPEG-3, MPEG-4, MPEG-7.

MPEG-1 предназначен для записи синхронизированных видео- и звукового сопровождения на CD ROM с учетом скорости считывания 1,5-3,5 Мбит/сек (при большей пропускной способности канала желателен переход к MPEG-2).

При демонстрации такого фильма однотонные поверхности зачастую кажутся составленными из рассыпающихся квадратиков, явно заметны квадратики и в имеющих много действий сценах (результат принципа компрессии MPEG-1ррр). Качество видео по стандарту MPEG-1 лишь немного лучше обычного VHS-видео, однако возможность практически неограниченного проигрывания CD ROM (качество медиа-ролика не снижается против ленты видеомагнитофона) поддерживают существование этого формата.

Форматы кодирования звука в MPEG разделяются на три части - LayerI, LayerII и LayerIII. Прообразом для LayerI и Layer II явился стандарт MUSICAM, также иногда называют LayerII. Наибольшее сжатие достигается в LayerIII, однако требует больших ресурсов на кодирование.

Принципы кодирования основаны на известном факте наличия в несжатом звуке множества избыточной информации. Принцип сжатия основан на эффектах маскировки некоторых звуков для человека (например, если идет сильный звук на частоте 1000Гц, то более слабый звук на частоте 1100Гц уже не будет слышен человеку, также будет ослаблена чувствительность человеческого уха на период в 100мс после и 5мс до возникновения сильного звука). Используемая в MPEG психоакустическая (psycoacustic) модель разбивает весь частотный спектр на части, в которых уровень звука считается одинаковым, а затем удаляет не воспринимаемые человеком звуки (согласно описанным выше эффектам).

Синхронизация и объединение звука и видео, осуществляется с помощью системных потоков (system stream, рис.4.1), который включает в себя:

· Системный слой, содержащий временную и иную информацию с целью разделения и синхронизации видео и аудио

· Компрессионный слой, содержащий видео и аудио потоки

Видео поток (рис.4.2) содержит заголовок, несколько групп изображений (заголовок и несколько изображений необходимы для того, что бы обеспечить произвольный доступ к изображениям в группе в независимости от их порядка). Звуковой поток состоит из пакетов, каждый из которых включает заголовок и нескольких звуковых кадров (audio-frame).

Для синхронизации аудио и видео потоков в системный поток встраивается таймер, работающий с частотой 90kГц (SCR, System Clock Reference), т.е. метка, по которой происходит увеличения временного счетчика в декодере) и метка начала воспроизведения (PDS, Presentation Data Stamp) вставляются в изображений или в звуковой кадр, чтобы `объяснитьэ декодеру, когда их воспроизводить. Размер PDS составляет 33 бита, что обеспечивает возможность представления любого временного цикла длиной до 24 часов).

Рис. 4.1 Принцип синхронизации и объединения звука и видео



Рис.4.2.Схема видеопотока при MPEG-компрессии

MPEG-2 предназначен для обработки видеоизображения, соизмеримого по качеству с телевизионным при пропускной способности системы передачи данных в пределах 315 Мбит/сек (в профессиональной аппаратуре используют потоки скоростью до 50 Мбит/сек). На базирующиеся на стандарт MPEG-2 переходят многие телеканалы, сжатый в соответствии с этим стандартом сигнал транслируется через телевизионные спутники, используется для архивации больших объемов видеоматериала. Метод столь эффективен, что позволяет `убирать' до 97% цифровых данных, являющихся избыточными вследствие дублирования.

По сравнению с MPEG-1 внесены изменение в аудиоканал:

1. Реализованы новые виды частот 16 kГц, 22,05 kГц, 24 kГц

2. Добавлена поддержка многоканальности (возможно иметь 5 полноценных каналов - left, center, right, left surround, right surround + 1 низкочастотный (subwoofer)

3. Появился стандарт AAC (Advanced Audio Coding, прогрессивное кодирование звука), обеспечивающий очень высокое качество звука со скоростью 64 Кбит/сек на канал; возможно использовать 48 основных каналов, 16 низкочастотных каналов для звуковых эффектов, 16 многоязыковых каналов и 16 каналов данных. Может быть использовано до 16 программ с использованием любого количества элементов звуковых и иных данных

Системный уровень MPEG-2 обеспечивает два уровня объединения данных:

1. PES (Packetized Elementary Stream) - разбивает звук и видео на пакеты.

2. Второй уровень делится на:

· MPEG-2 Program Stream (совместим с MPEG-1 System) - для локальной передачи в среде с низким уровнем ошибок

· MPEG-2 Transport Stream (рис. 5.3) - внешнее вещание в среде с высоким уровнем ошибок; передает транспортные пакеты (длиной 188 или 188+16 бит) двух типов (сжатые данные - PES - и сигнальную таблицу PSI - Program Specific Information)

MPEG-3 предназначался для использования в системах телевидения высокой четкости HDTV (High-Defenition Television) при разрешении 19201080 при 30 кадр/сек со скоростью потока данных 2040 Мбит/сек, но позже фактически стал частью стандарта MPEG-2 и отдельно теперь не упоминается. Формат MP3 (который иногда путают с MPEG-3), предназначен только для сжатия аудиоинформации и полное название MP3 звучит как MPEG-Audio Layer-3.

Рис.4.3.Передача транспортных пакетов по стандарту MPEG-2 Transport Stream

MPEG-4 является стандартом для низкоскоростной передачи и задает принципы работы с цифровым представлением медиа-данных для трех областей: интерактивного мультимедиа (включая продукты, распространяемые на оптических дисках и через Сеть), графических приложений (синтетического контента) и цифрового телевидения. Существует MPEG-J, использующий элементы JAVA-технологии. Формат MPEG-4 дал толчок созданию популярного кодека DivX (см. ниже).

При функционировании MPEG-4 позволяет:

1. Разделять картинку на различные элементы, называемые media objects (медиа-объекты)

2. Описывать структуру этих объектов и их взаимосвязи чтобы затем собрать их в видеозвуковую сцену (рис. 4.1)

3. Изменять сцену, обеспечивая этим высокий уровень интерактивности для конечного пользователя

1. Неподвижных изображений (например, фона сцены)

2. Видео-объектов (говорящий человек)

3. Аудио-объектов (связанный с этим человеком голос)

4. Связанного с данной сценой текста

5. Синтетических объектов - объектов, которых не было изначально в записываемой сцене, но которые туда добавляются при демонстрации конечному пользователю (например, синтезируется `говорящая голова')

6. Связанного с `головой' текста, на основе которого синтезируется голос

Рис.4.4.Согласно MPEG-4 видеозвуковая сцена состоит из медиа-объектов, объединенных иерархической структурой

На рис.4.5 схематически показана возможность интерактивного изменения видеозвуковой сцены.

Рис.4.5.Возможности изменения сцены конечным пользователем в интерактивном режиме

MPEG-7 не является продолжением `линейки MPEG' и начал разрабатываться сравнительно недавно. MPEG-7 должен обеспечивать стандарт для описания различных типов мультимедийной информации (а не для ее кодирования), чтобы обеспечивать эффективный и быстрый ее поиск. MPEG-7 официально называют Multimedia Content Description Interface (Интерфейс описания мультимедиа данных). MPEG-7 определяет стандартный набор дискрипторов для различных типов мультимедиа информации, также он стандартизует способ определения своих дискрипторов и их взаимосвязи (description schemes). Для этой цели MPEG-7 вводит DDL (Description Definition Language, язык описания определений). Основная цель применения MPEG-7 - поиск мультимедиа информации (так же как сейчас возможно найти текст по определенному словосочетанию), например:

1. Музыка. Сыграв несколько нот на клавиатуре, можно получить список музыкальных произведений, которые содержат такую же последовательность

2. Графика. Нарисовав несколько линий на экране, получим набор рисунков, содержащих данный фрагмент

3. Картины. Определив объект (задав его форму и текстуру), получим список картин, содержащих такой объект

4. Видео. Задав объект и движение, получим набор видео или анимации

5. Голос. Задав фрагмент голоса певца, получим набор песен и видео роликов, где он является исполнителем

MHEG (Multimedia & Hypermedia Expert Group, экспертная группа по мультимедиа и гипермедиа) определяет стандарт для обмена мультимедийными объектами (видео, звук, текст и другие произвольные данные) между приложениями и передачи их разными способами (локальная сеть, сети телекоммуникаций и вещания) с использованием MHEG object classes. Он позволяет программным объектам включать в себя любую систему кодирования (например, MPEG), которая определена в базовом приложении. MHEG был принят DAVIC (Digital Audio-Visual Council, совет по цифровому видео и звуку). MHEG-объекты обрабатываются мультимедиа-приложениями c использованием multimedia scripting languages. Утверждается, что MHEG - будущий международный стандарт для интерактивного телевидения, так как он функционирует на любых платформах и его документация свободно распространяема.

Базовым объектом кодирования в стандарте MPEG является кадр телевизионного изображения. Поскольку в большинстве фрагментов фон изображения остается достаточно стабильным, а действие происходит только на переднем плане, сжатие начинается с создания исходного кадра. Исходные (Intra) кадры кодируются только с применением внутрикадрового сжатия по алгоритмам, аналогичным описанным для формата JPEG (см. подраздел 2.3). Кадр разбивается на блоки 88 пикселов, над каждым блоком производится дискретно-косинусное преобразование (ДКП) с последующим квантованием полученных коэффициентов. Вследствии высокой пространственной корелляции яркости между соседними пикселами изображения ДКП приводит к концентрации сигнала в низкочастотной части спектра, который после квантования эффективно сжимается с использованием кодирования кодами переменной длины. Обработка предсказуемых (Predicted) кадров производится с использованием предсказания вперед по предшествующим исходным или предсказуемым кадрам. Кадр разбивается на макроблоки 1616 пикселов, каждому макроблоку ставится в соответствие наиболее похожий участок изображения из опорного кадра, сдвинутый на вектор перемещения. Эта процедура называется анализом и компенсацией движения. Допустимая степень сжатия для предсказуемых кадров превышает возможную для исходных в 3 раза. В зависимости от характера видеоизображения, кадры двунаправленной интерполяции (Bi-directional Interpolated) кодируются одним из четырех способов: предсказание вперед, обратное предсказание с компенсацией движения (используется в том случае, когда в кодируемом кадре появляются новые объекты изображения), двунаправленное предсказание с компенсацией движения, внутрикадровое предсказание (применяется при резкой смене сюжета или при высокой скорости перемещения злементов изображения). С двунаправленными кадрами связано наиболее значительное сжатие видеоданных, но поскольку высокая степень сжатия снижает точность восстановления исходного изображения, двунаправленные кадры не используются в качестве опорных. В случае точной передачи коэффициентов ДКП восстановленное изображение полностью совпадало бы с исходным. Однако связанные с квантованием ошибки восстановления коэффициентов ДКП приводят к искажениям изображения. Чем грубее производится квантование, тем меньший объем занимают коэффициенты и тем сильнее сжатие сигнала, но и тем больше визуальных искажений.

Наиболее эффективным в настоящее время можно считать DivX (один из кодеков с таким названием разработан MS, технология сжатия является несколько измененным методом MPEG-4). Благодаря DivX стало возможным размещать видеоинформацию вместе со звуком при высоких разрешениях и с высоким качеством и при этом добиться приемлемых размеров файлов. Для просмотра таких фильмов достаточно установить в систему DivX кодек, выгрузить который можно с адреса www.3dnews.ru/download/dvd/divx-codec. В настоящее время действуют версии кодека до 5.2; кодеки интенсивно используют процессорные технологии MMX/SSE (см. раздел 5). Процесс перекодировки в DivX весьма ресурсоемок и (даже на мощных ПЭВМ) может длиться несколько часов (именно поэтому DivX-кодирование в реальном времени в высшей степени затруднительно).

Реально качество DivX-фильмов хуже DVD, однако оно зачастую выше того, что встречается на видеокассетах. WindowsMedia Player легко детектирует присутствие DivX-кодека в системе и успешно применяет его (расширения файлов AVI, DIVX, MP4), из специализированных плееров можно рекомендовать Playa и DivXPlayer (оба производства фирмы DivXNetworks, Inc, www.divx.com).

Технологии сжатия изображений не ограничиваются вышеперечисленными; напр., фирма AT&T (www.att.com) продвигает метод эффективного сжатия Wavelettransform. Ряд фирм активно ведет разработку алгоритмов сжатия видеоинформации, стремясь достичь коэффициента сжатия порядка 200:1 и выше. В основе наиболее эффективных алгоритмов лежат различные адаптивные варианты: DOT (Discrete Cosine Transform, дискретное косинус-преобразование), DPCM (Differential Pulse Code Modulation, разностная импульсно-кодовая модуляция), а также фрактальные методы. Алгоритмы реализуются аппаратно -- в виде специальных микросхем или записанной в ПЗУ программы, либо чисто программным путем.

4.3 Программное обеспечение создания и воспроизведения видеофильмов

Процесс создания видеофильмов фактически повторяет основные этапы технологии получения обычных фильмов - реальная съемка (или компьютерная генерация) первичных кадров, их монтаж (обрезка и вставка кадров в нужное место), генерация титров и спецэффектов, редактирование звука, сборка готового фильма и конвертирование его в нужный цифровой формат, запись в аналоговом или цифровом виде на внешние носители (магнитную ленту, CD или DVD). Все эти процедуры в высшей степени удобно выполняются в интерактивном режиме пользователя с ПЭВМ, причем вероятность необратимой порчи информации минимальна.

Сказанное относится к производству снятых `на натуре' видеофильмов. При создании фильмов, содержащих элементы искусственно созданных изображений, применяется технология анимации (генерация последовательности кадров методом моделирования во времени определенных процессов). Анимация может быть как простейшей (реализуется посредством покадровой смены части изображений - спрайтов), так и весьма сложной - с использованием систем моделирования виртуальной реальности (см. раздел 6 данной работы) и интерактивности).

4.3.1 Пакет VIDEO FOR WINDOWS и его основные возможности

Появившийся в начале 90-х г.г. пакет VideoForWindows (VFW) явился первым интегрированным пакетом поддержки обработки медиаинформации и предназначался для MS Windows'3.1; уже в Windows'95 отдельные его компоненты были переработаны и интегрированы в ОС. Тем не менее нижеприводимая информация важна с точки зрения истории развития мультимедиа.

В состав пакета входило 5 самостоятельных модулей для работы с видео и аудио:

1. VidEdit - ядро пакета VFW, позволяет загружать, сохранять, воспроизводить и обрабатывать (вырезать и синхронизировать части видеоклипа, вносить отдельные кадры, устанавливать частоту кадров при демонстрации и метод сжатия) видеоданные. Поддерживались форматы записи видеофайлов на диск MSVideo1 (без сжатия), MS RLE (8-ми битовая глубина цвета и ограничение длины видеофайла) и IntelIndeo (наибольшая степень сжатие видеопоследовательности при глубине цвета 24 бита).

2. VidCap - программа для записи (захвата - capture) последовательности видеокадров от источника видеосигнала (видеокамеры, видеомагнитофона, телевизора) через видеоадаптер (специальную плату).

3. BitEdit - модуль обработки отдельных видеокадров, имеется возможность попиксельного изменения цветов, копирования фрагментов видеоизображения, сохранения изображения в BMP-формате в файле и внесение BMP-изображения в видеофайл.

4. PalEdit- программа изменения цветовой палитры видеофайла (сохранение, изменение и загрузка цветовых палитр).

5. WaveEdit -редактор звуковой информации, позволяет обрабатывать аудиоинформацию (аудиотрак) независимо от видеотрака. Возможна запись и обработка (вырезание, изменение громкости) последовательности звуков, поддерживаемый формат - WAV.

Демонстрация медиафайлов производилась с помощью MediaPlayer (или VidEdit), упорядочивание медиафайлов (создание коллекций) осуществлялось программой MediaBrowser.

Т.о., несмотря на примитивную (с сегодняшней точки зрения) организацию модулей (отсутствие интегрированности), пакет VFW представлял практически идентичные современным системам возможности записи, редактирования и демонстрации медиаинформации.

4.3.2 Современные пакеты работы с мультимедиа

Ниже описываются проверенные практикой пакеты для создания, редактирования и воспроизведения мультимедиа для ПЭВМ класса IBM PC; системы высокопрофессиональной графики обычно эксплуатируются на аппаратной платформе SiliconGraphics (www.sgi.com).

Как было сказано, основным модулем воспроизведения медиаинформации в ОС Windows является MediaPlayer; для Windows'XP известна версия 8.0, поддерживающий практически все известные форматы аудио- и видеоданных и впитавший много полезного (в архитектуре построения) от известного аудиоплеера WinAmp, см. подраздел 3.9. Создание любительских видеофильмов поддерживает штатный (начиная с Windows'2000) пакет MovieMaker (к сожалению, указанное ПО не позволяет сохранять смонтированные ролики на видеомагнитофон - они сохраняются исключительно в разработанном MS специфичном формате ASF).

Для просмотра DVD часто используется PowerDVD (фирма CyberLink, www.gocyberlink.com, www.cli.co.jp, поддерживаются форматы MPG, VOB, ASF, M1V, M2V, AVI, WMV, DAT, VRO, WAV, MID, WM, WMA, MP2, MP3, RMI), удобен также пакет WinDVD (фирма InterVideo, www.intervideo.com).

Распространенным пакетом создания и редактирования аудиовидеофайлов является AdobePremiere (www.adobe.com), позволяющий компановать аудиовидеофайлы как из отдельных изображений, так и готовых аудио- и видеоклипов, поддерживаются несколько аудио- и видеодорожек; пакет обладает также развитыми возможностями конвертации медиаформатов; близкими возможностями обладает UleadMediaStudio (Ulead Systems, Inc., www.ulead.com). Известен удобный пакет Cinema (Avid Technology, www.avid.com).

Современные пакеты создания и редактирования аудиовидеофайлов интегрированы со средствами полного цикла подготовки и выпуска DVD (включая `захват' информации с аналоговых и цифровых видеокамер, разбиение исходной оцифрованной ленты на клипы, редактирование аудио и видеоклипов, подготовку титров, эффекты плавного перехода между кадрами, привычные для DVD средства навигации внутри видеофильма) включая физическую запись DVD. Из известных систем такого рода можно назвать PowerDirector (фирма CyberLink, www.gocyberlink.com, поддерживаются входные форматы изображений BMP, GIF, JPG, TIF и видео Windows AVI, DV AVI, MPEG-1, MPEG-2, RealVideo, QuickTime, WMV) и WinDVD Creator (фирма InterVideo,Inc., www.intervideo.com, функционирует только на MB фирмы ASUSTek Computer Int., www.asus.com). Наряду с созданием DVD (объемом 4,717Гбайт на диск) указанные системы (часто) позволяют записывать смонтированный видеофильм на видеомагнитофон (форматы PAL и NTSC) и создавать `обычные' компакт-диски объемом 640700 Mбайт длительностью 7480 мин (VCD, Video Compact Disc).

4.3.3 Особенности мультимедиа на DVD

Технология DVD на сегодняшний день является наиболее мощной в деле сохранения и демонстрации мультимедиа. Большие объемы записываемой на стандартного размера CD, развитая система поиска и доступа к хранимой информации, поддержка многоязычности в озвучивании и титрах потребовали серьезного развития технологии записи и ПО для обслуживания DVD. При подготовке материалов данного подраздела использованы данные c адресов www.dvd.da.ru, dvdsoft.online.fr/main.html и www.3dnews.ru; на указанных адресах приведено большое количество практически полезной информации в области записи, копирования, снятия региональной защиты DVD и др.

Аббревиатура DVD первоначально расшифровывалась как Digital Video Disk, соответствующий стандарт разработан в 1996 г. консорциумом компаний Hitachi (www.hitachipc.com), JVC (www.jvc.com), Matsushita (www.mei.co.jp), Mitsubishi (www.mitsubishi.com), Phillips (www.philips.com), Pioneer (www.pioneerelectronics.com), Sony (www.sony.com), Toshiba (www.toshiba.com) и др. На DVD можно записывать любую информацию, поэтому современная расшифровка звучит как Digital Versatile Disk (цифровой универсальный диск). Основное отличие DVD от CD-дисков заключается в объеме записываемой информации, который может достигать 17Гбайт. Достигается это уменьшением длины волны считывающего лазера с 780нм (инфракрасный) до 635/650нм (красный), что позволяет существенно увеличить плотность записи (ширина дорожки 0,74 против 1,6нм, размер пита 0,4 против 0,83нм), использованием т.н. двуслойных дисков (один слой полупрозрачный, а второй читается `сквозь' первый) и записью информации на обе стороны диска.

Основные виды DVD дисков (известны также диски диаметром 80см):

1. DVD-5, диаметр 12cм, объем 4,7 Гбайт данных или свыше 2 часов видео, один слой на одной стороне

2. DVD-9, 12cм, 8,5 Гбайт данных или около 4 часов видео, два слоя на одной стороне

3. DVD-10, 12cм, 9,4 Гбайт данных или около 4,5 часов видео, на обоих сторонах по одному слою

4. DVD-14, 12cм, 13,24 Гбайт данных или около 6,5 часов видео, два слоя на одной стороне, один слой на другой

5. DVD-18, 12cм, 17 Гбайт данных или более 8 часов видео, на обоих сторонах по два слоя (в настоящее время слишком дороги в производстве, поэтому применяются ограниченно).

DVD-формат представляет собой цифровое видео, сжатое по алгоритму MPEG-2 и записанное на DVD-диск. Формат - 25 кадров в секунду с разрешением 720576 точек при глубине цвета 24-бит (PAL) или 30 кадров 72048024-бит (NTSC); из-за разницы в разрешении и числе кадров в секунду фактический поток информации одинаков в обоих случаях и равен 10'368'000 пикселов в секунду. В несжатом виде это поток 30 Мбайт в секунду, а двухчасовой фильм будет занимать более 100 Гбайт. Это огромный объем, и обеспечение необходимого для воспроизведения такого видео непрерывного потока данных на скорости 30Мбайт/сек затруднительно. Поэтому используется сжатие по стандарту MPEG-2; кроме уменьшения размеров файлов это позволяет снизить поток данных до приемлемых 34 Мбайт/сек. Чем сложнее сцена, тем хуже она поддается сжатию, и тем выше поток данных. Формат MPEG-2 первоначально разрабатывался для использования с высококлассной студийной аппаратурой и существуют варианты с записями в разрешениях гораздо более высоких чем 720576 пиксел, но оказалось, что этот формат идеально подходит для записи фильмов на DVD-диски.

Алгоритм сжатия MPEG-2 весьма эффективен - удаляется примерно 97% избыточной информации практически без ущерба для качества картинки, благодаря чему на DVD-диске можно разместить до 4-х часов высококачественного видео плюс до 8 вариантов звукового сопровождения, плюс до 32 вариантов субтитров на разных языках. У DVD существует масса других интересных возможностей, таких, как возможность задания возрастных ограничений на просмотр, интерактивность, быстрый переход в нужное место фильма, возможность наблюдать сцену с различных точек (этот режим получил название multi-angle view и весьма уважаем изготовителями продукции порнографического содержания).

Кроме этого, MPEG-2 отлично подходит как для сжатия киноматериала, так и для сжатия видео. Для работы с видео в MPEG-2 существует возможность хранить кадр не целиком, а в виде двух полей (как он записывается на видеокамеры, и как он показывается в большинстве телевизоров), что делает его идеальным выбором для этих целей. Не случайно именно в MPEG-2 транслируются современные спутниковые каналы, и именно MPEG-2 передается по сетям цифрового кабельного телевидения.

Отношение длины к высоте (aspect ratio) видеокадров DVD стандартизирован и равен телевизионному 4:3 (хотя встречаются от 1,55:1 до 2,55:1). При демонстрации таких кадров на реальных видеомониторах (с отличным от 4:3 соотношением сторон) используется два основных способа. Первый (Letterbox anamorph) реализуется путем закрытия части изображения сверху и снизу черными полосками (чем дальше текущее отношение сторон экрана от 4:3, тем шире полосы), второй способ (PAN&SCAN) состоит в постановке специальных меток по ширине экрана на наиболее важных (в художественном смысле) частях изображения, в дальнейшем ширина кадра урезается по ширине при условии попадания метки в центр экрана.

Звук на DVD-дисках записывается в различных форматах. Это и PCM (для записей, где требуется точность передачи звуковой картины, например - музыкальное видео), и Dolby ProLogic, и Dolby Digital (от 2.0 до 5.1 и Dolby Digital EX), и даже Audio MPEG 2.0 (этот стандарт для записи звука изначально предназначался для Европы, но не получил широкого распространения). Эти три формата объединяет одно - они воспроизводят несколько независимых каналов пространственного компрессированного звука, создавая тем самым реалистичную картину происходящего.

На DVD-Video диске в каталоге VIDEO_TS (AUDIO_TS обычно используется в DVD-Audio дисках) содержатся 3 типа файлов: *.IFO, *.BUP и *.VOB. Назначение этих файлов следующее:

· IFO (InFOrmation) - содержат в себе навигационную информацию для DVD-проигрывателей

· BUP (BackUP) - резервные копии *.IFO

· VOB (VideoOBjects) - файлы, содержащие мультиплексированные (`собранные' из отдельных составляющих) субтитры, аудио-видео потоки (возможно, позволяющие реализовать мультиугловой - multiangle - просмотр) и служебную информацию

Современные мощные процессоры ПЭВМ без перенапряжения осуществляют программное декодирование DVD. Аппаратные декодеры обычно применяются лишь в аппаратуре домашних кинотеатров или при работе ПЭВМ с несколькими мониторами (один из которых является телевизором и предназначен для просмотра DVD в одно время с работой пользователя на ПЭВМ). Записывающие информацию в формате DVD устройства в настоящее время доступны большинству рядовых пользователей ПЭВМ. Необходимые скорости чтения для DVD-проигрывателя значительно (почти на порядок) выше, нежели обычных CD-дисков (однократная скорость для DVD равна 1,32 Мбайт/сек вместо 150 Кбайт/сек для CD).

Разногласия в стандартах записи и перезаписи DVD вызвали проблемы с совместимостью приводов DVD, в таблице ниже приведены (формальные) возможности соответствующим образом маркированных приводов; по горизонтали приведены типы DVD-приводов (DVD+RW и DVD+R представляют собой одно и то же), по вертикали - типы DVD-дисков.

	DVD-ROM	DVD-R(G)	DVD-R(A)	DVD-RW	DVD-RAM	DVD+RW
DVD-ROM	Читает	Читает	Читает	Читает	Читает	Читает
DVD-R (General)	Должен читать	Читает, пишет	Читает, не пишет	Читает, пишет	Читает	Читает
DVD-R (Authoring)	Должен читать	Читает, не пишет	Читает, пишет	Читает, не пишет	Читает	Читает
DVD-RW	Обычно читает	Читает	Читает	Читает, пишет	Обычно читает	Обычно читает
DVD-RAM	Редко, но читает	Не читает	Не читает	Не читает	Читает, пишет	Не читает
DVD+RW	Обычно читает	Обычно читает	Обычно читает	Должен читать	Обычно читает	Читает, пишет
DVD+R	Должен читать	Должен читать	Должен читать	Должен читать	Должен читать	Должен читать и писать

Энтузиастами DVD составляются списки совместимых и не совместимых с определенными стандартами приводов. Наиболее полный из таких списков можно найти на адресах www.vcdhelp.com/dvdplayers.php и www.3dnews.ru. C целью стандартизации консорциум DVD ввел логотип DVD multi; получивший такой логотип привод должен писать и читать DVD-R, DVD-RW и DVD-RAM. Фирма Sony (www.sony.com) выпустила устройство DRU-500A, позволяющее записывать и считывать информацию c DVD независимо от типа носителя (кроме DVD-RAM). В очередной версии Windows (Longhorn) предполагается встроить штатную поддержку DVD+RW в качестве нового стандарта систем хранения данных для персональных компьютеров и бытовой электроники. Уже в начале 2003г. консорциум компаний - ведущих производителей DVD лицензирует технологию Blu-rayDisc, позволяющая записывать на одностороннем 12 см диске 27Гбайт данных (13 часов телетрансляции, используется сине-фиолетовый лазер с длиной волны 405нм, планируется увеличить объем записываемой информации до 50 Гбайт).

С целью предотвращения нелегального распространения DVD-видео дисков, ассоциация разработчиков DVD-дисков ввела в спецификацию DVD несколько методов защиты. Наиболее распространённой является региональная защита. Суть ее такова - разработчиками поделен мир на несколько регионов:

1. Канада и США

2. Япония, Европа, Южная Африка, Ближний Восток (включая Египет)

3. Юго-Восточная Азия, Восточная Азия (включая Гонконг)

4. Австралия, Новая Зеландия, Тихоокеанские Острова, Центральная Америка, Южная Америка, Карибские острова

5. Бывший СССР, Индийский полуостров, Африка (также Северная Корея, Монголия)

6. Китай

7. Зарезервированный

8. Экстерриториальная зона (самолеты, круизные лайнеры и пр.), практически не используется

Любое устройство для воспроизведения DVD-дисков (в том числе и компьютерные DVD-приводы), произведенное в настоящее время, обязано поддерживать региональную защиту, подобную же защиту должны поддерживать и все программные средства, предназначенные для проигрывания DVD-видео. Такие устройства и программы при каждом проигрывании DVD-диска сравнивают код региона, записанный на диске со своим внутренним кодом, и если он не совпадает, то `отказываются' проигрывать диск.

Для снятия защиты на программном уровне, существует несколько способов. Наиболее простой заключается в использование ПО www.3dnews.ru/download/tools/dvdgenie (для использования ее необходимо знать код применяемой программы-плеера) или www.3dnews.ru/download/dvd/dvdregionkiller (драйвер перехвата потока информации с DVD и подмены данных регионального кода).

Для работы любой из этих утилит обязательно наличие DVD привода со снятой региональной защитой. Код региона на современных дисках, как правило, может быть изменен не более 5 раз, после чего он записывается навечно и стандартными средствами изменить его уже нельзя. Cуществуют методы замены (перезаписи) прошивок DVD-плеера.

Кроме региональной защиты в DVD-видеодисках может использоваться несколько методов защиты дисков от нелегального копирования. Метод Macrovision protection (фирма Macrovision, www.macrovision.com) предназначен для предотвращения нелегального копирования с аналогового (телевизионного) выхода на видеомагнитофон. Суть этой защиты в том, что в видеосигнал добавляются помехи, которые не дают сделать нормальную запись на неспособные отфильтровывать помехи устройства записи (при этом просмотр на телевизоре возможен). Для предотвращения копирования содержимого DVD-видео диска на жесткий диск компьютера используется CSS (Content Scrambling System). При этом содержимое DVD-диска шифруется и для расшифровки требуется ключ, соcтоящий из двух частей; одна часть представляет собой один из 400 хранящихся на каждом CSS DVD-видеодиске кодов, вторая часть ключа зависит от конкретного DVD-привода. Процесс расшифровки осуществляется программой-декодером, которая проигрывает DVD-видео. Таким образом, при простой перезаписи на жесткий диск содержимого защищенного с помощью системы CSS DVD-диска декодер не сможет получить вторую половину ключа и данные не будут расшифрованы. 16-летний норвежский программист Jon Johansen сумел проанализировать работу дешифровального блока и выпустил утилиту DeCSS (в Сети официально не опубликована), которая расшифровывает данные и позволяет записывать содержимое защищённых DVD-видеодисков на жесткий диск (что послужило поводом к серии судебных разбирательств, не закончившихся до сих пор). Известен аналоговый метод ограничения количества пиратских копий CGMS/A (Copy Generation Management System/Analog) и цифровой метод CGMS/D. Практические рекомендации по клонированию DVD-дисков можно найти на www.3dnews.ru.

4.3.4 Работа с мультимедиа в средах быстрой разработки приложений

Современное программирование немыслимо без широкого использования технологии объектно-ориентированного программирования; наиболее последовательно этот метод реализован в RAD (Rapid Application Design, средах быстрой разработки приложений) фирмы Borland Int. (www.inprise.com, www.borland.com.ru) - интегрированных системах Delphi и C++Builder [5].

Системы фирмы Borland включают VCL (Visual Component Library, библиотеки визуальных компонентов), инкапсулирующие модули для выполнения большинства возможных приложений; пользователь может разрабатывать собственные компоненты, включать их в библиотеку и распространять совместно с системами Delphi и C++Builder. Благодаря инкапсуляции многих сложных функций ОС в компонентах (функционально завершенных блоках объектно-ориентированного кода, обладающих интерфейсной частью для соединения с ОС и себе подобными) создание приложения упрощается (и убыстряется!) в десятки раз, при этом остается доступной работа непосредственно с API-функциями конкретной ОС.

Для визуализации статических изображений обычно применяется расположенный на форме (аналог Windows-окна в режиме Design Time - проектирования приложений) компонент типа Image, функция выбора файла и его визуализации приведена ниже (Pascal-вариант для Delphi)

procedure TForm1.BitBtn1Click(Sender: TObject);

{ выбирает и загружает файл изображения для просмотра }

begin

if OpenDialog1.Execute then { если файл выбран… }

Image1.Picture.LoadFromFile(OpenDialog1.FileName); { визуализировать его c помощью Image1 }

end;

Фактическое создание графической интерфейсной части достаточно сложного приложения занимает минуты (включая обеспечение возможности рисования, масштабирования, сохранения в файл изображения и его восстановления и др.); вариант подобной RAD-системы для LINUX получил название Kylix (www.borland.ru/kylix/index.html).

В состав штатного ПО включены процедуры поддержки изображений в формате JPEG, программист имеет возможность разработать новые классы поддерживающих вывод изображений объектов на основе объекта TGraphic (например, для работы с PCX-файлами и др.).

Наиболее мощным мультимедийным компонентом является TMediaPlayer, инкапсулирующий функции управления устройствами MCI (Media Control Interface), см. подраздел 4.7.1. Простейший приведенный ниже код служит для выбора нужного мультимедиа-файла и его демонстрации (минимально поддерживаются форматы AVI, WAV и MID)

procedure TForm1.BitBtn1Click(Sender: TObject);

{ выбирает и загружает мультимедиа-файл для просмотра }

begin

MediaPlayer1.Close; { закрыть ММ-устройство }

if OpenDialog1.Execute then { если файл выбран… }

MediaPlayer1.Filename:=OpenDialog1.FileName); { открыть его в

MediaPlayer1 }

MediaPlayer1.Open; { начать демонстрацию мультимедиа-файла }

end;

Возможно выполнение всех допустимых MCI-команд и практически полный контроль над MM-устройствами, форматы визуализируемых файлов определяются установленными в системе кодеками - при нужной комплектации `проигрываются' любые типы файлов мультимедиа.

5.АППАРАТНАЯ ПОДДЕРЖКА МУЛЬТИМЕДИА В ЭВМ

5.1 Требования мультимедиа к пропускной способности системной шины и шин расширения ПЭВМ

Как показано выше, обработка мультимедиа-информации требует значительных ресурсов ЭВМ. Несмотря на имеющуюся тенденцию переложения функций на исполняемое (мощным) центральным процессором специализированное ПО (кодеки, драйвера), совершенствование аппаратной части мультимедиа не прекращается.

Важным направлением является увеличение пропускной способности как центральной шины, так и шин внешних устройств ЭВМ. Так как частоты шин стандартизирована, увеличение пропускной способности может быть достигнуто за счет увеличения ширины шины или за счет повышения ее `интеллектуальности' (стандарты PCI, AGP, USB, IEEE 1394 и др.). В настоящее время стандартом ширины шины является 32 бита, в ближайшие годы следует ожидать повсеместного перехода к 64-битовым системам; в августе 2003 г. появилось сообщение о подготовке фирмой Advanced Micro Devices, Inc. (AMD, www.amd.com) к выпуску процессора, исполняющего 64-битовые инструкции согласно набора x86-64. Обходным путем является переложение несложных, но предельно часто исполняемых рутинных команд на интеллектуальные внешние устройства (при этом поток информации замыкается внутри этих устройств и не нагружает главную шину ЭВМ, в качестве примера ниже рассмотрена тенденция увеличения вычислительной мощности видеоплат).

Несмотря на (довольно успешные) попытки перенести большую часть медиа-траффика с главной шины и шин расширения ПЭВМ внутрь видеоплаты требования (необходимые в особенности при отрисовке сложных трехмерных объектов) к росту пропускной способности обусловили модернизацию даже такой мощной шины как PCI (Peripheral Component Interconnect, пропускная способность 264Мбайт/сек при разрядности 32бит и частоте шины 66MГц). Развитием PCI стал AGP (Accelerated Graphic Port) - новый 64-битный стандарт для подключения имеющих 3D-ускоритель графических адаптеров (потребляемая мощность для стандарта AGPPro - до 110 Вт), при указанных выше условиях и режиме сдвоенной передачи данных пропускная способность 533 Мбайт/сек, в режиме 4x - до 1066Мбайт/сек, в режиме AGP 8x - до 2132Mбайт/сек [3, 4].