Основы радиовещания и телевидения

Следует отметить, что масштабируемость, заложенная в стандарте, пока редко встречается в практических реализациях цифровых телевизионных систем, однако она является важной предпосылкой их дальнейшего развития. Подход, основанный на масштабируемости, в последние годы стал характерным не только для цифрового телевидения, но и для многих других телекоммуникационных и информационных технологий.

Передача киноматериала в каналах с компрессией/

Еще на заре кинематографии для демонстрации кинофильмов была выбрана частота кадров 24 Гц и все современные кинофильмы снимаются для демонстрации именно с такой частотой (на самом деле в кинотеатре для уменьшения мерцания каждый кадр проецируется дважды). Частота кадров в существующих телевизионных системах не соответствует этой величине, что вызывает определенные технические затруднения. В системе 625/50 просто увеличивают скорость движения киноленты, синхронизируя ее с половиной частоты кадровой развертки. Каждый кинокадр при этом передается двумя полями изображения, как и при работе с другими источниками. Так как между полями нет движения, кодер тратит на передачу второго поля очень мало битов. Платой за относительную простоту решения становится сокращение на 4% времени просмотра и изменение на такую же величину высоты воспроизводимых звуков.

Сложнее обстоит дело в телевизионной системе 525/59.94, где соотношение между частотой полей и частотой кинокадров не удается представить целым числом. В этом случае в телевидении применяется понижение 3:2, при котором один кинокадр демонстрируется на протяжении трех, а следующий - двух полей ТВ изображения. Ясно, что одно из пяти полей - третье поле в кадре -- избы- точно, и его можно вообще не передавать. Многие кодеры и декодеры МРЕG-2 поддерживают специальный режим передачи киноматериала, при котором кодер передает вместо 30 только 24 кадра в секунду.

Декодеру передается сигнал о режиме телекино, он объединяет каждую пару полей в кадр, рассчитывает компенсацию движения между кадрами и записывает кадры в память. Далее декодер восстанавливает поля чересстрочного изображения путем считывания кадров через строку и выдает их на экран, одно -- дважды, следующее -- трижды, и так далее с интервалом 1/60 с. Этот режим позволяет заметно снизить скорость цифрового потока при передаче киноматериалов.

Реализация цифрового многопрограммного звука.

В МРЕG-2 полностью используется трехуровневая система, разработанная в МРЕG-1. Различия между стандартами начинаются при переходе от двухканального звука, принятого за основу в МРЕG-1 к многоканальному(surround - панорамный), поддерживаемому в МРЕG-2.

МРЕG-2 предусматривает различные режимы передачи многоканального звука (см. таблицу), в том числе пятиканальный формат, семиканальный звук с двумя дополнительными фронтальными динамиками, применяемыми в кинотеатрах.

В числителе дроби указывается число фронтальных каналов, в знаменателе - число каналов, излучаемых сзади.

Одной из разновидностей многоканального звука является многоязычное звуковое сопровождение. Оно может осуществляться либо передачей отдельного цифрового потока для каждого языка, либо добавлением нескольких (до 7) языковых каналов 64 кбит/с к многоканальному потоку 384 кбит/с. Возможна передача дополнительных звуковых каналов для людей с ухудшением зрения и слуха (с описанием сцены в первом случае и отдельным каналом диалогов во втором). Как же обеспечивается совместимость этих сложных многокомпонентных сигналов с относительно простым декодером МРЕG-1? В кодере МРЕG-2 сначала с помощью матрицы формируются комбинированный двухканальный сигнал, совместимый со стереосигналом МРЕG-1, и набор вспомогательных сигналов, не совместимых с ним и служащих для восстановления многоканального сигнала в декодере МРЕG-2.

При кодировании двухканальный сигнал укладывается в структуру ПЭП звука, совместимого с МРЕG-1, и может прочитываться соответствующим декодером. Остальные компоненты после кодирования размещаются в других структурных единицах цифрового потока и доступны только декодеру МРЕG-2.

Учитывая широкое распространение в мире системы Dolby Pro Logic (продано более 40 млн декодеров) и совместимость ее с обычным стереокапалом, разработчики звукового стандарта МРЕG-2 заложили в алгоритм формирование стерео-сигнала в таком виде, как его формирует указанная система. Владельцы декодера Dolby Pro Logic могут теперь получить многоканальный сигнал двумя способами: либо непосредственно с выхода декодера MРЕG-2, либо подав комбинированный стереосигнал с выхода более простого декодера МРЕG-1 на вход декодера Рго Logiс, который выделит из него многоканальный сигнал.

Система улучшенного кодирования звука ААС.

Одной из лучших современных систем сжатия звука признана система ААС (Advanced Audio Coding -- усовершенствованная система кодирования звука). В отличие от других методов сжатия звукоданных, принятых в МРЕG-2, она не обладает свойством обратной совместимости. По своей эффективности ААС вдвое превосходит Уровень II и в 1,4 раза Уровень III стандарта МРЕG-1. Высококачественное воспроизведение звука достигается уже при скорости цифрового потока 96 кбит/с. В стандарте поддерживается широкий набор параметров и возможностей: частоты дискретизации от 8 до 96 кГц, моно- и стереосигналы, три профиля -- Основной , Упрощенный и Масштабируемый. Одновременно может быть описано до 16 звуковых программ, состоящих из большого числа сигналов звука и данных (до 48 основных, 15 низкочастотных, 15 многоязычных каналов, 15 потоков данных).

Как и самый сложный из предшествующих, Уровень III из МРЕG-1 /2, ААС использует все средства цифрового сжатия -- полосное кодирование, неравномерное квантование, кодирование кодом Хаффмана, итерационные алгоритмы распределения битов, но улучшает алгоритм Уровня III во многих деталях и использует новые эффективные средства кодирования для улучшения качества звучания при очень низких скоростях.

Основные улучшения можно свести к следующим моментам:

- улучшено разрешение по частоте благодаря использованию 1024 частотных полос по сравнению с 576 в алгоритме Уровня III(32x18). При этом короткие блоки имеют длину всего 256 отсчетов, что обеспечивает эффективную обработку быстрых изменений звукового сигнала. Переключение производится по результатам анализа поведения входного сигнала во времени.

- в Основном профиле применена оптимальная схема предсказания назад, обеспечивающая более высокую эффективность отработки изменений основного тона.

- применен более гибкий алгоритм кодирования в режиме joint stereo, как в режиме кодирования по интенсивности, так и в режиме “сумма-разность”.

- применен улучшенный код Хаффмана, кодирование четверками частотных линий применяется очень часто, что дополнительно сокращает расход битов.

В кодере Простого профиля отсутствует предсказание. Более сложный Масштабируемый профиль использует для анализа 4- полосный КЗФ, за которым следует модифицированное дКП с высокой разрешающей способностью по частоте. Модуль управления коэффициентом усиления на выходе фильтра позволяет независимо регулировать сигналы в каждой полосе для предотвращения пред-эхо.

Стандарт сжатия звуковой информации DоIbу АС-З.

Стандарт АС-З (или Dolby АС-З) предназначен для кодирования высококачественного звукового сопровождения в цифровом телевидении и мультимедиа. В частности, он используется в цифровой системе телевизионного вещания АТSС, принятой в США и ряде других стран. Стандарт АС-З позволяет кодировать звуковые сигналы до 5 каналов и один дополнительный сигнал низкочастотных звуковых эффектов (принято обозначение 5.1-канальный звук).

Стандарт АС-З позволяет объединять звуковые каналы, согласовывать источники звуковых сигналов и звуковоспроизводящую аппаратуру с разными количествами каналов, сжимать динамический диапазон звука и оптимизировать настройку громкости и дает еще много возможностей для получения наилучшего качества звука при высокой степени сжатия.

В зависимости от параметров исходных звуковых сигналов и заданной степени сжатия скорость передачи двоичных символов в выходном потоке данных может быть от 32 до 640 кбит/с. Для 5.1 -канального звука типичная скорость передачи 384 кбит/с., степень сжатия составляет 13,5.

Поток данных с кодера АС-З может быть в качестве элементарного потока включен в состав транспортного потока МРЕG-2. Поэтому стандарт АС-З может использоваться в системах цифрового телевидения для сжатия звуковой информации вместо методов, описанных в МРЕG-2.

Системный уровень МРЕG-2.

Перейдем к рассмотрению системной части стандарта МРЕG-2, которая описывает форматы мультиплексированных потоков данных, объединяющих сжатые видеоданные и данные звукового сопровождения от одного или нескольких источников, а также включающих другие виды информации.

Стандартом предусмотрено два вида таких мультиплексированных потоков: транспортный поток ТП и программный поток ПП.

Видеосигналы, т.е. яркостный и цветоразностные сигналы данной телевизионной программы, а также сигналы одного или нескольких каналов звукового сопровождения данной программы, преобразуются в цифровую форму в АЦП и кодируются.

В блоках, называемых пакетизаторами, данные разделяются на пакеты блоки данных, начинающиеся с заголовков определенной структуры. Получающиеся потоки называются пакетизированными элементарными потоками ПЭП. В каждом пакете ПЭП объединены данные, относящиеся к структурной единице входного сигнала, например к телевизионному кадру или к кадру сжатого звукового сигнала. Длина пакета ПЭП может достигать до 64 кбит. Передача данных в пакетах позволяет использовать различные каналы связи, в том числе асинхронные, объединять в одном потоке несколько элементарных потоков, обеспечивать защиту от ошибок при передаче и от несанкционированного доступа.

Заголовок пакета ПЭП содержит стартовый код, идентификатор, определяющий вид информации в этом пакете и способ кодирования, значение длины пакета, сведения о скремблировании, о типе временных меток и другую информацию.

ПЭП может содержать временные метки двух типов: DТS (Decoding Time Stamp - метка времени декодирования) и РТS (Presentation Time Stamp - метка времени воспроизведения). Наличие двух видов меток необходимо для правильной привязки к шкале времени операций декодирования и воспроизведения видео-кадров в приемниках, так как, как пояснялось ранее, порядок кадров при кодировании изменяется.

Пакетизированные элементарные потоки нескольких телевизионных программ, а также передаваемых дополнительных данных и сигналов управления объединяются в единый ТП. При этом данные перераспределяются в пакеты ТП, имеющие фиксированную длину 188 байт и определенную структуру заголовка, занимающего 4 байта.

После заголовка передаются данные соответствующего ПЭП (нагрузка пакета). В части пакетов после заголовка может следовать поле адаптации, в котором передаются метки времени, служебные данные или данные пользователя. Каждый пакет может содержать данные только одного элементарного потока. Пакеты с данными разных элементарных потоков передаются в транспортном потоке в произвольном порядке.

Заголовки пакетов ПЭП упаковываются в пакеты ТП наравне с другой информацией, однако начало заголовка пакета ПЭП должно располагаться в начале области данных пакета ТП. Транспортный поток может содержать и всего один элементарный поток, но фиксированная длина пакетов ТП сохраняется. Вся информация, необходимая декодеру для обработки, организована в виде таблиц программно-зависимой информации - PSI.

Специальные пакеты типа РАТ (Рrogram Association Таblе) несут информацию о том, какие значения идентификаторов соответствуют каждой из передаваемых в транспортном потоке программ. Для каждой программы передаются пакеты типа РМТ (Рrogram Мар Таblе), данные в которых определяют идентификаторы относящихся к этой программе элементарных потоков. Если программа платная, то для нее передаются пакеты с информацией условного доступа.

В особых пакетах в среднем 10 раз в секунду передаются метки времени РСR, содержащие значения моментов времени по часам в передающей части системы. По этим меткам в декодирующей аппаратуре восстанавливаются тактовые частоты каждого отдельного элементарного потока, которые между собой, вообще говоря, не синхронизированы, хотя и имеют стандартное значение 27 МГц. Если транспортный поток содержит несколько не синхронизированных между собой элементарных потоков, то для каждого из них передаются свои РСR.

Программный поток МРЕG-2 аналогичен системному уровню стандарта МРЕG-1 и содержит пакетизированные элементарные потоки одной телевизионной программы или нескольких программ, имеющих общую временную базу, т.е. взаимно синхронизированных. Длины пакетов программного потока могут быть различными. Структурные схемы формирования и приема программного потока похожи на приведенные выше схемы для транспортного потока. Программный поток может быть преобразован в транспортный поток и наоборот.

Транспортный поток рекомендуется использовать при передаче по каналам связи с помехами, а программный поток -- при отсутствии помех, например, при записи на лазерные диски.

Мультиплексирование.

Гибкость мультиплексирования ТП представляет возможность построения многопрограммной системы вещания, связанную с вводом в ТП, формируемый мультиплексором из программ, кодированных локальными кодерами, «постороннего» транспортного потока, поступившего по линии связи и имеющего другую временную базу (режим ремультиплексирования). Современные мультиплексоры легко справляются с такой задачей, позволяя при этом выбрать из компонентов пришедшего ТП желаемые, при необходимости изменить РID-идентификаторы пакетов этих компонент, режим скремблирования и другие параметры.

Еще одна возможность гибкого изменения параметров сжатого сигнала статистическое мультиплексирование, заключающееся в динамическом перераспределении ресурса битов между кодерами в многопрограммном цифровом потоке с учетом конкретных особенностей изображения в каждой программе таким образом, чтобы качество всех программ оставалось возможно более высоким.

Система работает следующим образом. Управляющий контроллер статистического мультиплексора получает от всех кодеров информацию о сложности обрабатываемого в данный момент изображения, оценивает ее и выделяет каждому кодеру ресурс битов, пропорциональный потребности. Если в пакете программ присутствуют, например, фильмовые, детские, спортивные, развлекательные программы, в разные моменты времени в зависимости от наличия движения, детальности изображения, цветовой насыщенности они требуют разной скорости выходного потока для сохранения примерно одинакового субъективного качества изображения и, что еще важнее, пики скорости наступают в разные моменты времени, так что суммарная скорость может быть заметно снижена.

Исследования показали, что без ухудшения качества можно выиграть примерно 30% пропускной способности канала. Это означает, что вместо 6-ти программ в спутниковом стволе можно передать 8.

Лекция 13

Стандарт кодирования МРЕG-4.

Следующим после МРЕG-2 проектом группы МРЕG стал стандарт МРЕG-4. Большинство документов, входящих в стандарт МРЕG-4, были приняты в конце 1998 начале 1999 годов. В 1999 году появилась вторая версия МРЕG-4.

Стандарт МРЕG-4 охватывает следующие области:

-- цифровое телевидение и видеосвязь;

-- интерактивную графику, синтез изображений;

-- интерактивные мультимедийные приложения, в том числе передаваемые через Интернет.

Стандарт МРЕG-4 позволяет передавать и записывать в различные ЗУ видео- и звуковую информацию с очень большими коэффициентами сжатия.

Первоначально он создавался для передачи движущихся изображений и звука по узкополосным каналам связи, что необходимо как в системах видеосвязи при использовании обычных телефонных сетей и относительно низкоскоростных цифровых каналов (64 кбит/с), так и для передачи через Интернет.

В настоящее время МРЕG-4 получил широкое распространение как средство записи кинофильмов и видеопрограмм на лазерные диски. Кроме того, новый стандарт обеспечивает интерактивность, т.е. возможность для пользователя управлять процессом передачи ему информации путем запросов, выбора вариантов и других действий. Возможности МРЕG-4 используются в телевизионном вещании, особенно в интерактивном телевидении.

Объекты и сцены.

Важнейшей особенностью МРЕG-4 является объектно-ориентированный подход, сущность которого заключается в том, что передаваемое изображение со звуковым сопровождением представляется как совокупность видео- и аудиообъектов.

Видеообъектами (VО - Visual object) могут быть изображения людей и предметов, перемещающихся перед неподвижным фоном, и сам неподвижный фон. Обычное телевизионное изображение может быть единым видеообъектом. Аудиообъектами (АО) могут быть голоса людей, музыка, другие звуки. Связанные видео- и аудиообъекты, например, изображение человека и его голос, образуют аудио-визуальный объект (AVOs). Видео- и аудиообъекты составляют сцену. МРЕG-4 содержит специальный язык для описания сцен -- ВIFS(Вinary Format for Scenes - двоичный формат для сцен).

Описание сцены имеет иерархическую структуру. На рис. 1 приведен пример структуры описания сцены из популярного мультфильма, в которой Винни-Пух и Пятачок обсуждают план добывания меда у дерева с пчелиным дуплом.

Верхним уровнем структуры является сцена в целом. Она содержит неподвижный фон, образованный изображениями земли, травы, дерева и т.д. В сцене присутствуют два говорящих персонажа, каждый из которых является аудиовизуальным объектом, включающим видеообъект -- движущееся изображение персонажа, и аудиообъект - голос этого персонажа. Кроме того в сцене присутствует пчелиный рой, который также является AVOs объектом, включающим видеообъект - изображение непрерывно движущихся пчел, и аудиообъект -- звуки, издаваемые ими.

Описание каждой сцены включает данные о координатах объектов в пространстве и об их привязке ко времени. Видеообъекты могут размещаться в разных планах сцены, так что видеообъекты, находящиеся в более близких к зрителю планах сцены перекрывают при движении видеообъекты, находящиеся в более дальних планах.

Сцена, представляемая пользователю, может содержать все объекты, информация о которых поступает в принимаемом потоке данных или только часть этих объектов. Состав сцены может определяться поставщиком мультимедийной продукции, например, в зависимости от суммы денег, заплаченных пользователем. В интерактивном режиме пользователь может влиять на развитие сцены, подавая соответствующие команды.

Кодирование видеообъектов.

Видеообъекты, составляющие сцену, кодируются по отдельности. Кодированные видеоданные всех видеообъектов объединяются в последовательность визуальных объектов (VS). Видеообъект может иметь несколько слоев или уровней, каждому из которых соответствует элементарный поток видеоданных. Наличие нес-кольких слоев обеспечивает возможность масштабируемости. Базовый слой дает изображение видеообъекта с базовым качеством. Дополнительные слои позволя-ют получать изображение с улучшенным пространственным разрешением, меньшими искажениями из-за сжатия и т.д.

Изменяющееся во времени изображение видеообъекта передается в виде последовательности его неподвижных изображений в дискретные моменты времени. Эти неподвижные изображения называются плоскостями видеообъекта (VОР - Visual Object Plane). Если видеообъектом является обычное телевизионное изображение, то плоскостями этого видеообъекта могут быть обычные кадры. VОР объединяются в группы (GOV). VОР, как и кадры в МРЕG-2, могут кодироваться независимо от других VОР (I-VОР) или с предсказанием и компенсацией движения (Р-VОР и B -VОР).

В отличие от МРЕG-1,2, в которых применяется фиксированный алгоритм кодирования, в МРЕG-4 используется целый набор методов кодирования, включающий как алгоритмы, сходные с применяемым в МРЕG-1 ,2, так и принципиально новые методы кодирования, основанные на понятии видео-объекта. Выбор того или иного метода кодирования в конкретном случае определяется типом видео-объекта и требуемым коэффициентом сжатия информации. МРЕG-4 позволяет эффективно сжимать как натуральные, так и синтетические изображения и объединять их при воспроизведении.

На вход кодера поступают исходные видеоданные, например, цифровой телевизионный сигнал. На выходе кодера формируется элементарный поток видеоданных.

Кратко рассмотрим основные методы кодирования натуральных изображений.

- видеообъекты, представляющие собой прямоугольные изображения (например, обычные ТВ кадры), кодируются методом, аналогичным применяемому в МРЕG-1,2. Метод включает предсказание с оценкой и компенсацией движения для макроблоков 16x16 пикселов и ДКП ошибки предсказания в блоках 8х8 пикселов. Для определенности будем считать, что предсказание в этом случае выполняется в блоке Пред1. Связь выхода блока ОД с мультиплексором и средства управления коэффициентом сжатия на рисунке не показаны.

Этот вид кодирования имеет два уровня по скорости передачи двоичных символов в выходном потоке данных.

Уровень очень низкой скорости передачи VLBV (Vегу Low Вitгаtе Vidео) предназначен для передачи изображений с низким пространственным разрешением и пониженной частотой кадров (10...15 Гц) по узкополосным каналам связи со скоростями передачи двоичных символов 5.. .64 кбит/с. Этот уровень может использоваться в видеотелефонной связи с невысоким качеством изображения.

Уровень высокой скорости передачи (Нigh bitrate) предназначен для передачи изображений с более высоким пространственным разрешением, вплоть до формата по Рекомендации 601, по различным каналам связи со скоростями передачи двоичных символов 64 кбит/с...10 Мбит/с. Этот уровень может использоваться в видеосвязи с высоким качеством изображения и для передачи телевизионных программ.

- кодирование, основанное на содержании, позволяет получить существенно большее сжатие изображений за счет учета свойств видеообъектов, присутствующих в сцене.

Одной из возможностей, создаваемых этими методами, является кодирование видеообъектов сложной формы. Например, в качестве видеообъекта может быть взята область изображения, отличающаяся от окружения яркостью или цветом. Эта область может перемещаться и деформироваться. При формировании предсказанного изображения с компенсацией движения смещаются не прямоугольные макроблоки, а выделенные области, которые к тому же могут изменять свою форму. При этом ошибка предсказания оказывается значительно меньше, и объем информации, содержащейся в разности предсказанного и настоящего изображений очередного кадра, существенно уменьшается.

Форма видеообъекта описывается матрицей. При бинарном кодировании элементы матрицы, соответствующие элементам изображения, входящим в видео-объект, приравниваются единице, а соответствующие элементам изображения, находящимся вне видеообъекта, -- нулю. При градационном кодировании элементы матрицы принимают большее число значений, что позволяет описывать такие свойства объекта, как прозрачность. Элементы указанной матрицы определяются и кодируются в Кодере формы, после чего они включаются через мультиплексор Мп в выходной поток данных.

Данные о форме видеообъекта занимают значительно больше двоичных символов, чем простой вектор движения. Тем не менее, общий выигрыш в уменьшении объема передаваемой информации по сравнению с МРЕG-1 ,2 оказывается существенным.

- для сжатия изображений неподвижного фона и текстур протяженных объектов используется метод кодирования, основанный на вейвлет-преобразовании. Этот метод обеспечивает высокие степени сжатия и многоступенчатую масштабируемость по пространственному разрешению.

- неизменяющийся или почти неизменяющийся задний план изображения может передаваться как так называемый спрайт. Полное изображение спрайта передается один раз. Затем передаются только 8 параметров глобального движения, описывающих панорамирование, т.е. перемещение камеры относительно заднего плана.

Перейдем к методам кодирования синтетических видеообъектов, создаваемых с использованием средств машинной графики. Такие видеообъекты могут кодиро-ваться рассмотренными выше методами для натуральных изображений. Однако значительно эффективнее использовать их параметрическое описание.

В стандарте МРЕG-4 используется модель человеческого лица, построенная на основе сетки из треугольных ячеек, которые заполняются текстурой(мелкая структура изображения). Пример «сеточной модели лица показан на рис.3. Имеется также трехмерная модель человеческого тела в виде трехмерной сетки. двумерные изображения человека получаются путем построения проекции трехмерной модели на нужную плоскость.

“Сеточная” модель лица.

Форма, текстура и выражение лица в статике описываются параметрами FDP (Fасiаl Dеfinition Рагаmeters), а в динамике -- параметрами FАР (Fасiаl Апimаtiоп Рагаmeters).

Для тела в статике задаются параметры ВDР (Воdу Definition Рагаmeters), а в динамике -- ВАР (Body Апimаtiоп Рагаmeters). Статические параметры FDP и BDP передаются в начале сеанса связи. Для воспроизведения мимики лица и движений тела собеседника в процессе разговора передаются динамические параметры FАР и BАР.

Синтетические изображения лица и тела человека могут использоваться в системах видеосвязи вместо настоящих изображений собеседника.

Передача параметров модели требует существенно меньшей скорости передачи двоичных символов, чем передача реального изображения.

В некоторых случаях можно в приемной части системы получить информацию об изменениях изображения объекта на основе другой информации. Такой случай характерен для передачи изображения лица говорящего человека. Движения рта и мимика во многом определяются произносимыми словами и могут быть синтезированы на основе принятого звукового сигнала, содержащего голос собеседника. При этом требуемая для осуществления видеосвязи скорость передачи двоичных символов еще уменьшается.

Помимо лица и тела могут синтезироваться произвольные двумерные изображения также в виде сеток с треугольными ячейками, заполняемыми текстурой.

Стандартом МРЕG-4 обеспечивается многоуровневая масштабируемость по пространственному разрешению, по времени и по качеству изображения. В стандарте предусмотрены средства, обеспечивающие работоспособность системы передачи видеоинформации при наличии помех и ошибок в канале связи.

Кодирование аудиообъектов.

Кодирование звуковой информации также может осуществляться разными способами, дающими различные объемы передаваемых данных и различное качество звука на выходе системы.

- кодирование всех видов звука с обеспечением высокого и среднего качества выполняется методом, основанным на методе ААС стандарта МРЕG-2. При этом обеспечивается передача до 8 каналов звука при скорости передачи двоичных символов 16...64 кбит/с на канал.

- кодирование музыки и других звуков с более низкими скоростями выходного потока по методу ТwinVQ( Взвешенное векторное квантование с перемежением в области преобразования). Как и в методе ААС, в этом методе выполняются разложение на частотные поддиапазоны и ДКП в каждом из них. Отличие ТwinVQ от ААС состоит в векторном квантовании спектральных составляющих звукового сигнала.

В результате скорость передачи двоичных символов в выходном потоке данных составляет от 6 до 24 кбит/с.

- для передачи речи с высоким и средним качеством используется метод кодирования СЕLР ( кодирование возбуждений с линейным предсказанием), который обеспечивает скорости передачи 6...24 кбит/с при частотах дискретизации 8 кГц или 16 кГц.

- параметрическое кодирование речи по методу НVХС ( кодирование возбуждений гармоническими векторами), которое обеспечивает сжатие при сохранении разборчивости до скоростей 2.. .4 кбит/с и даже до 1,2 кбит/с при частоте дискретизации 8 кГц.

- самые низкие скорости передачи 0,2... 1,2 кбит/с достигаются для искусственно синтезированной речи. Для этого в МРЕG-4 имеется интерфейс преобразования текста в речь ТТSI, который позволяет передавать описание речи в виде последовательности фонем (звукосочетаний) с указаниями особенностей их произнесения (ударения, длительности и т.д.). По этим данным в декодере синтезируется речь, которая синхронизируется с анимацией изображения лица.

- музыка также может передаваться в виде описания и синтезироваться в декодере. Для описания звучания музыкальных инструментов в МРЕG-4 дан специальный язык SАОL( язык структурированного звукового оркестра).

Каждый инструмент представляется как небольшой набор средств обработки сигналов, позволяющий создавать специфический для данного инструмента звук. Описания музыкальных инструментов загружаются в декодер из принимаемого потока данных и могут храниться в нем для последующего использования.

Для описания собственно музыки передается описание оркестровки, т.е. команды и данные, по которым осуществляется синтез звуков, соответствующих разным инструментам.

Оркестровка описывается с помощью особого языка SASL (язык структурированной звуковой оркестровки).

Отметим, что для синтезированных речи и музыки в МРЕG-4 задаются именно языки их описания, а не сами алгоритмы синтеза, которые могут быть различными.

Кодирование аудиообъектов также обладает свойством масштабируемости. Например, на базовом уровне может использоваться метод кодирования СЕLР, а дополнительный уровень обеспечивает качество звука, соответствующее кодированию по МРЕG-2 ААС.

Более сложный и дорогой декодер может декодировать базовый и дополнительные слои потока данных и позволяет получать более высокое качество воспроизводимого звука, чем более простой и дешевый декодер, воспринимающий только базовый слой.

Передача данных.

Структурная схема формирования передаваемых потоков данных в стандарте МРЕG-4. Элементарные потоки ES с видео- и аудиокодеров поступают на уровень синхронизации (SL) и в блоках SL преобразуются в пакетизированные SL-потоки, в которые введены метки времени и данные о тактовых частотах. Это позволяет привязать к единой шкале времени различные видео и аудиообъекты.

Далее пакетизированные SL-потоки поступают на уровень DМIF(интегрированная система доставки мультимедиа). Это протокол, обеспечивающий управление потоками данных для мультимедиа. Как всякий протокол передачи данных (например, протоколы, используемые в Интернет), DМIF обеспечивает посылку запросов от пользователя к источнику информации и пересылку запрошенных данных пользователю. Кроме того, DМIF дает пользователю средства управления в виде интерфейса пользователя, позволяя подавать команды для выбора информации (например, фильма) и формируя сообщения о получении доступа к этой информации или о возникших при этом трудностях.

DМIF охватывает три основные сферы применения МРЕG-4: передачу по интерактивным сетям (Интернет), передачу по обычным вещательным каналам и запись видеопрограмм на компакт-диски.

На уровне DМIF возможно объединение в блоках FlexMux пакетизированных SL- потоков во FlexMux потоки. Эта операция является необязательной, так как под управлением DМIF могут передаваться и пакетизированные SL-потоки.

Затем данные переходят на уровень TransMux, где FlexMux или SL потоки объединяются и преобразуются в транспортный поток. В стандарте МРЕG-4 этот поток не определен. В качестве его может использоваться, например, транспорт-ный поток МРЕG-2.

До сих пор речь шла о потоке, который несет данные от источников видеопрограмм к зрителям. Для реализации интерактивного телевидения и различных видов мультимедийного сервиса необходима передача информации от зрителя на головную станцию системы. Для этого передается восходящий поток данных, скорость передачи двоичных символов в котором обычно значительно меньше, чем в нисходящем потоке.

Декодирование и воспроизведение.

На вход поступает транспортный поток TransMux Stream, из которого в демультиплексоре выделяются элементарные потоки, данные каждого из которых записываются в соответствующее БЗУ1. Назначение БЗУ1 -- накапливать неравномерно поступающие по каналу связи данные и по мере надобности передавать их на декодер. Далее выполняется декодирование элементарных потоков. Получаемые при этом данные видео- и аудиообъектов записываются в БЗУ2. ЭП, относящиеся к одному объекту, могут декодироваться совместно.

Данные отдельных объектов считываются из соответствующих БЗУ2 и из них в блоке объединения формируются цифровые сигналы изображения и звука, поступающие далее на воспроизводящие устройства. При этом обеспечивается синхронизация всех видео- и аудиообъектов.

Типы объектов, профили и уровни МРЕG-4.

Понятия уровня и профиля имелись в МРЕG-2. Помимо этого, в МРЕG-4 появилось понятие типа объекта. Предусмотрены следующие типы видеообъектов:

-- простой - прямоугольный видеообъект, при кодировании которого используются VОР I- и Р-типов;

-- простой масштабируемый, в котором добавлена возможность масштабирования по пространственному и временному разрешениям;

-- базовый, в котором по сравнению с простым добавляется возможность использования VОР В-типа;

-- основной, в котором по сравнению с базовым добавляются градационное кодирование формы, спрайты, чересстрочная развертка;

-- N-битовый, в котором по сравнению с базовым добавляется возможность задавать число двоичных разрядов в пределах от 4 до 12;

-- неподвижная масштабируемая текстура, кодируемая с использованием вейвлет-преобразования;

-- анимируемая двумерная сетка, с помощью которой может представляться натуральное изображение с последующим его изменением (анимацией) путем перемещения узлов сетки;

-- базовая анимированная текстура, обеспечивающая возможность анимации неподвижных изображений;

-- примитивное лицо, дающее средства анимации человеческого лица.

Профили в МРЕG-4 различаются по составу используемых типов объектов, по возможному числу видеообъектов в сцене и по максимальной скорости передачи двоичных символов в выходном потоке данных. Различные профили предназначены для разных областей применения. Уровни, как и в МРЕG-2, определяются количеством элементов изображения в сцене.

Для звуковой информации в первой версии МРЕG-4 предусмотрено 15 типов объектов, различающихся используемым методом кодирования и наличием масштабируемости.

Профили кодирования звука различаются составом доступных для них типов аудиообъектов. Речевой профиль может использовать объекты типов СЕLР, НVХС и ТТSI. Масштабируемый профиль помимо этого использует объекты типов ААС и ТwinVQ. Синтетический профиль использует только типы объектов, включающие синтезированные звуки. Основной профиль объединяет возможности трех предьщущих.

Во второй версии МРЕG-4 введены дополнительные профили как для изображений, так и для звуков, а также графические профили, профили описания сцены и профиль дескрипторов(средство описания признаков мультимедийного контента) объектов.

Отметим, что одна из основных идей, заложенных в МPЕG-4, идея разбиения кадра на сцену и объекты, которые кодируются отдельно, а приемнику передается информация об изменении каждого из объектов, пока не реализована.

Механизм такого многослойного кодирования актуален, в первую очередь, для систем интерактивного телевидения, в котором объекты могут, на компьютерный манер, использоваться для управления событиями. В настоящее время в сетях цифрового вещания широко используется технология компрессии H.264/AVC, стандартизированная в 10-ой части стандарта MPEG-4, используемая для сжатия объектов прямоугольной формы.

Но даже, если не принимать во внимание этот нюанс, то говорить о существовании горизонтального рынка, предполагающего что в рамках одного проекта можно использовать оборудование разных производителей не ожидая системных подвохов, пока рано. Он также предполагает примерно одинаковое качество работы декодеров, в том числе бытовых. Эти условия уже давно соблюдаются в отношении аппаратуры с МРЕG-2, но не всегда для оборудования с МРЕG-4.

Параллельно с МРЕG-4 развиваются и другие стандарты - VС- 1 (Vidео Соdеc), Windows Media, MediaFlo и АVS. VС-1 -- это разработка Мiсrоsoft.

Он появился несколько лет назад одновременно с Н.264 и поначалу рассматривался как его серьезный конкурент. Все ведущие производители поспешили анонсировать разработку кодеров обоих форматов. Но в итоге европейский рынок отдал пред-почтение МРЕG-4, и VС-1 используется только в некоторых сетях IРТV. Разработка AVS инициирована правительством Китая. Этот стандарт описывает не только методы видео- и аудиокомпрессии, но также и систему контроля копирования контента. Несмотря на различное происхождение стандартов, причина их появления одна - нежелание оплачивать лицензию за использование MPEG cтандарта.

МРЕG-7 и метаданные.

Глобальный информационный взрыв поднял вопрос: а есть ли вообще смысл в возможности получения доступа ко всей информации, какая только существует на планете, если Вы не знаете, где находится именно та информация, которая нужна лично Вам. На самом деле Интернет и “Всемирная паутина” WWW обеспечивают в этом смысле превосходный сервис. Было бы совершенно невозможно найти требуемые данные, если бы не такие системы поиска по заданному тексту, как Yahoo и т.п.. И действительно, наиболее посещаемые сайты в Интернет -- сайты с текстовыми поисковыми системами.

В условиях все большей “цифровизации” телевидения вполне логичными кажутся прогнозы о “постепенном взрыве” объемов аудио-визуальной информации в новом веке, подобно тому, как это происходило с текстовой информацией и неподвижными изображениями в течение последних нескольких лет. Но как будет работать видеоэквивалент подобной Yahoo системы? Ведь общепринятого описания телевизионного материала пока что просто не существует. Невозможно, скажем, послать запрос “Рик, Эльза и самолет” и получить кадр с таким содержанием. Так же как невозможно запросить “ми бемоль, ми бемоль, ми бемоль, до” и получить от поисковой системы ответ “Бетховен, Симфония N5, до минор”.

Поэтому группа МРЕG запустила проект, нацеленный на решение поставленных выше задач. Новый член семейства МРЕG, названный “интерфейсом описания мультимедийного контента” или МРЕG-7, определяет стандартный набор дес-крипторов, которые могут быть использованы для описания различных типов мультимедийной информации. Таким образом, становится возможным проиндексировать и вести поиск тех аудио-видеоматериалов, для которых будут указаны соответствующие им данные МРЕG-7. Такие материалы могут включать неподвижные изображения, графику, трехмерные модели, аудиоинформацию, речь, видео, а также информацию о том, как все эти элементы объединяются в мультимедийную презентацию (так называемый “сценарий”). Специальные виды информации могут включать данные по мимическим выражениям и персональные характеристики.

МРЕG-7 строится на базе МРЕG-4, который, как мы уже видели, обеспечивает средства кодирования аудио-видеоматериалов в виде объектов с определенными пространственно-временными соотношениями.

Область применения стандарта включает образование, журналистику, культуру (музеи, картинные галереи) , архивы кино, телевидение и радио, дистанционное зондирование, телемедицину и многие другие отрасли.

Лекции 14-15. Микширование и комбинирование видеосигналов

Телевизионная программа, содержащая единственную, непрерывно снимаемую одной и той же камерой сцену, была бы неимоверно скучна, какой бы сложной ни была эта сцена.

Любая телевизионная программа состоит из последовательности различных изображений, сменяющих друг друга по мере переключения камер и, соответственно, смены снимаемых ими сцен.

Стилистически такая техника ведет свое происхождение от кинематографа, в котором отдельные фрагменты фильма соединялись вместе (фактически соединялись клеем).

В телевидении данный эффект обеспечивается электронным образом путем переключения с одной камеры на другую. Чтобы переключение проходило успешно, оно должно происходить во время прохождения гасящих кадровых импульсов. Это выглядит прямой аналогией с кинематографом, где фрагменты пленки должны нарезаться по границам кадров, чтобы стык оставался невидимым. На первый взгляд это условие кажется незначительным, но на самом деле оно налагает требования как на процедуру самого переключения, так и на характеристики выбираемых источников видеосигналов, что более важно. Кадровые гасящие импульсы в переключаемых сигналах должны приходиться на одни и те же моменты времени. Это наиболее существенное требование, из которого следует, что любые источники видеосигналов, подключаемые к системе (аналоговой или цифровой) должны быть синхронизированы между собой. Выполнение изложенных требований обычно достигается путем подачи на каждый видеоисточник некоторого опорного сигнала с синхронизирующей информацией, обычно называемого “соlог black”. Процесс смены одного съемочного плана другим называется видеопереходом. В том случае, когда используется записанный ранее видеоматериал, процесс формирования переходов называется монтажом. В настоящее время специализированные видеомикшеры заменяются монтажным программным обеспечением, работающим на персональных компьютерах. Существует всего четыре типа монтажных стыков или переходов: - прямой переход. - микширование или наплыв. - введение/выведение. - вытеснение (шторка).

Каждый тип перехода, имея свой, отличный от других, визуальный характер, часто несет в себе и какой-то свой смысл. Видеомикшер или программное обеспечение для монтажа на компьютере дают возможность комбинирования различных типов переходов, придавая сюжету дополнительную драматичность или, наоборот, комедийный характер.

Прямой переход-- наиболее простой тип перехода, состоящий в мгновенной смене одного съемочного плана другим.

Технически прямой переход является простым переключением между источниками. Условия необходимые для его осуществления рассматривались выше.

Наплыв или микширование наплывом - переход, в котором один съемочный план плавно сменяет другой. При этом переходе одно изображение начинает слабеть, а другое, поначалу невидимое, становится постепенно все более заметным. На половине перехода оба изображения видны одновременно приблизительно в одинаковую силу. Технически наплыв достигается умножением значений сигнала первого источника для всех пикселов на один коэффициент, а соответственных значений второго источника - на другой, равный разности между единицей и первым коэффициентом. Если мы обозначим первый и второй съемочные планы через Р и Q, то выход представится в виде {аР + (1-а)Q}. При этом коэффициент а должен плавно меняться во времени от 1 (изображение составлено только из Р) до 0 (изображение составлено только из Q). При компьютерном монтаже соответствующие вычисления выполняются программным образом. При использовании видеомикшеров умножение осуществляется с помощью специальных электронных схем.

Выведение -- постепенный переход от изображения к темному экрану. Введение - постепенный переход от темного экрана к изображению. Обычно эти переходы используются в профессиональном телевидении в начале или в конце программы для того, чтобы показать, что между отдельными съемочными планами прошел какой-то промежуток времени. Как Вы уже могли бы догадаться, введение/выведение могут рассматриваться как наплыв, с той разницей, что вместо одного из съемочных планов берется сигнал черного поля. Переход типа “вытеснение шторкой” или просто шторка -- переход, при котором один съемочный план постепенно замещает другой. Он похож на наплыв тем, что в отличие от прямого перехода, также не происходит мгновенно.

Отличие же от наплыва состоит в том, что в случае шторки второе изображение как бы постепенно приоткрывается из-под первого, которое в свою очередь как бы стирается с поверхности экрана. Шторки формируются с помощью счетчиков долей строк и долей кадров, генерирующих линейные по времени функции, показывающие, какая доля строки пройдена от ее начала и, соответственно, какая доля поля пройдена. Сигналы счетчиков подаются на цифровой компаратор, на другой вход которого подается заданный меняющийся по времени сигнал, определяющий форму и скорость перемещения шторки. По мере постепенного изменения указанного сигнала компаратор будет переключаться из одного состояния в другое. По ходу сканирования экрана по вертикали и горизонтали положение точек переключения на строке будет меняться. Если теперь сигнал с выхода компаратора, принимающий дискретные значения О и 1, подать в качестве коэффициента а на блок наплыва, рассмотренный выше, а выходной сигнал с этого блока сформировать как:

аР + (1-а)Q = выходной сигнал

то результатом будет резкий переход от одного сигнала к другому, видимая на экране граница которого будет меняться в зависимости от предварительных установок на входе компаратора. Получение более сложных конфигураций шторок возможно при суммировании и неаддитивной комбинации сигналов счетчиков строк и кадров. Рассмотрим теперь несколько эффектов, применяемых при трансляции программ.

Расщепленный экран это эффект, представляющий собой по существу “замороженную” шторку, используется в профессиональных видеомикшерах при производстве новостийных программ и позволяет, например, вставить над головами дикторов неподвижный кадр из репортажа с места событий, пока они читают вступление к сюжету.

Постеризация -- эффект, позволяющий придать изображению сильную степень драматизма. Вы можете увидеть его в различных музыкальных программах и другой видеопродукции, насыщенной спецэффектами. Этот эффект представляет собой искажение изображения, получаемое за счет более грубого квантования, и достигается путем уменьшения разрядности в видеоданных до уровня ниже нормального, т.е. ниже 8 или 10 бит, предусмотренных для сигнала яркости.

Цветовая рирпроекция (хромакей) является одним из наиболее мощных инструментов, позволяющих сочетать снятое камерой естественное видеоизображение и сгенерированный на компьютере задний план или анимацию.

Компьютерные видеостандарты.

Наиболее важным фактором в данном случае является наличие прямого соединения между выходами цифро-аналоговых преобразователей и входами монитора для передачи аналоговых сигналов красного, зеленого и синего цветов. Таким образом, компьютер не должен осуществлять кодирование сигнала цветности. В этом нет никакой необходимости, поскольку обеспечение требуемой полосы передачи в данном случае не представляет проблемы. Из-за отсутствия перекрестных искажений сигналы остаются более “чистыми”. Видеокарта компьютера содержит чип видеоконтроллера, оперативную видеопамять (RАМ), базовую систему ввода-вывода (ВIOS) и цифро-аналоговые преобразователи. Контроллер преобразовывает изображения, хранящие в видеопамяти (VRАМ), в сигналы, имеющие форму, подходящую для передачи на цифро-аналоговые преобразователи для дальнейшего отображения на мониторе. На контроллер также возлагаются задачи синхронизации и общие функции по поддержанию работы системы, В первом приближении объем видеопамяти определяет разрешение и число доступных цветовых оттенков. Чип базовой системы ввода-вывода (ВIOS) поддерживает связь между центральным процессором компьютера и видеосистемой через шину РСI. Видеопамять является частью памяти компьютера, к которой одновременно могут адресоваться как центральный процессор, так и ВIOS видеокарты.

Практически совершенное телевизионное изображение можно получить при отношении сигнал/шум около 50 дБ. В терминах цифрового сигнала это означает необходимость трех 8-битовых чисел на каждый пиксел. В компьютерных технологиях такое изображение называется ТrueСоlог. Ему соответствуют 16.8 миллионов (2 в степени 24) отличных друг от друга цветовых оттенков (для простоты говорится о 16 миллионах цветов, отображаемых в ТrueСоlог . Компьютер также передает на монитор сигналы синхронизации. Чересстрочная развертка, являющаяся нормой в телевидении, в большей части компьютерных видеостандартов не рассматривается вовсе. Более того, сигналы вертикальной и горизонтальной синхронизации в компьютерной технике, как правило, полностью разделены.

Компьютерная графика и анимация.

Бесспорно, роль современных компьютеров в графике и анимации чрезвычайно велика. Они могут использоваться просто как средства рисования, с их помощью можно создавать и запоминать целые последовательности индивидуальных изображений и показывать их в виде окончательно сформированного анимационного клипа. При достаточной мощности компьютера это можно делать в реальном времени, в противном случае необходимо записывать каждый кадр на ленту или на диск. Компьютер может использоваться для создания промежуточных изображений (промежуточных фаз) между ключевыми фазами, нарисованными художником, обеспечивая тем самым плавность движений на экране. На компьютере можно сгенерировать целый мир - несуществующий искусственный мир в трехмерном пространстве, объединяющий вместе сложные движения, синтезированные источники света, тени и текстуру поверхности. Современные компьютеры позволяют создавать анимацию, выходящую за рамки того, что достижимо силами человека-художника в течение нескольких человеческих жизней (из которых, по крайней мере, одна должна уйти на проведение математических операций).

Существует два основных типа анимации и два основных типа графики. Все вместе их можно рассматривать как четыре компоненты матрицы возможностей, каждая из которых требует различных программных средств и различных аппаратных ресурсов.

Типы анимации.

Известно, что если перед глазами в достаточно быстром темпе появляется последовательность незначительно отличающихся друг от друга изображений, то возникает впечатление подвижного изображения. Кинокамера представляет реальное непрерывное движение через последовательность мгновенных неподвижных снимков, на основе которых в зрительном аппарате человека восстанавливается непрерывное изображение. Анимация (мультипликация) идет еще на шаг дальше.

Здесь последовательность неподвижных изображений возникает уже в самом начале процесса. При быстром просмотре такой последовательности также возникает ощущение непрерывности движения. Ниже мы рассмотрим анимацию, которая выполняется на настольных компьютерах. К счастью, настольные компьютеры нового поколения обеспечивают превосходную графику, конкурирующую по четкости с телевизионными изображениями вещательного качества. Но эту графику надо еще уметь передать на другие носители, а это не такой простой вопрос.

Основной источник проблем совместимости - различие в числе строк и кадров в компьютерных и телевизионных стандартах. Системы анимации в реальном времени способны воспроизводить индивидуальные кадры в темпе, обеспечивающем их восприятие в виде непрерывного движущегося изображения. Отсюда следуют вполне определенные требования на аппаратные средства, поскольку одного только большого объема оперативной памяти и высокого быстродействия процессора может оказаться недостаточно. Так, нормальная скорость доступа к жесткому диску может оказаться слишком малой с точки зрения обеспечения абсолютно стабильного темпа выдачи кадров.