Основы радиовещания и телевидения

Принятие решения о передаваемых компонентах сигнала в каждой частотной полосе происходит независимо от других и выполняется устройством динамического распределения битов. Сигналы на выходе частотных полос объединяются в единый цифровой поток с помощью мультиплексора.

Возможны три стратегии распределения битов.

В системе с прямой адаптацией кодер производит все расчеты и посылает результаты декодеру. Преимущество данного способа в том, что алгоритм распределения битов может обновляться и изменяться, не затрагивая работы декодера. Однако для пересылки дополнительных данных декодеру расходуется заметная часть общего запаса битов.

Система с обратной адаптацией осуществляет одинаковые расчеты и в кодере, и в декодере, поэтому нет необходимости пересылать декодеру дополнительные данные. Однако сложность и стоимость декодера значительно выше, чем в предыдущем варианте, и любое изменение алгоритма требует обновления или переделки декодера.

Компромиссная система с прямой и обратной адаптацией разделяет функции расчета распределения битов между кодером и декодером таким образом, что кодер производит наиболее сложные вычисления и посылает декодеру только ключевые параметры. В такой системе кодер не может быть существенно изменен, но настройка некоторых параметров допустима.

Лекции 9-10 Стандарт сжатия неподвижных изображений JPEG

Один из наиболее эффективных методов сжатия неподвижных изображений изложен в стандарте JPEG(Joint Photographic Expert Group).

Он обладает исключительно высоким коэффициентом сжатия при сохранении высокого качества изображения. Среди известных программных реализаций алгоритма JРЕG можно назвать файлы JFIF и JРЕG-TIFF. В методе JРЕG используют пространственную корреляцию сигналов отдельных элементов изображения, а также некоторые свойства зрительного анализатора.

Последовательность операций при кодировании, поясняемая структурной схемой на рис.1, включает:

-преобразование изображения RGB в пространство сигналов яркости и цветности;

- разбиение изображения на блоки 8х8 пикселов;

- выполнение быстрого двумерного ДКП (БДКП) в каждом блоке;

- квантование полученных коэффициентов ДКП с использованием таблицы коэффициентов квантования.

- энтропийное кодирование (методом Хаффмана или арифметическим кодированием) квантованных коэффициентов ДКП каждого блока изображения с формированием и использованием таблицы кодирования (таблицы кодов).

Структурная схема кодирования по стандарту JРЕG.

В результате кодирования исходное изображение преобразуется в сжатые видеоданные, записываемые в файл.

Последовательность операций при декодировании включает:

* декодирование энтропийного кода;

* деквантование коэффициентов ДКП для каждого блока 8х8 пикселов;

* обратное БДКП для каждого блока;

* объединение блоков в декодированное изображение.

При декодировании энтропийного кода и при деквантовании используются соответствующие таблицы, которые считываются из файла со сжатыми видеоданными.

В стандарте JРЕG предусмотрены 4 режима кодирования:

-- последовательный на основе ДКП;

-- прогрессивный на основе ДКП;

-- без потерь;

-- иерархический.

Самой крупной единицей кодирования во всех режимах является изображение, которое надо сжать.Изображение содержит только один кадр в последовательном и прогрессивном режимах, и этот кадр идентичен самому изображению. В иерархическом режиме изображение разделяется на несколько кадров. Следующий уровень разбиения данных -- скан, который содержит часть информации изображения. Разделение на сканы осуществляется по-разному в разных режимах.

В режиме последовательного кодирования на основе ДКП последовательно кодируются и декодируются все блоки изображения, которые составляют один скан.

Изображение может содержать одну или несколько составляющих. Полутоновое монохромное (черно-белое) изображение содержит одну составляющую. Цветное изображение содержит несколько составляющих, например, яркостную Y и две цветоразностные Сr и Св. Для изображения, содержащего несколько состав-ляющих, возможны варианты кодирования без перемежения и с перемежением. При кодировании без перемежения сначала кодируется первая составляющая, образуя первый скан, затем вторая составляющая, образуя второй скан, и т.д. При кодировании с перемежением блоки всех составляющих образуют один скан и кодируются и записываются в выходной поток данных поочередно. Например, в случае формата дискретизации 4:2:0, сначала кодируются 4 блока Y, образующие матрицу 2х2, затем соответствующий им один блок Св, затем -- один блок Сr, затем следующие 4 блока Yи т.д.

Прогрессивный режим сжатия предполагает наличие более одного скана и другой порядок воспроизведения декодируемого изображения. Декодирование первого скана каждой составляющей изображения должно обеспечить воспроизведение всего изображения с каким-то начальным, относительно невысоким качеством. декодирование каждого последующего скана должно давать изображение со все более и более высоким качеством. Такой вариант может быть полезен для быстрого просмотра и поиска изображений в базах данных, в Интернете и других подобных применениях

Используются два способа получения постепенного повышения качества декодируемого изображения. Первый способ состоит в том, что в данном скане из каждого блока изображения кодируется только определенный диапазон коэффициентов из последовательности, полученной зигзагообразным считыванием. Этот способ называется спектральной селекцией, так как каждый диапазон обычно содержит коэффициенты, занимающие нижнюю или верхнюю часть частотного спектра блока 8х8 пикселов, т.е. является спектральным диапазоном. Второй способ состоит в том, что в первом скане изображения кодируют наиболее значимые биты коэффициентов всех блоков. Каждый следующий скан дает повышение точности коэффициентов ДКП на один бит. Такой способ называется последовательным приближением.

Режим JРЕG без потерь информации основан на использовании кодирования с предсказанием по соседним элементам изображения. Все операции в этом режиме полностью обратимы, но достигаемое сжатие невелико.

В иерархическом режиме изображение кодируется как последовательность кадров. Первый кадр каждой составляющей является неразностным (обычным). За каждым неразностным кадром могут следовать один или несколько разностных кадров. Каждый разностный кадр содержит кодированную разность действительного изображения этого кадра и опорного изображения, реконструированного по предыдущим кадрам. Кодирование разностей может быть выполнено с использованием только процессов на основе ДКП, только процессов без потерь или процессов на основе ДКП с заключительным процессом без потерь.

Иерархический режим обеспечивает воспроизведение с постепенным повышением качества, как и прогрессивный режим. Декодирование каждого следующего кадра дает изображение, все более близкое к несжатому оригиналу. По сравнению с прогрессивным режимом иерархический режим обладает важным свойством, которое может быть полезно в ряде применений. Последующие кадры каждой составляющей могут давать увеличение пространственного разрешения изображения. При сжатии выполняется последовательное прореживание исходного изображения, в результате чего получается последовательность вторичных изображений с последовательно уменьшающимся числом элементов.

Первый (неразностный) кадр получается путем кодирования вторичного изображения с наименьшим пространственным разрешением. Опорное изображение для получения следующего за ним разностного кадра получается путем увеличения с помощью интерполяции числа элементов в первом кадре. Опорное изображение для каждого следующего разностного кадра получается путем интерполяции дополнительных элементов в изображении, полученном из всех уже закодированных кадров.

Метод JРЕG реализуется, как правило, программными средствами на компьютерах. Основные области его применения: архивирование изображений на магнитных и оптических дисках, передача неподвижных изображений по каналам связи, запись в запоминающее устройство(ЗУ) отснятых кадров в электронных фотокамерах и др.

Дальнейшим развитием стандарта JPEG является стандарт сжатия статических изображений JРЕG-2000, базирующийся на дискретном вейвлет преобразовании. Стандарт JРЕG-2000 обеспечивает эффективное кодирование, возможность сжатия без потерь, прогрессивное представление с пошаговым увеличением разрешения, достаточно высокую устойчивость к ошибкам в канале связи, возможность избирательного доступа к отдельным частям изображения, кодирование в реальном времени.

В отличие от рассмотренных вариантов кодирования с использованием ДКП, вейвлет-преобразование применяется к полному изображению.

Стандарт цифрового сжатия МРЕG-1.

Аббревиатура МРЕG (Motion Рiсtures Ехрегts Group) переводится как группа экспертов по движущимся изображениям. Эта группа была сформирована в 1988 г. под эгидой Объединенного технического комитета по информационным технологиям Международной организации стандартизации и Международной электротехнической комиссии для выработки международного стандарта цифрового сжатия движущихся изображений и звуковых сигналов.

Стандарт МРЕG-1 был принят в 1993 г. Как и последующие стандарты этого семейства, МРЕG-1 не определяет схему и конструкцию кодера и декодера, он лишь описывает средства, используемые для обработки сигнала, определяет синтаксис (правила построения последовательности символов) совместимого цифрового потока и дает примеры реализации декодера.

Состав и построение кодера оставлены на усмотрение разработчика. Это может быть аппаратное или программное устройство любой сложности, дающее на выходе синтаксически правильный цифровой поток и позволяющее получить на выходе эталонного декодера желаемый эффект.

Таким образом, не накладывается никаких ограничений на технологию, алгоритмы работы, сложность построения кодера и его будущие усовершенствования. В отношении декодера существует одно жесткое ограничение: он должен декодировать любой цифровой поток, совместимый со стандартом МРЕG-1.

При разработке стандарта были приняты следующие ограничения, определившие его область применения:

-- размер изображения по горизонтали - не более 768 пикс.;

-- размер изображения по вертикали не более 576 строк;

-- число макроблоков - не более 396;

-- частота кадров - не более 30 Гц;.

-- развертка прогрессивная;

-- скорость цифрового потока - не более 1,856 Мбит/с.

На первый взгляд может показаться, что нет особых препятствий к использованию МРЕG-1 для кодирования сигналов вещательного телевидения -- число строк и элементов в строке даже выше, чем требуется для изображения стандартной четкости (720 х 576 или 720 х 480 пикселов, в зависимости от стандарта разложения). Ограничивающим параметром оказывается, как ни странно, число макроблоков в видеокадре. Для обработки ТСЧ изображения надо иметь (720:16) х (576:16) = 1620 макроблоков/кадр, а стандарт предусматривает только 396, что соответствует формату разложения не выше СIF (352 х 288 пикс.). Второе препятствие -- отсутствие чересстрочной развертки, принятой сегодня во всех телевизионных системах стандартного качества.

В стандарте МРЕG-1 используется большая часть современных инструментов цифровой компрессии, рассмотренных нами ранее: предсказание, внутрикадровое и межкадровое кодирование, ДКП, компенсация движения, адаптивное квантование, энтропийное кодирование.

Определены три типа видеокадров:

I-видеокадры (от intrа -- внутри) кодируются без какой-либо связи с другими видеокадрами (внутрикадровое кодирование);

Р-видеокадры (от ргеdicted -- предсказанные) формируются методом предсказания вперед по предыдущим видеокадрам.

Первый Р-кадр предсказывается по I-кадру, второй и последующие -- по предыдущему Р-кадру;

В-видеокадры формируются методом предсказания «вперед» или «назад»(bidirectional - двунаправленный). Польза В-кадров проясняется при рассмотрении задней границы движущегося объекта. При его движении фон открывается все больше, и для передачи этого участка фонового изображения выгоднее воспользоваться данными более позднего кадра (рис.2). Кодер рассчитывает как прямое, так и обратное предсказание и посылает декодеру данные, имеющие наименьший объем.

Предсказание участка изображения из более позднего кадра.

Если на вход кодера поступает комгюнентный сигнал 4:2:2, стандартное разреше-ние 720 х 576(480) должно быть приведено в соответствие с возможностями МРЕG-1. Требуется понижающая дискретизация отсчетов яркости и цветности. Разрядкость квантования входного сигнала предусмотрена не более 8 бит, что приводит при поступлении на вход кодера МРЕG-1 10-битового потока к потере двух младших битов.

Алгоритм работает следующим образом. Видеокадр разбивается на макроблоки размером 16 х 16 отсчетов, каждый из которых содержит по 4 блока отсчетов яркости размером 8 х 8 пикселов и по одному блоку отсчетов сигналов Сr и Св (с учетом понижающей дискретизации). При кодировании макроблока в составе I-кадра вычисляются коэффициенты ДКП, затем они квантуются с использованием таблицы квантования, имеющейся в памяти кодера и декодера. Кодер может изменить элементы таблицы, тогда он сообщает об этом декодеру и посылает новые делители.

Если кодируется макроблок из состава предсказанного кадра, ищется сопряженный блок из опорного кадра, его значения поэлементно вычитаются из элементов кодируемого блока, и уже для этих разностей вычисляются коэффициенты ДКП и производится их квантование. Таблица квантования для макроблоков из Р и В-кадров, применяемая по умолчанию, содержит число 16 во всех позициях, но также может быть изменена кодером. Отметим, что при поиске сопряженных блоков используются только отсчеты яркости. Полученные при этом векторы перемещения применяются и при кодировании блоков отсчетов цветоразностных сигналов.

Важным звеном алгоритма кодирования остается обеспечение постоянства выходной скорости цифрового потока. Отсчеты сигнала от источника поступают с постоянной скоростью, однако на выходе квантователя скорость поступления битов может варьироваться в широких пределах. Она зависит от типа видеокадра (понятно, что I-кадр требует значительно больше битов, чем Р и В-кадры), от его содержания (кадр с однородными участками требует меньше битов, чем кадр с выраженной мелкозернистой структурой). Попытка кодировать их одинаковым числом битов приведет к изменению качества изображения от кадра к кадру, а это крайне неприятно для зрителя. Для выравнивания скорости потока в кодере и декодере используется буферная память. Буфер может заполняться со стороны квантователя неравными порциями, а считываться в сторону канала с постоянной скоростью. Но и здесь не все так просто. Быстрая смена сюжетов и связанное с этим увеличение доли I- кадров может привести к переполнению буфера. Простое увеличение размера буфера вызывает возрастание задержки сигнала в кодере, что в некоторых случаях мешает телезрителям (беседа двух телеведущих в разных студиях).

Для сохранения приемлемого качества изображения при постоянной скорости потока необходимо, во-первых, регулировать шкалу квантования и, во-вторых, адаптивно распределять имеющийся ресурс битов между разными типами кадров с учетом их сложности. Эти задачи решаются в кодере специальным устройством -- контроллером битов. Адалтивное управление процессом квантования осуществляется умножением всех элементов матрицы на масштабирующий множитель величиной от 8 до 1/4, общий для всех отсчетов макроблока, который также сообщается декодеру. Величина множителя больше 1 означает увеличение доли битов, выделяемой данному макроблоку или кадру, меньше 1- соответствующее уменьшение.

Перераспределение ресурса между I, Р и В-кадрами производится кодером на основе оценки соотношения битов в предыдущих кадрах.

Упрощенная структурная схема кодера МРЕG-1, реализующего описанный алгоритм.

Кодер работает следующим образом. В режиме I-кадров осуществляется только пространственное кодирование. Коэффициенты ДКП квантуются с переменной длиной шага, зависящей от состояния буфера, кодируются кодом Хаффмана и направляются в буфер, откуда считываются с постоянной скоростью. В режиме с предсказанием вперед ДКП подвергается не весь текущий кадр, а только разность между ним и предыдущим, опорным кадром, для чего последний в кодере восстанавливается путем выполнения операций, обратных кодированию - восстановления отсчетов, обратного ДКП и восстановления движения по векторам перемещения. В режиме двунаправленного предсказания формируются одновременно два опорных кадра -- предыдущий и предшествующий, для чего используются две независимые схемы формирования. Кодер сравнивает предсказанные кадры с текущим, кодирует разности и решает, какое из предсказаний требует меньше битов и будет послано декодеру.

Структура видеопоследовательности.

Видеопоследовательностью в стандарте МРЕG называется любая последовательность видеокадров произвольной длины. В ее заголовке передается информация о скорости цифрового потока, разрешающей способности изображения, формате цветности, формате кадра, частоте кадров и т.п.

Видеопоследовательность подразделяется на группы видеокадров (ГВК), содержащие один I-кадр и, возможно, несколько Р и В- кадров. Расстояние между ближайшими Р-кадрами обычно обозначается через М, общее число кадров в группе - N, а группа записывается как (М, N). Типичная длина ГВК от 6 до 20 видеокадров.

Для вещания обычно используется М = 3, N = 12.

ГВК всегда начинается с I-кадра, и все предсказанные видеокадры внутри группы опираются, как правило, на кадры внутри этой же группы. Последовательность передачи кадров ГВК должна отличаться от последовательности кадров в самой ГВК (рис.6), чтобы декодер на приеме мог восстановить предсказанные кадры. Удобно начинать новую ГВК в момент смены сцены, когда имеющаяся в кодере информация о предыдущих видеокадрах утрачивает ценность и нужно формировать новый I-кадр.

Переупорядочение видеокадров в ГВК при передаче.

Следующей по рангу структурной единицей видеопоследовательности является видеокадр. Заголовок видеокадра содержит информацию о его типе и структуре, векторах перемещения. Видеокадры делятся на слайсы (дословно -- дольки, ломтики), так называется группа последовательных макроблоков в видеокадре, объединяемых общей шкалой квантования. Слайс представляет собой минимальную единицу видеопоследовательности в борьбе с ошибками. Если декодер обнаруживает ошибку, он игнорирует данный слайс и сдвигается к началу следующего. Чем больше слайсов в видеокадре, тем эффективнее борьба с ошибками(но ниже степень компрессии). Наконец, макроблок и блок -- низовые структуры иерархии, отвечающие за кодирование и компенсацию движения. Эти процессы мы уже подробно рассмотрели выше.

Уровни обработки звукоданных.

Сжатие звукоданных в стандарте МРЕG-1 базируется на принципах полосного кодирования и отличается от сжатия видеоданных:

- отсутствуют аналоги I, P и В-кадров;

- не используется двунаправленное кодирование, звуковые кадры всегда передаются в своей естественной последовательности, кадр содержит одинаковое количество данных.

В зависимости от используемого алгоритма определены три Уровня (Laуег) обработки, обозначаемых латинскими цифрами I, II, III, которые различаются степенью сжатия и сложностью кодека.

Важнейшим свойством МРЕG-1 является полная обратная совместимость всех трех уровней. Это означает, что каждый декодер может декодировать сигналы не только своего, но и нижележащих уровней.

В основу алгоритма Уровня I положен разработанный компанией Рhilips для записи на компакт-кассеты формат DСС (Digital Compact Cassette). Кодирование первого уровня применяется там, где не очень важна степень компрессии и решающими факторами являются сложность и стоимость кодера и декодера. Кодер Уровня I обеспечивает высококачественный звук при скорости цифрового потока 384 кбит/с на стереопрограмму.

Уровень II требует более сложного кодека, но обеспечивает лучшее сжатие. «Прозрачность» канала достигается уже при скорости 256 кбит/с. Он допускает до 8 кодирований/ декодирований без заметного ухудшения качества звука. В основу алгоритма положен популярный в Европе формат Musicam.

Самый сложный Уровень III включает все основные инструменты сжатия: полосное кодирование, дополнительное ДКП, энтропийное кодирование, усовершенствованную ПАМ и т.п. Ценой усложнения кодера и декодера он обеспечивает высокую степень компрессии -- считается, что «прозрачный» канал формируется на скорости 128 кбит/с, хотя высококачественная передача возможна и на более низких скоростях.

В стандарте рекомендованы две психоакустические модели: более простая -Модель 1 и сложная, но и более высококачественная Модель 2. Они отличаются размерами оконных функций и алгоритмом обработки отсчетов. Обе модели могут использоваться для всех трех уровней, но Модель 2 имеет специальную модификацию для Уровня III.

МРЕG-1 оказался первым международным стандартом цифрового сжатия звуковых сигналов и это обусловило его широкое применение во многих областях: вещании, звукозаписи, связи и мультимедийных приложениях. Наиболее широко используется Уровень II, который вошел составной частью в европейские стандарты спутникового, кабельного и эфирного цифрового ТВ вещания, звукового вещания, записи на DVD.

Уровень III (его еще называют МР-З) нашел широкое применение в цифровых сетях с интегральным обслуживанием (ISDN) и в сети Интернет, подавляющее большинство музыкальных файлов в сети которого записаны именно в этом стандарте. МРЕG-1 нормирует для всех трех уровней следующие номиналы скоростей цифрового потока: 32, 48, 56, 64, 96, 112, 192, 256, 384 и 448 кбит/с. Частота дискретизации может составлять 32, 44,1 или 48 кГц, число уровней квантования входного сигнала -- от 16 до 24. Стандартным входным сигналом для кодера МРЕG-1 принят цифровой сигнал АЕS/ЕВU. Предусматриваются следующие режимы работы звукового кодера:

- одиночный канал (моно);

- двойной канал (стерео или два моноканала);

- joint stereo (сигнал с частичным разделением правого и левого каналов).

Оценка относительной сложности кодера и декодера, коэффициента компрессии и минимальной временной задержки для различных уровней приведена в табл.

Заметим, что реальная задержка сигнала в кодере примерно втрое выше указанной.

Алгоритмы сжатия звукоданных кодерами первого и второго уровней.

Блок фильтров обрабатывает одновременно 384 отсчета звукоданных и распределяет их с соответствующей субдискретизацией в 32 полосы, по 12 отсчетов в каждой полосе с частотой дискретизации 48/32 = 1,5 кГц. Длительность кадра при частоте дискретизации 48 кГц составляет 8 мс. Упрощенная ПАМ оценивает только частотное маскирование по наличию и «мгновенному» уровню компонентов сигнала в каждой полосе. По результатам оценки для каждой полосы назначается как можно более грубое квантование, но так, чтобы шум квантования не превышал порога маскирования. Масштабирующие множители имеют разрядность 6 бит и перекрывают динамический диапазон 120 дБ с шагом 2 дБ (26 = 64= 120/2). В цифровом потоке передаются также 32 кода распределения битов. Они имеют разрядность 4 бита и указывают на длину кодового слова отсчета в данной полосе после переквантования.

В декодере отсчеты каждой частотной полосы выделяются демультиплексором и поступают на перемножитель, который восстанавливает их первоначальный динамический диапазон. Перед этим восстанавливается исходная разрядность отсчетов -- отброшенные в квантователе младшие разряды заменяются нулями. Коды распределения битов помогают демультиплексору разделить в последовательном потоке кодовые слова, принадлежащие разным отсчетам и передаваемые кодом с переменной длиной слова. Затем отсчеты всех 32 каналов подаются на синтезирующий БФ, который проводит повышающую дискретизацию и расставляет отсчеты должным образом во времени, восстанавливая исходную форму сигнала.

В кодере второго уровня устранены основные недостатки базовой модели полосного кодирования, связанные с несоответствием критических полос слуха и реальных полос БФ, из-за чего в низкочастотных участках диапазона эффект маскирования практически не использовался. Величина кадра увеличена втрое, до 24 мс при дискретизации 48 кГц, одновременно обрабатываются уже 1152 отсчета (3 субкадра по 384 отсчета).

В качестве входного сигнала для ПАМ используются не полосные сигналы с выхода БФ, а спектральные коэффициенты, полученные в результате 512-точечного преобразования Фурье входного сигнала кодера. Благодаря увеличению и временной длительности кадра и точности спектрального анализа эффективность работы ПАМ возрастает.

На втором уровне применен более сложный алгоритм распределения битов. Полосы с номерами от О до 10 обрабатываются с 4-разрядным кодом распре-деления (выбор любой из 15 шкал квантования), для полос с номерами от 11 до 22 выбор сокращается до З разрядов (выбор одной из 7 шкал), полосы с номерами от 23 до 26 предоставляют выбор одной из З шкал (2-битовый код), а полосы с номерами от 27 до 31 (выше 20 кГц) не передаются. Если шкалы квантования, выбранные для всех блоков кадра, оказываются одинаковыми, то номер шкалы передается только один раз.

Еще одно существенное отличие алгоритма второго уровня в том, что не все масштабирующие множители передаются по каналу связи. Если различие множителей трех последовательных субкадров превышает 2 дБ не более чем в течение 10% времени, передается только один набор множителей. Если в данной полосе происходят быстрые изменения уровня звука, передаются два или все три набора масштабирующих множителей. Соответственно декодер должен запоминать номера выбранных шкал квантования и масштабирующие множители и применять их при необходимости к последующему субкадру.

Алгоритм сжатия звукоданных кодерами третьего уровня.

Кодер Уровня III использует усовершенствованный алгоритм кодирования .с дополнительным ДКП. Основной недостаток кодеров второго уровня - неэффективная обработка быстро изменяющихся переходов и скачков уровня звука - устраняется введением двух видов блоков ДКП - «длинного» с 18 отсчетами и «короткого» с 6 отсчетами. Выбор режима осуществляется адаптивно путем переключения оконных функций в каждой из 32 частотных полос.

Длинные блоки обеспечивают лучшее частотное разрешение сигнала со стандартными характеристиками, в то время как короткие блоки улучшают обработку быстрых переходов. В одном кадре могут быть как длинные, так и короткие блоки, однако общее число коэффициентов ДКП не изменяется, так как вместо одного длинного передаются три коротких блока.

При кодирования применяются также следующие усовершенствования:

- неравномерное квантование.

- в отличие от кодеров первого и второго уровней, на третьем уровне масштабирующие множители присваиваются не каждой из 32 частотных полос БФ, а полосам масштабирования -- участкам спектра, не связанным с этими полосами и примерно соответствующим критическим полосам.

- энтролийное кодирование квантованных коэффициентов кодом Хаффмана.

Улучшение частотного разрешения при введении дополнительного ДКП влечет за собой значительное ухудшение временного разрешения, проявляющееся в виде предэхо. В кодере имеются средства для борьбы с этим явлением:

- ПАМ модифицирована для обнаружения условий возникновения пред-эхо.

- имеется запас неиспользованных битов, из которого кодер может занять на короткое время необходимые ему биты для снижения шумов квантования.

- кодер может переключаться в режим коротких блоков.

Существенное отличие кодера третьего уровня от кодеров нижних уровней - сложный адаптивный алгоритм распределения битов. Он включает две вложенные одна в другую итерационные петли: внутреннюю -- петлю скорости потока, и внешнюю - петлю управления шумами квантования. Расчет параметров кодирования начинается со значения масштабирующего множителя, равного 1. Если в первый момент скорость потока на выходе кодера Хаффмана превышает заданную, увеличивается шаг квантования до тех пор, пока скорость не войдет в нужные пределы.

Далее рассчитывается шум квантования в данной частотной полосе и сравнивается с порогом маскирования, сообщенным ПАМ. Масштабирующий множитель изменяется таким образом, чтобы сблизить эти значения. Однако новое значение масштабирующего множителя означает изменение шага квантования и, следовательно, скорости потока, а потому внутренняя петля должна каждый раз отрабатывать и вычислять новое значение коэффициента усиления и шага квантования. Если итерационный процесс во внутренней петле всегда сходится, то во внешней петле он может расходиться. Итерационный процесс заканчивается в одном из трех случаев:

1. Шумы квантования во всех полосах масштабирования не превышают допустимых.

2. Следующая итерация приведет к возрастанию усиления в одной из полос выше допустимого.

З. Следующая итерация требует увеличения усиления во всех полосах масштабирования.

В реальных кодерах накладывается еще и временное ограничение.

Кодер третьего уровня более полно обрабатывает стереосигнал в формате joint stereo. Если кодеры нижележащих уровней работают только в режиме кодирования по интенсивности, когда левый и правый каналы в полосах выше 2 кГц кодируются как один сигнал (но с независимыми масштабирующими множителями), кодер третьего уровня может работать и в режиме «сумма-разность», обеспечивая более высокую степень сжатия разностного канала.

Формирование цифровых потоков видео и звука.

Цифровой сигнал непосредственно с выхода кодера МРЕG-1 называется элементарным потоком (ЭП) и представляет собой бесконечную последовательность видео или звукоданных в том порядке, как они появляются на выходе в процессе кодирования. Он не содержит необходимой информации для идентификации потока, для его синхронизации с другими потоками и не может непосредственно использоваться для организации вещания или других служб.

Для дальнейшего использования элементарные потоки переформировывают в пакетированные элементарные потоки (ПЭП), в которых данные разделены на пакеты удобного размера с заголовками, содержащими необходимую информацию о потоках и сиихронизации. В зависимости от приложений длина пакета ПЭП может составлять от единиц до 64 килобайт. Обычно пакет содержит одну единицу воспроизведения данных определенного типа. Единица воспроизведения видеопотока -- один видеокадр, звукопотока -- один звуковой кадр.

Для формирования ТВ программы полученные ПЭП видео, звука и вспомогательных данных необходимо объединить в единый цифровой поток. В системной части стандарта МРЕG-1 для этого формируется системный поток, который представляет собой сборку ПЭП, относящихся к одной программе и объединенных общей тактовой синхронизацией. Это могут быть видеопрограмма с несколькими звуковыми каналами или пакет звуковых программ. Такой поток состоит из пакетов переменной длины, имеет изменяющуюся во времени скорость, не содержит средств защиты от ошибок и предназначен для использования в средах с малой вероятностью ошибки, например, для записи на DVD и СD-ROM диски, где переменная скорость не вызывает технических трудностей.

Лекции 11 и 12 Стандарт МРЕG-2

МРЕG-2 был принят как международный стандарт в 1996 г. и дополнен в 1997 г. Коротко его можно охарактеризовать как МРЕG-1 со значительными улучшениями, включающими обработку чересстрочных изображений, набор уровней и профилей, масштабируемый синтаксис, системный уровень с программным и транспортным потоками, новые средства кодирования звука и охватывающего более широкий круг применений, включая вещательное телевидение.

Была поставлена задача обеспечить совместимость MPEG-2 с МРЕG-1. На подготовительном этапе в качестве основы для МРЕG-2 тестировались 39 алгоритмов цифрового сжатия, в том числе и существенно отличные от МРЕG-1, но предпочтение было отдано последнему, не в последнюю очередь благодаря удобству достижения совместимости.

Кодер МРЕG-2 при равной скорости потока примерно на 50% сложнее МРЕG-1. Успех МРЕG-2 в значительной мере определил прекращение работ над стандартом МРЕG-3, предназначавшимся для систем ТВЧ. Оказалось, что синтаксис МРЕG-2 пригоден для высоких разрешений, больших скоростей и полных компонентных сигналов без прореживания, а потому может использоваться и для ТВЧ.

Стандарт МРЕG-2 содержит 9 частей, описывающих различные компоненты цифрового потока и средства поддержки.

Особенности алгоритма обработки видеоданных.

Существенное отличие алгоритма обработки видео в МРЕG-2 от МРЕG-1 заключается в возможности обработки чересстрочных изображений. В МРЕG-1 для кодирования таких изображений приходилось предварительно объединять два поля в один кадр и только после этого подавать сигнал на вход кодера. Однако при наличии движения эта процедура приводила к заметным искажениям. В МРЕG-2 введена концепция полевого и кадрового кодирования.

При кодировании телевизионного изображения, передаваемого с прогрессивной разверткой, каждый кадр состоит из одного поля и разбивается на макроблоки.

В случае чересстрочной развертки каждый кадр состоит из двух полей. Первое поле содержит нечетные строки кадра, а второе поле - четные строки. При этом возможны два варианта кодирования кадра, выбор одного из которых для данного кадра осуществляется на основе оценки движения в нем.

В случае кадрового кодирования кодируемым изображением является полный кадр, который целиком хранится в ЗУ кодера, вследствие чего для кодирования одновременно доступны как четные, так и нечетные строки. Блоки элементов сигнала яркости и блоки элементов цветоразностных сигналов для формата 4:2:2 выделяются из макроблока.

В случае формата 4:2:0 в блоки цветоразностных сигналов входят элементы из каждой второй строки. Кадровое кодирование выбирается в случаях, когда изменения во втором поле кадра относительно первого поля того же кадра незначительные.

В случае полевого кодирования кодируемым изображением является каждое поле. Первое поле кадра может использоваться для предсказания макроблоков второго поля того же кадра. При этом в каждый блок элементов сигнала яркости или элементов цветоразностных сигналов для формата 4:2:2 входят элементы из одного поля. Блоки элементов цветоразностных сигналов для формата 4:2:0 образуются так же, как при кадровом кодировании.

Полевое ДКП более эффективно при существенном различии между полями, например, при наличии движения по вертикали. Кадровое ДКП позволяет лучше передать мелкие детали изображения.

Обработка чересстрочных изображений вносит существенные отличия и в процесс предсказания. Кадровое предсказание, как и в МРЕG-1, оценивает наилучшее сопряжение макроблоков 16 х 16 пикс. в текущем и опорном кадрах.

Полевое ищет сопряжение для блока 16 х 16 пикс., взятого из текущего поля, в двух предыдущих полях и выбирает лучший результат. Как и при ДКП, полевое кодирование может использовать только полевое предсказание, а кадровое - допускается применение кадрового предсказания или полевого, в последнем случае ищется сопряжение отдельно верхнего и нижнего полей макроблока в каждом из двух полей опорного кадра и выбирается лучший результат.

Более высокую точность компенсации движения обеспечивает разбиение макроблока на два поля.

При этом определяются два вектора перемещения для верхнего и нижнего полей макроблока размерностью 16 х 8 пикс. и передаются декодеру, который использует их для более точного восстановления изображения.

МРЕG-2 ввел новый режим компенсации движения для эффективного устранения временной избыточности между полями, названный «Двухступенчатая компенса-ция с уточнением векторов». В данном режиме ищутся вектор перемещения для области изображения 16 х 8 пикс. из одного поля и дополнительный вектор прира-щения (принимающий значения минус 1, 0, 1 по осям х и у) для той же области, но в поле другой четности. В декодере вектор приращения используется для уточнения отсчетов предсказанного блока.

МРЕG-2 допускает значительную гибкость и в формировании I-, Р-, В-кадров. Кодированный I-видеокадр может состоять из I-кадра с прогрессивным разложением, или пары I-полей, или I-поля и предсказанного из него Р-поля. Аналогично Р-видеокадр может содержать Р-кадр, или два Р-поля, В-видеокадр - В-кадр или пару В-полей.

Для обработки чересстрочных изображений МРЕG-2 предлагает альтернативный вариант сканирования коэффициентов ДКП, оптимизированный с точки эрения кодирования длин серий.

Сканирование коэффициентов ДКП при чересстрочном разложении.

Отметим еще несколько отличий в кодировании видеоданных.

- МРЕG-2 в большинстве случаев использует в качестве сигнала источника компонентный сигнал 4:2:0, но расположение отсчетов в поле изображения несколько отличается от МРЕG-1.

- в МРЕG-2 длина слайса не может быть более одной строки ( в МРЕG-1 длина слайса не ограничивалась).

- МРЕG-1 допускает квантование постоянной составляющей ДКП только с разряд-ностью 8 бит, в МРЕG-2 в некоторых случаях допускается 9- или 10-битовое квантование.

- для предотвращения потери макроблоков, кодированных с внутрикадровым предсказанием, применяется маскирование - подстановка вместо утерянного макроблока ближайшего, схожего по параметрам. Для этого в потоке передается управляющий код «пропущенного макроблока».

- предусмотрена передача информации режима панорамирования (раn&sсаn), указывающей декодеру, какую часть изображения форматом 16:9 отображать на экране с форматом 4:3. Информация посылается каждый кадр и позволяет смещать изображение с точностью до 1 / 16 пикс.

Кодер видеоинформации.

Структурная схема кодера видеоинформации (рис.3) отображает основные операции, выполняемые при кодировании и обеспечивающие получение выходного потока данных с требуемыми параметрами.

Работа всех блоков синхронизируется общей тактовой частотой 27 МГц.

В кодере реализуются два режима кодирования: внутрикадровое кодирование (переключатель в положении 1) и межкадровое кодирование с предсказанием и компенсацией движения (переключатель в положении 2).

Все макроблоки I-кадров кодируются в режиме внутрикадрового кодирования. Метод в основном аналогичен JPEG: разложение на блоки 8x8 пикселов, поблочное ДКП, квантование полученных коэффициентов, считывание в зигзагообразном порядке, кодирование с переменной длиной кодовых слов.

Макроблоки Р и В-кадров могут кодироваться как внутрикадровым методом, так и межкадровым, основанным на предсказании и компенсации движения. При межкадровом кодировании передаются кодированные ошибки предсказания. Изображение, по которому выполняется предсказание, формируется из кодированных, а затем декодированных данных предыдущего I или P- кадра. В деквантователе данные умножаются на коэффициенты квантования, затем выполняется обратное ДКП так же, как это делается в декодере приемной части системы, после чего декодированное изображение записывается в ЗУ. Таким образом, для предсказания используются изображения, содержащие ошибки, внесенные квантователем. Эти ошибки попадают в предсказанные изображения, а при формировании разности истинного и предсказанного изображений снова попадают в кодер, но уже с противоположным знаком. В результате получается отрицательная обратная связь, которая позволяет избежать накопления ошибок квантования. Для реализации всех возможных вариантов предсказания ЗУ должно содержать несколько (как минимум 4) предыдущих кадров.

При формировании предсказанного макроблока используется оценка и компенсация движения методом соответствия блоков (Block Matching). Оценка движения осуществляется путем сравнения кодируемого изображения (кадра или поля), поступающего на вход кодера, с ранее переданным изображением, находящимся в ЗУ и используемым для предсказания (опорным изображением).

БЗУ на входе декодера выполняет функцию согласования постоянной скорости передачи двоичных символов во входном потоке данных с процессами в деко-дере, при которых данные из БЗУ считываются неравномерно во времени.

Так же как и в кодере, в декодере имеются два режима работы. При приеме I-кад-ров и передаваемых с внутрикадровым кодированием макроблоков Р-кадров и В-кадров на выходе блока обратного ДКП формируются блоки изображения. Переключатель на структурной схеме при этом находится в положении 1, и сигнал с блока обратного ДКП направляется на выход.

При приеме макроблоков Р-кад-ров и В-кадров, кодируемых в межкадровом режиме, переключатель находится в положении 2.

В этом случае формирование выходного сигнала происходит путем поэлементного сложения поступающих с блока обратного ДКП значений разностей с предсказанным макроблоком, формируемым из элементов ранее декодированных изображений с использованием декодированных векторов движения.

Рассмотрим перечень характерных искажений изображений, которые могут возникнуть в результате кодирования по стандарту МРЕG-2 при больших степенях сжатия.

Искажения, создаваемые внутрикадровым кодированием:

- заметность границ блоков (блокинг-эффект). Так как соседние блоки кодируются и декодируются независимо друг от друга, то при больших степенях сжатия после квантования и деквантования в них могут получаться заметно различающиеся коэффициенты ДКП, соответствующие постоянным и низкочастотным составляющим. В результате изображения в соседних блоках могут сильно отличаться друг от друга по яркости, цвету, характеру деталей и текстуры.

- размытие изображения. Наблюдается при большом коэффициенте сжатия изображения. Обусловлено ограничением либо полным занулением коэффициентов ДКП, соответствующих высоким пространственным частотам, в результате чего мелкие детали изображения становятся размытыми или полностью пропадают.

- появление окантовок на резких переходах яркости изображения. Этот эффект обусловлен значительными искажениями либо полным подавлением высокочастотных составляющих пространственного спектра.

- размытие цветов. Имеет ту же причину, что и эффект окантовки на границах, но проявляется на участках изображения с резкими скачками в сигнале яркости.

- эффект ступенек. Возникает как результат неправильного восстановления или передачи краев изображений внутри блока. Эффект проявляется, как правило, при восстановлении изображения в увеличенном масштабе.

Искажения, создаваемые межкадровым кодированием:

- ложные границы. Наблюдаются при компенсации движения.

Этот эффект является прямым следствием межкадрового кодирования видеосигнала.

- эффект “комаров”. Проявляется как флуктуации яркости или цветности в блоке на границе между движущимся объектом и фоном. Эффект возникает вследствие изменения параметров квантования разности действительного и предсказанного изображений от кадра к кадру.

- зернистый шум в стационарной области. Проявляется как медленно движущиеся мерцающие шумы низкой интенсивности в областях, в которых имеется лишь малое движение либо движение отсутствует полностью.

- появление неправильных цветов в макроблоке по отношению к его исходным цветам и к цветам окружающей области.

- появление следов за движущимися объектами, которые могут сохраняться сравнительно долго.

Какие же степени сжатия реально достижимы при использовании МРЕG-2? В соответствии с Рекомендацией 601 при дискретизации 4:2:2 получается скорость передачи двоичных символов 216 Мбит/с. При переходе к формату 4:2:0, который используется для телевизионного вещания скорость передачи двоичных символов сокращается до величины 162 Мбит/с, относительно которой и будем определять степень сжатия.

На практике для получения студийного качества принятого изображения можно сжимать видеоинформацию до скорости передачи 9 Мбит/с, т.е. в 18 раз. Для качества изображения, сравнимого с обычным изображением по системе РАL - до 4...5 Мбит/с, т.е. в З0...40 раз. Качество изображения, сопоставимое с получаемым при воспроизведении видеозаписей стандарта VHS, достигается при сжатии до уровня около 1,5 Мбит/с, т.е. более чем в 100 раз.

Уровни и профили стандарта МРЕG-2.

МРЕG-2 охватывает весьма широкий диапазон сложности кодирования и качества изображения -- от простых I-кадров до сложных ГВК, от низкого разрешения до ТВЧ.

В процессе разработки стало ясно, что построить декодер, удовлетворяющий одновременно всем требованиям стандарта, возможно, но неэкономично, так как он окажется весьма сложным, дорогим и в то же время будет обладать большой избыточностью по отношению к более простым приложениям. Разработчики стандарта разделили все средства и инструменты обработки видеосигналов на несколько Профилей, поддерживающих обратную совместимость и различающихся использованием тех или иных элементов синтаксиса. Как правило, каждый Профиль добавляет один или несколько инструментов к имеющимся у нижележащего Профиля.

В стандарте приняты пять основных и один дополнительный, профессиональный Профиль 4:2:2, введенный позднее. Внутри каждого Профиля выделены Уровни, определяющие допустимые пределы изменения основных параметров цифрового потока. В таблице показаны различные варианты телевизионных систем и методов кодирования телевизионных сигналов, предусмотренные стандартом МРЕG-2. Четыре строки таблицы соответствуют четырем уровням пространственного разрешения:

- Low (352х280 элементов) - уровень телевидения пониженной четкости, используемый в видеотелефонах и технике телеконференций;

- Маin (720х576 элементов) - уровень телевидения обычного разрешения;

- High-1440 (1440х1152 элементов) - уровень телевидения высокого разрешения с форматом экрана 4:3;

- High (1920х1152 элементов) -- уровень телевидения высокого разрешения с форматом экрана 16:9.

Вертикальные столбцы таблицы соответствуют Профилям. С переходом на более высокие Профили, т.е. при продвижении по таблице направо, увеличивается количество используемых методов кодирования, появляются новые свойства телевизионной системы, но, естественно, усложняются аппаратура и алгоритмы обработки сигналов.

На главном уровне, соответствующем телевидению обычного разрешения, скорость передачи двоичных символов в канале связи достигает 15 Мбит/с.

На более высоких уровнях главного Профиля, соответствующих телевидению высокой четкости, скорость передачи двоичных символов в канале связи возрастает до 60 или 80 Мбит/с. Следует особо подчеркнуть, что для всех уровней разрешения данного Профиля используются один и тот же набор методов кодирования. В этом заключается совместимость разных уровней. На более высоких уровнях кодеры и декодеры должны иметь большее быстродействие и больший объем ЗУ. Аппаратура более высоких уровней разрешения может работать на более низких.

Простой Профиль отличается от главного отсутствием В-кадров, что дает упрощение аппаратуры, но приводит к ухудшению качества изображения при той же скорости передачи символов. Данный Профиль может использоваться для записи изображений на магнитные или лазерные диски и для других целей.

Несколько особняком, вне иерархии, стоит не приведенный в таблице Профиль “Профессиональный 4:2:2”, предназначенный для обеспечения совместимости с цифровым студийным оборудованием видеопроизводства. В этом формате работают, например, перевозимые комплекты цифровых систем сбора новостей, передающие сигнал через спутники для последующей записи и монтажа. Профиль должен обеспечивать возможность многократного МРЕG кодирования-декодирования сигнала. Его основными свойствами являются структура дискретизации “4:2:2”, увеличенное число строк -- 608 в отличие от 576, и возможность работы с повышенными скоростями -- до 50 Мбит/с вместо 15 Мбит/с, обеспечиваемых Основным Профилем. Последнее требование связано с более короткими группа-ми видеокадров, используемыми при видеомонтаже.

Важной особенностью стандарта МРЕG-2 является масштабируемость, которая определяется как возможность получения изображения из части полного потока видеоданных.

Последний в случае наличия масштабируемости состоит из двух или более слоев. Базовый слой дает возможность получить изображение с некоторыми начальными параметрами качества.

Дополнительные или улучшающие слои потока данных позволяют получить изображение улучшенного качества.

Стандарт МРЕG-2 предусматривает возможность организации потоков видео-данных как с масштабируемостью, так и без нее. Каждый вид масштабируемости, взятый отдельно, предполагает наличие в потоке данных двух уровней. В случае использования одновременно двух видов масштабируемости число уровней в потоке данных может быть до трех.

Стандартом МРЕG-2 предусмотрены следующие виды масштабируемости:

- по пространственному разрешению. Заключается в получении от одного источника видеоинформации двух ТВ-сигналов с разными параметрами по разрешающей способности. Например, сигналов ТВ обычной четкости и ТВ высокой четкости. Базовый слой потока данных содержит информацию, достаточную для воспроизведения изображения обычной четкости, а дополнительный позволяет дополнить воспроизводимое изображение до изображения высокой четкости. Важно отметить, что объем этих дополнительных данных меньше, чем полный объем данных об изображении высокой четкости, так как часть информации передается в базовом слое.

Пользователи, имеющие декодеры, способные декодировать оба слоя потока данных, и, следовательно, более сложные и дорогие, будут получать на экранах своих приемников изображение высокой четкости. Пользователи, имеющие более простые и дешевые декодеры для декодирования только базового слоя, также смогут смотреть эти передачи, но в виде изображения обычной четкости.

- масштабируемость по отношению сигнал/шум дает возможность получать от одного источника видеоинформации изображения с двумя уровнями отношения сигнал/шум, и, следовательно, с двумя уровнями качества. Под шумом понимаются ошибки, вносимые квантованием и кодированием. Базовый слой потока данных может содержать изображение с большей степенью сжатия и, следовательно, менее качественное. Дополнительный при этом будет содержать данные, позволяющие при их добавлении к данным базового слоя получить изображение с меньшей степенью сжатия, т.е. более качественное.

- масштабируемость по времени позволяет получать от одного источника видео-информации телевизионные изображения с двумя уровнями разрешающей спо-собности по времени. Например, базовый слой может содержать обычный ТВ-сигнал с частотой кадров 25 Гц и чересстрочной разверткой, а дополнительный - данные, позволяющие при их добавлении к данным базового слоя получить телевизионное изображение с частотой кадров 50 Гц и прогрессивной разверткой.

- масштабируемость по разделению данных позволяет использовать для передачи параллельно два канала связи. По одному из них, более помехозащищенному, передается базовый слой, содержащий наиболее критичную к ошибкам информацию - заголовки, векторы движения, коэффициенты ДКП, соответствующие низким пространственным частотам. По менее помехозащищенному каналу передаются менее критичные к ошибкам данные, например, коэффициенты ДКП, соответствующие высоким пространственным частотам.

Этот вид масштабируемости хорошо сочетается с предыдущими тремя видами, при использовании каждого из которых базовый слой потока данных может передаваться по более помехозащищенному каналу связи, а дополнительный слой - по менее помехозащищенному. Тогда при хороших условиях приема пользователь, имеющий декодер для обоих слоев, сможет видеть изображение наивысшего качества, а при их ухудшении сможет принимать менее качественное изображение.