Видеокомпрессия. Избыточность телевизионных изображений. Основные принципы кодирования в стандарте MPEG

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Введение

Трудно найти область человеческой деятельности, в которую не вторгались бы цифровые технологии. Измерительное и диагностическое оборудование, обучающие системы, телевидение, телефонная связь.

Что же заставляет использовать «музыку нулей и единиц»? На наш взгляд, это точность. Точность записи, хранения, копирования и передачи информации при широкой возможности ее обработки.

В данном реферате автор рассмотрит одно из главных понятий современных цифровых технологий - понятие видеокомпрессии; предпосылки ее разработки, особенности на различных этапах развития, причины высокой ценности применения данного процесса. Также автор рассмотрит понятие избыточности телевизионного изображения, а также основные принципы кодирования в стандарте MPEG.

1. Понятие видеокомпрессии

Чем отличается цифровое видео от обычного, аналогового, которое используется, например в VHS-видеомагнитофонах? Прежде всего, цифровое видео дискретно, т.е. кадр состоит из строго определенного, конечного числа прямоугольных точек, каждая из которых может быть только одного цвета из фиксированной палитры. Конечно, и на видеомагнитофоне видео не полностью аналоговое - можно указать строки, но разделение строчки на отдельные элементы невозможно, да и цвета эти строки могут принимать совершенно любые. Наш реальный мир тоже аналоговый, и кажется, что для его передачи более подходят аналоговые форматы, но все они имеют крайне существенный недостаток - при копировании или передаче такой информации, всегда, какое совершенное оборудование ни использовалось бы, происходит потеря ее части, что проявляется как ухудшение качества - добавляется шум, снижается четкость и яркость цветов. Цифровое видео полностью лишено этого недостатка - копия всегда идентична оригиналу. Кроме того, аналоговую информацию сложнее хранить и обрабатывать. Поэтому сейчас происходит постепенный переход видеоиндустрии от аналога к цифре. Замечу, что подобный переход уже почти произошел и в мире звуков - сейчас аналоговые носители, такие как виниловые пластинки и компакт-кассеты, практически не выпускаются, повсеместно распространились цифровые компакт-диски.

Из вышесказанного можно сделать вывод, что наиболее важные характеристики цифрового видео - это разрешение кадра и используемая палитра. Палитра - это набор цветов, которые (и никакие другие) могут принимать точки кадров. Это верно, но мы не упомянули о еще одной, очень важной, характеристике пространства - времени. Для создания иллюзии движения в видео кадры должны постоянно меняться. Частота смены кадров характеризуется специальной величиной, которая измеряется в герцах. Понятно, чем она выше, тем более, приближенное и реалистичное изображение мы получаем. Эксперименты показали, что частота смены кадров должна быть не менее 15 Гц (это верно только для человека, многие животные имеют более высокую чувствительность к движению). Сейчас применяется несколько стандартизированных частот - 24 Гц (кино), 25 Гц (PAL) и 30 Гц (NTSC).

Проведем расчет, который покажет, какой же объем будет иметь обычный двухчасовой фильм в разрешении 640х480 с частотой 25 Гц. Пусть каждая точка принадлежит стандартной компьютерной палитре RGB из 16 миллионов цветов. 640x480x3=900 Кб - размер одного кадра, 22500 Кб - размер одной секунды видео, 154 Гб - размер всего фильма. Ясно, что такие огромные объемы информации хранить и передавать очень сложно, даже пропускная способность дискового накопителя компьютера может быть ниже. Поэтому сразу же с появлением цифрового видео остро встал вопрос о компрессии видеоданных. Причем эта компрессия должна быть очень сильной. Скажем, если мы хотим поместить фильм из примера на один компьютерный компакт-диск объемом в 650 Мб, то фильм нужно сжать в 243 раза! Это очень много. Напомню, что звук удается скомпрессовать только раз в 10-20, даже используя самые совершенные алгоритмы. Понятно, что для такой сильной компрессии видео придется пожертвовать качеством. К сожалению, провести компрессию без потери качества можно не более чем в 2-3 раза. Таким образом, все видеокодеки подразумевают ухудшение качества видео относительно оригинала.

Как же осуществляется компрессия видео? Прежде всего, учитываются особенности зрения человека. В глазу присутствует 2 вида чувствительных элементов - "трубочки", которые отвечают за определения яркости света, и "колбочки", которые, в свою очередь, определяют цвет. "Трубочек" в глазу в несколько раз больше, чем "колбочек". Поэтому чувствительность глаза к яркости намного выше, чем к цвету. Вследствие этого в видео, вместо обыкновенного представления цвета точки RGB, используется YUV, где Y - яркость, а U и V содержат информацию о цветовой окраске точки. Далее информация о яркости сохраняется полностью, а информация о цветовой окраске кодируется либо меньшим числом бит, либо, более часто, хранится не об одной точке, а сразу о группе соседних точек - 2, 4 или даже 16. Этим достигается, за счет почти незаметного ухудшения качества, существенная экономия.

Дальнейшая компрессия кадров осуществляется с помощью сложных математических алгоритмов, которые группируют похожие области изображения и проводят всевозможные округления и приближения. Особенно широко используется Discrete Cosine Transformation - дискретное преобразование косинусов (это одна из разновидностей преобразования Фурье) и Сжатие Хаффмана. На подобном алгоритме работает и популярный формат сжатия статических изображений JPEG.

Но ведь в видео кадры содержат не произвольную последовательность изображений! Обычно каждый кадр отличается от предыдущего совсем незначительно. Этой особенностью и воспользовались некоторые разработчики методов компрессии. Таким образом, все методы видеокомпрессии разделились на два больших класса: Intraframe (все кадры компрессуются независимо друг от друга) и Interframe (при компрессии используется схожесть соседних кадров). Хотя Intrafram-методы значительно менее эффективны, они обладают рядом преимуществ - кодеки легко аппаратно реализуемы, требуют меньше ресурсов, и видео в этом формате редактируется намного легче. Тем не менее, для хранения больших фильмов сейчас используются только межкадровые (interframe) методы компрессии.

2. Избыточность телевизионных изображений

Изображения, типичные для телевизионного вещания, обладают значительной избыточностью. Большая часть изображения одного кадра обычно приходится на поля, имеющие постоянную или мало меняющуюся в пространстве яркость, а резкие световые переходы и детали малых размеров занимают малую долю площади изображения. Это будет особенно заметно, если построить осциллограмму межэлементной разности, которая большую часть интервала строки очень мала и лишь изредка значительно отклоняется от нуля. Коэффициент корреляции соседних элементов изображения, описывающий статистическую связь между яркостями этих элементов, близок к 1. Зная яркость одного элемента, можно с высокой степенью вероятности предсказать яркость соседнего, например, полагая их просто равными. Такого рода избыточность можно назвать пространственной избыточностью изображения.

Изображения соседних кадров в телевидении обычно очень похожи друг на друга, даже при съемке движущихся объектов. Переходы от сюжета к сюжету встречаются редко. Межкадровая разность на значительной части площади изображения обычно близка к нулю. Зная распределение яркости в одном кадре, можно с высокой степенью уверенности предсказать распределение яркости следующего кадра. Эта предсказуемость указывает на временную избыточность изображения.

Пространственная и временная формы избыточности связаны со статистическими свойствами телевизионных изображений. Применяя, например, энтропийное кодирование, можно сократить скорость передачи данных. Сокращение цифрового потока возможно также благодаря структуре видеосигнала. Можно передавать только активную часть изображения. В стандарте 4:2:2 при 10 битах на отсчет скорость передачи данных за счет этого может сократиться с 270 Мбит/с до 207 Мбит/с. С другой стороны, можно использовать интервалы гашения для передачи дополнительной информации. Например, звукового сопровождения, что также является формой экономного использования канала связи. Можно сократить передаваемый цифровой поток, если преобразовать используемую структуру дискретизации в другую, которая характеризуется меньшим числом отсчетов в кадре. Например, от формата 4:2:2 перейти к формату 4:2:0 или 4:1:1. Но такой способ означает, конечно, сокращение потока за счет уменьшения разрешения в изображении.

Значительные резервы для сокращения скорости цифрового потока представляет использование свойств зрения. Например, шумы квантования хорошо различаются глазом на крупных деталях изображения в виде ложных контуров. Однако они мало заметны на резких перепадах яркости и мелких деталях. Это позволяет ввести более грубое квантование видеосигнала в окрестности переходов. Возможно также более грубое квантование высокочастотных компонент видеосигнала. Искажения изображения не заметны глазу в течение нескольких десятых долей секунды после резкой смены сюжета. В течение этого времени четкость изображения может быть в несколько раз меньше нормальной. Эти и другие особенности зрительного восприятия обусловливают так называемую психофизическую избыточность. Ее использование позволяет значительно сокращать скорость потока видеоданных. Вносимые при этом необратимые искажения изображения должны быть незаметны наблюдателям.

В первых методах видеокомпрессии, разработанных для телевидения, избыточность сокращалась за счет применения энтропийных кодов, или кодов переменной длины (Шеннона-Фано, Хаффмана) к элементам изображения и их комбинациям. Это были метод поэлементного статистического кодирования (учет различия в вероятностях уровней видеосигнала), метод кодирования с учетом предшествующего элемента (использование наиболее коротких кодовых комбинаций для наиболее вероятных переходов между яркостями элементов), метод кодирования длин серий (передача кода величины сигнала, серии элементов изображения, имеющих одинаковую яркость, а также кода длины серии). При доступных аппаратурных ресурсах эти методы позволяли добиться лишь небольшой степени видеокомпрессии. В современных системах компрессии они также используются, но в сочетании с методами ортогональных преобразований (блочного кодирования) и дифференциальной импульсно-кодовой модуляции с компенсацией внутрикадрового движения.

3. Современный этап развития видеокомпрессии. Стандарт MPEG

Современный этап развития видеокомпрессии начался в 1993 году - тогда комитет Moving Pictures Expert Group (MPEG) закончил работу над революционным по тем временам форматом MPEG-1. Рассмотрим этот формат подробнее, т.к. все последующие форматы, в том числе MPEG-2, MPEG-4, WMV, являются лишь его усовершенствованиями. Итак, все форматы MPEG, в том числе и MPEG-1, межкадровые (interframe) с потерями (lossy compression). Все кадры делятся на 3 вида: "I" (Intra frame), "P" (Predirected frame), "B" (Bidirectional frame). "I"-кадр (Ключевой кадр) - сжимается независимо от других кадров, как простые картинки. "P"-кадр - при кодировании используются один предыдущий "I" или "P"-кадр. "B"-кадры - при кодировании используется информация от двух "I" или "P"-кадров, которые могут быть для данного кадра как предыдущими, так и последующими. Так как для декодирования кадров нигде не используются "B"-кадры, их можно сжимать сильнее всего. Обычное соотношение по размеру между "I"-, "P"- и "B"-кадрами составляет 15:5:2. Поэтому чем меньше ключевых кадров и больше "B"-кадров, тем сильнее можно сжать видео. Но ключевые кадры тоже должны иногда встречаться, иначе перемотка фильма на произвольный момент будет длиться очень долго - при перемотке проигрыватель вынужден просчитывать все промежуточные кадры от ближайшего предыдущего ключевого. Часто используемая последовательность кадров в MPEG-1 - "IBBPBBPBBIBBPBBPBB...". Расстояние между двумя ключевыми кадрами называется Key Frame Interval. В данном примере он равен 9. При кодировании кадр разбивается на макроблоки 8х8 точек. С ключевыми кадрами все просто, но для кодирования "P"- и "B"-кадров приходится применять сложный алгоритм предсказания движений, который должен определить вектор движения макроблока и его изменения относительно его же, но на других кадрах.

Теперь самое время особо отметить основную проблему компрессии видео. Даже если мы производим съемку совершенно неподвижной сцены самой современной камерой, то после оцифровки кадры не будут идентичны! Всегда будет присутствовать видеошум, из-за которого приходится либо сжимать массу ненужной информации, либо вводить некоторый коэффициент, отличия меньше которого игнорировать. В первом случае компрессия будет очень слабая, во втором появится смазанность и исчезнут мелкие детали. Чем сильнее видеошум, тем больший коэффициент приходится выбирать и тем меньшая получается четкость и, соответственно, качество изображения. Поэтому крайне важно для компрессии брать как можно более качественный источник. Чем меньше видеошума в исходном видеофрагменте, тем сильнее и качественнее его можно сжать. Например, полностью синтетические мультфильмы, которые рассчитаны на компьютере и соответственно не содержат шума, можно сжать на порядок сильнее.

Сейчас формат MPEG-1 все еще сильно распространен, для его воспроизведения достаточно компьютера класса Pentium, существуют аппаратные декодеры. MPEG-1 используется в дисках VideoCD (фильм размещается на 2-х дисках). По качеству фильмы в этом формате аналогичны качеству обычного бытового видеомагнитофона, за исключением сцен с быстрым движением - сказывается несовершенство алгоритма предсказания движений.

Следующая, очень важная характеристика скомпрессованого видео - поток (Data Rate). Чем она больше, тем выше качество, но и размер файла больше. Измеряется в битах (или байтах) в секунду. В VideoCD поток постоянен и равен 1150 kbps. Поток приблизительно можно оценить, если разделить размер видеофайла на его длительность (здесь мы не учитываем звуковой поток).

Дальнейшей эволюцией формата MPEG-1 стал MPEG-2 (1995 г.). Первично MPEG-2 разрабатывался для цифровой передачи и отображения видео вещательного качества. Он поддерживает поток данных от 2 до 10 Мбайт/с. Для того чтобы увеличить качество сжатого видео, пришлось еще раз проработать и улучшить все алгоритмы MPEG-1 и добавить новые. Так, новые исследования комитета MPEG показали, что каждый кадр содержит массу избыточной информации, которая удаляется практически без ущерба для изображения. При воспроизведении на место повторяющихся участков подставляется один-единственный оригинальный фрагмент из специальной таблицы. Значительно, по сравнению с MPEG-1, был улучшен и алгоритм предсказания движений, что позволило реже расставлять ключевые кадры. Другое важное новшество в MPEG-2 - специальная технология, которая делит весь видеопоток на 3 слоя - base, middle, high. Каждому слою сопоставляется свой приоритет, и в зависимости от приоритета выбирается размер потока, с которым кодируется данный слой. Самый приоритетный в данный момент слой кодируется с максимальным потоком (а значит, и качеством). Сейчас MPEG-2 используется в дисках DVD-Video и телевидении высокого разрешения (HDTV). Для хранения видео на компьютерных компакт-дисках MPEG-2 подходит плохо - он позволяет хранить не более 15-20 минут данных на каждом диске. Так же, как и для MPEG-1, для MPEG-2 существуют аппаратные декодеры. Программное воспроизведение MPEG-2 файлов тоже возможно, но уже на компьютерах класса Pentium II.

Как я уже говорил выше, формат MPEG-2 хорош только для больших потоков, а MPEG-1 уже не удовлетворяет современным требованиям. Но Интернет обеспечивает пропускную способность намного ниже, чем нужно для передачи видео в MPEG-2! Таким образом, комитету MPEG снова пришлось взяться за работу, на этот раз с целью разработать формат для хранения видео с низкими битрейтами. Так, в 1999 г. появился новейший формат MPEG-4, который совершил очередную революцию в мире видеокомпрессии. Теперь стало реальным размещать полнометражный фильм на один компакт-диск! При этом качество намного выше, чем на VideoCD и VHS-видеомагнитофоне. Кроме того, видео стало возможным передавать по медленным сетям, даже в реальном времени. Сейчас наблюдается бурный рост предложений фильмов в MPEG4 - в крупных городах нужный фильм в MPEG4 найти легче, чем на видеокассете. Как же удалось добиться таких значительных результатов? Опять были улучшены существующие алгоритмы и добавлены новые.

Важным моментом в MPEG-4 стал переменный поток, т.е. в зависимости от сложности сцены изменяется и скорость потока. Так, на простых для кодирования кадра поток уменьшается, зато на сложных увеличивается, что сильно улучшает общее качество видеоролика при том же размере. Более совершенные алгоритмы компенсации и предсказания движения сделали возможным расставлять ключевые кадры намного реже. В отличие от MPEG1-2, очередность "I"-, "P"-, "B"-кадров не фиксирована, она выбирается наиболее оптимальных для данного момента фильма. В MPEG-4 кроме обычных макроблоков введены еще спрайты - неподвижные изображения, которые передаются в декодер лишь однажды и всякий раз подставляются в нужное место кадра из специального спрайтового буфера.

Вообще функции формата MPEG-4 выходят далеко за простую видеокомпрессию. Он задает правила работы с цифровыми мультимедийными объектами. Такими объектами могут быть: видео, звук, рисунки, тексты, трехмерные объекты. Из объектов строятся сцены, которые благодаря своей объектно-ориентированности интерактивны. Этот стандарт так мощен, что даже вкратце рассказать о нем здесь не представляется возможным. Повторю, что видеокомпрессия - это лишь небольшое подмножество возможностей MPEG-4. Иногда приходиться слышать мнение, что MPEG-2 лучше, чем MPEG-4, так как фильмы на DVD-дисках намного лучше качеством, чем на MPEG-4 CD. Однако такое сравнение не совсем верно - ведь емкость DVD-диска и соответственно скорость потока раз в 10 больше. Если бы записать фильм в MPEG-4 и MPEG-2 с одинаковым потоком, то тут уже ни у кого не останется сомнений в превосходстве MPEG-4. Так как MPEG-4 очень молодой формат, аппаратных декодеров для него пока нет, ведутся только их разработки. Для программного воспроизведения нужен компьютер класса Celeron - Pentium 2,3.

Чрезмерная сложность и мощность формата привела к тому, что полностью его реализовать не удалось еще никому. Реализованы только некоторые его составляющие, в частности, видеокомпресия. Но и одни алгоритмы видеокомпрессии MPEG-4 так сложны, что написать его очень сложно, и это доступно только крупным фирмам. Неудивительно, что первыми смогли написать работоспособный MPEG-4 кодек в корпорации Microsoft. Подчеркну, что, как и в случае MPEG-1 и MPEG-2, MPEG-4 не устанавливает правил процесса кодирования; не касается он и деталей реализации декодера, задавая лишь правила поведения некоего абстрактного устройства, а также синтаксис и семантику двоичных потоков, с которыми оно должно уметь работать. Поэтому, учитывая тот факт, что совершенство недостижимо и всегда можно сделать лучше, каждый разработчик всячески пытается улучшить существующие алгоритмы. В результате появилось несколько кодеков, основанных на MPEG-4, но совершенно несовместимых между собой. Перечислю их:

ISO MPEG-4 - один из самых первых MPEG-4 кодеков, разработан самим комитетом MPEG. Имеет открытые исходники. Он наиболее полно соответствует всем стандартам и спецификациям. Пожалуй, он обеспечивает наихудшее качество и сейчас мало используется. Однако его открытые исходники многими используются для создания улучшенных версий.

Microsoft MPEG-4 Video Codec. Имеет 3 версии. Первая версия сильно уступает второй и третьей. Третья версия - один из самых лучших кодеков, виденных мной. Однако, к сожалению, Microsoft наложила некоторые ограничения на его использование - кодировать фильмы в него можно только с помощью Windows Media Encoder.

DivX. MPEG-4 Video Codec. Состоит из двух составляющих - Low Motion и Fast Motion. Low Motion - это всего лишь взломанная версия MS MPEG-4 V3-кодека. Соответственно и по качеству изображения они идентичны. Fast Motion - их собственная разработка, предназначена для кодирования очень динамичных фильмов. Однако Fast Motion оказался хуже, чем Low Motion кодек, во всех ситуациях. DivX ;-) MPEG-4 Low Motion сейчас самый распространенный видеокодек. Именно в нем закодировано большинство фильмов на компакт-дисках, продаваемых в нашей стране.

OpenDivX - этот кодек еще находится в стадии разработки, пока доступна только альфа-версия. Он основан на исходниках ISO MPEG-4.

3dvX - очередной кодек с непонятной перспективой, подобный OpenDivX, про который создатели заявляют, что он будет лучшим.

WMV7 (Windows Media Video 7) - кодек тоже от корпорации Microsoft, он также относится к классу MPEG-4 кодеков. Этот кодек обеспечивает лучшее качество изображения при том же потоке, либо то же качество при меньшем потоке. По заверениям Microsoft, он требует на 20% меньший поток относительно MS MPEG-4 V3. Но Microsoft не останавливается на достигнутом - в ближайшее время появится следующая, улучшенная версия - WMV8.

Однако в существовании такого большого числа кодеков ничего страшного нет. Некоторые, мало разбирающиеся в компьютерах люди иногда утверждают, что Windows - плохая операционная система. Однако это не так. Внутренняя структура Windows хорошо продумана и очень гибка. Особенно мне нравится MCI (Multimedia Control Interface) - специальная часть операционной системы, которая отделяет кодеки от приложений. MCI имеет широкий набор команд, используя которые программист может достаточно легко написать программу, работающую с любыми мультимедийными данными. При этом, что самое важное, ему совсем не нужно задумываться о формате, в котором эти данные находятся, - обо всем позаботится MCI. Таким образом, любой MCI-плеер будет играть файлы в любом формате, для которого установлен в системе кодек. Даже если этого формата не существовало на момент написания программы! Все это я написал к тому, что проблем с проигрыванием любого, даже самого нового формата в операционной системе Windows быть не может.

Теперь про звук. Как вы замечали, обычно MPEG-4 фильмы имеют расширение AVI. Формат AVI (Audio-Video Interleaved) был разработан корпорацией Microsoft для хранения и воспроизведения видеороликов. Он может содержать в себе потоки 4 типов - Video, Audio, MIDI, Text. Причем видеопоток может быть только один, тогда как аудио - несколько. В частности, AVI может содержать и только один поток - либо видео, либо аудио. Сам формат AVI не накладывает совершенно никаких ограничений на тип используемого кодека, ни для видео, ни для аудио - они могут быть любыми. Таким образом, в AVI файлах могут совершенно спокойно сочетаться любые видео и аудиокодеки.

телевизионный цифровой пространственный

Заключение

Итак, после рассмотрения данной темы возникает вопрос: возможно ли дальнейшее, существенное улучшение видеокодеков? Да, возможно. Для этого достаточно искать схожие кадры не в небольшой области, как это делается сейчас, а во всем фильме. Но для этого понадобится слишком много аппаратных ресурсов компьютера, которые сейчас недоступны. Далее, вместо некоторых реальных объектов можно применять их 3-мерные модели, которые достаточно передать только один раз, а далее достаточно задавать только их положение (нечто подобное уже применяется в MPEG-4). Все ведь видели, какие реалистические 3D-модели применяются в кино. Но модели такого качества просчитывать в реальном времени пока невозможно. Как мы видим, все упирается в недостаточную мощь современных компьютеров. Когда они станут быстрее, появятся и более совершенные кодеки. Возможно, уже через несколько лет станет возможно хранить фильмы на жестком диске сотнями, подобно тому, как мы это делаем с mp3-файлами.

Размещено на Allbest.ru