Разработка и анализ неэталонных алгоритмов оценки качества сжатых изображений

На правах рукописи

РАЗРАБОТКА И АНАЛИЗ НЕЭТАЛОННЫХ АЛГОРИТМОВ ОЦЕНКИ КАЧЕСТВА СЖАТЫХ ИЗОБРАЖЕНИЙ

Специальность 05.12.04

Радиотехника, в том числе системы и устройства телевидения

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Москва - 2008

Работа выполнена на кафедре динамики электронных систем

Ярославского государственного университета им. П.Г. Демидова

Научный руководитель: доктор технических наук, профессор

Брюханов Юрий Александрович

Официальные оппоненты: доктор технических наук,

Чобану Михаил Константинович

кандидат технических наук,

Васильев Кирилл Петрович

Ведущая организация ОАО «Ярославский радиозавод»

Защита диссертации состоится «10» октября 2008 г. на заседании диссертационного совета ДC 451.001.01 при ЗАО «Московский научно- исследовательский телевизионный институт» (МНИТИ)

по адресу: 105094, г. Москва, ул. Гольяновская, д. 7а.

С диссертацией можно ознакомиться в библиотеке ЗАО МНИТИ Автореферат разослан «21» августа 2008 г.

Ученый секретарь диссертационного совета,

кандидат технических наук А.Г. Барсуков

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. Проблема создания высококачественной системы цифровой передачи видеоинформации - это главным образом проблема быстрого и эффективного ее сжатия - наиболее ресурсопотребляющей части всей системы. Разработка алгоритмов и соответствующей аппаратуры цифрового сжатия различных видов информации для передачи по каналам связи как альтернативы аналоговым системам проводится уже более 20 лет. Был получен ряд важных результатов в плане разработки алгоритмов сжатия (включая стандарты JPEG (JPEG-2000), MPEG-1, MPEG-2, MPEG-4, Н.261, Н.263, H.264/AVC для статических и динамических изображений различного разрешения).

Особенную важность подобные исследования приобрели в связи с переходом к цифровому телерадиовещанию, и в частности к многопрограммному цифровому телевидению, вызванным присоединением России к общеевропейской системе DVB (Распоряжение Правительства Российской Федерации от 25.05.2004 № 706-р

«О внедрении в Российской Федерации европейской системы цифрового телевизионного вещания DVB»). Практически во всех странах Европы определены сроки полного перехода на цифровое вещание (в пределе до 2012 г.). Обоснование и сроки внедрения цифровых систем вещания в России приводятся в проекте Концепции федеральной целевой программы «Развитие телерадиовещания в Российской Федерации (2007-2015 гг.)»

Значительный вклад в разработку теории и алгоритмов цифровой обработки изображений внесли как отечественные ученые Ю.В. Гуляев, Ю.И. Борисов, Ю.Б. Зубарев, М.И. Кривошеев, В.П. Дворкович, А.В. Дворкович, Л.П. Ярославский, В.А. Сойфер, Ю.С. Радченко, так и зарубежные - С. Митра, Р. Гонсалес, Р. Вудс, Т. Чан, А. Бовик, Ю. Неуво, Я. Астола, К. Егиазарян и др.

Алгоритмы сжатия статических изображений занимают значительное место в теории цифровой обработки изображений. Связано это с тем, что изображения, представленные в цифровой форме, требуют для хранения довольно большого объема памяти, а при передаче их по каналам связи требуется значительное время. Так, для изображения с разрешением 1280?1024 точек (типовое разрешение 19-дюймового монитора), с 24 битами на отсчет потребуется 1280?1024?24=3,75 Мбайт памяти. Чтобы передать его по типовому каналу со скоростью 128 Кбит/с, потребуется около четырех минут. В то же время изображения содержат информацию, которая является избыточной, т.е. части памяти и полосы частот канала тратятся на нее. Алгоритмы сжатия уменьшают объем избыточной информации. Их можно разделить на два класса:

? алгоритмы сжатия без потерь;

? алгоритмы сжатия с потерями.

Алгоритмы сжатия с потерями основаны на том, что в изображении содержится информация, слабо воспринимаемая человеческим глазом. Такой вид избыточности называется психофизиологической избыточностью. Снижение такой избыточности состоит в исключении несущественных частей изображения, которые человеческий глаз не воспринимает в силу психофизиологических особенностей.

Критериями исключения такой информации являются параметры рецепторов зрительного анализатора получателя видеосообщений. При этом часть информации безвозвратно теряется. Восстановить ее при декодировании невозможно.

Отбрасывание части информации при использовании стандартов сжатия изображений JPEG и JPEG2000 делает актуальным вопрос об объективной оценке качества восстановленных изображений. На современном этапе развития систем сжатия изображений существует несколько наиболее популярных критериев оценки их качества.

Наиболее надежным и верным способом оценки качества изображения является субъективная экспертиза. Расчет средней экспертной оценки (Mean opinion score, MOS) долгое время считался наиболее надежным методом. Схема проведения подобного эксперимента стандартизована и основывается на рекомендации Международного Союза Электросвязи. Однако такой подход требует работы большой группы людей, дорог в практическом применении и, как правило, не подходит для использования в реальных ситуациях.

Основной задачей разработки объективных систем оценки является создание алгоритма, который мог бы автоматически и с большой степенью достоверности оценить качество предложенных изображений. Термин «достоверный» в данном случае означает, что такой алгоритм должен оценивать качество так, как усредненно оценила бы его группа экспертов. Очевидно, что развитие подобных алгоритмов несет в себе большой потенциал с точки зрения использования в реальных системах сжатия изображений:

? Во-первых, такие алгоритмы могут использоваться для контроля качества в системах сжатия визуальной информации.

? Во-вторых, подобные алгоритмы найдут применение в оценке и сравнении различных стандартов сжатия изображений.

? В-третьих, они могут быть встроены в систему обработки и передачи визуальной информации с целью оптимизации параметров на различных этапах преобразования изображений.

Исторически сложилось так, что объективные методы для оценки качества основывались на простых математических выражениях, таких как среднеквадратичная ошибка (СКО) и пиковое отношение сигнал/шум (ПОСШ). Это

объясняется сравнительно малой изученностью вопроса о работе зрительной системы человека (ЗСЧ) и отсутствием соответствующих статистических данных. Также широкая распространенность данных метрик объясняется простотой в их вычислении. Относительно недавно были предложены более сложные в вычислении алгоритмы - универсальный индекс качества (УИК) и коэффициент структурного подобия (КСП), которые в ряде приложений показывают хорошую согласованность с субъективными экспертными оценками.

Используемые сегодня метрики имеют один существенный недостаток - они требуют наличия изображения-оригинала (эталона), необходимого для проведения оценки. Однако на практике инженерам в подавляющем большинстве случаев приходится сталкиваться с ситуацией, когда эталонное изображение недоступно. В этом случае возникает необходимость в создании неэталонных критериев, способных оценивать качество изображения «вслепую».

Задача неэталонной оценки качества изображений вызывает в последние годы повышенный интерес исследователей. Большая часть предлагаемых алгоритмов разработана для конкретных типов априори известных искажений в изображении.

Например, ряд критериев разработан для оценки изображений, имеющих размытую структуру. В связи с бурным развитием мультисервисных сетей передачи информации, одной из перспективных областей применения неэталонных

алгоритмов на сегодняшний день является оценка качества сжатых изображений и видеопоследовательностей. Поэтому разработка неэталонных критериев оценки качества изображений применительно к системам сжатия визуальной информации представляет собой актуальную научно-техническую задачу.

Основной целью работы является улучшение характеристик систем сжатия статических изображений путем объективной оценки искажений, вносимых на этапе преобразования.

Для достижения указанной цели в диссертационной работе решаются следующие задачи:

? разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе дискретного косинусного преобразования;

? разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе вейвлет-преобразования;

? проведение эксперимента по оценке корреляции между предложенными объективными критериями качества сжатых изображений со средними экспертными оценками;

? улучшение качества сжатых изображений стандарта JPEG путем удаления артефактов блочности.

Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, математического анализа, теории вероятностей, математической статистики, линейной алгебры. Для практической реализации алгоритмов применялись современные численные методы и методы объектно-ориентированного программирования на языке С++.

Научная новизна работы:

1. Разработаны алгоритмы неэталонной оценки качества сжатых изображений стандарта JPEG, основанные на измерении уровня блочности в восстановленном изображении.

2. Предложен алгоритм неэталонной оценки качества сжатых изображений стандарта JPEG2000, основанный на изменениях в статистической модели изображения, вызванных квантованием вейвлет-коэффициентов.

3. Разработан и исследован алгоритм удаления блочности в изображениях, сжатых на основе дискретного косинусного преобразования.

На защиту выносятся:

1. Алгоритмы неэталонной оценки качества изображений, сжатых на основе дискретного косинусного преобразования.

2. Алгоритм неэталонной оценки качества изображений, сжатых на основе вейвлет-преобразования.

3. Результаты сопоставления предложенных объективных неэталонных оценок качества сжатых изображений со средними экспертными оценками.

4. Алгоритм удаления артефактов блочности из изображений стандарта JPEG.

Практическая ценность работы:

1. Разработаны неэталонные алгоритмы оценки качества изображений, сжатых на основе дискретного косинусного и вейвлет-преобразований.

2. Проведен масштабный эксперимент по оценке корреляции между

объективными критериями качества сжатых изображений со средними экспертными оценками.

3. Предложенные неэталонные алгоритмы оценки качества могут быть использованы в системах обработки и передачи визуальной информации,

цифрового телевидения, радиолокации, связи, классификации и распознавания образов и в других прикладных задачах цифровой обработки изображений.

Апробация результатов работы

Результаты работы обсуждались на следующих научно-технических семинарах и конференциях:

1. Восьмая-десятая международная конференция и выставка «Цифровая обработка сигналов и ее применение» (г. Москва, 2006-2008 гг.).

2. Третья международная научно-техническая конференция «Современные телевизионные технологии. Состояние и направления развития» (г. Москва, МНИТИ, 2006 г.).

3. Юбилейная научно-техническая конференция «Инновации в радиотехнических информационно-телекоммуникационных технологиях» (г. Москва, МАИ, 2006 г.).

4. Четырнадцатая-пятнадцатая международная научно-техническая конференция

«Информационные средства и технологии» (г. Москва, МЭИ, 2006-2007 гг.).

5. 65-я научная сессия, посвященная Дню Радио (г. Москва, 2007 г.).

6. Третья Всероссийская научная конференция «Проектирование научных и инженерных приложений в среде MATLAB» (г. Санкт-Петербург, 2007 г.)

7. Пятнадцатая международная научно-техническая конференция «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (г. Рязань, 2008 г.).

Реализация результатов работы

Результаты работы внедрены в соответствующие разработки Ярославского филиала ОАО «Мобильные ТелеСистемы», ЗАО «ИТ-Центр-Ярославль», г. Ярославль. Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ им. П.Г. Демидова в рамках дисциплины «Цифровая обработка изображений», а также в научно-исследовательские работы при выполнении исследований в рамках гранта РФФИ № 06-08-00782 «Развитие теории цифровой обработки сигналов и изображений в технических системах» (2006-2008 гг.). Все результаты внедрения подтверждены соответствующими актами.

Публикации. По теме диссертации опубликовано 19 научных работ, из них 2 статьи в журналах, рекомендованных ВАК («Цифровая обработка сигналов», «Проектирование и технология электронных средств»), 2 статьи в сборнике научных трудов физического факультета ЯрГУ и 15 докладов на научных конференциях.

Структура и объем работы

Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 188 наименований, и 5 приложений. Она изложена на 181 странице машинописного текста, содержит 62 рисунка и 7 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована необходимость и актуальность проведения исследований и разработок неэталонных оценок качества сжатых изображений. Сформулированы цели и задачи диссертационной работы, определена их научная и практическая значимость. Изложены основные положения, выносимые на публичную защиту.

В первом разделе проведен обзор и сравнительный анализ современных стандартов сжатия статических изображений - JPEG, JPEG2000 и SPIHT. Для исследования использовался набор стандартных тестовых изображений с различной степенью детализации. В качестве критериев сравнения результатов работы использовались объективные эталонные метрики качества: ПОСШ восстановленного изображения; оценки по шкале УИК.

Проведенные в данном разделе исследования указанных алгоритмов позволяют сформулировать следующие основные выводы:

1. При сжатии изображений наиболее отчетливо проявляются следующие два вида искажений - блочность (для стандарта JPEG) и размытие границ (для стандарта JPEG2000).

2. Стандарт JPEG проигрывает алгоритмам сжатия на основе вейвлет - преобразования 2-7 дБ по шкале оценок ПОСШ. Эта разница увеличивается с ростом степени компрессии и визуально различима, начиная с K ? 25 .

3. Алгоритм SPIHT целесообразно использовать в случае сжатия малоконтрастных изображений, изображений без резких границ и мелких деталей (особенно диагональных). Для данного типа изображений можно добиться лучшей работы алгоритма путем совмещения его с энтропийным кодированием.

4. В общем случае предпочтительным для практического использования является стандарт JPEG2000, который позволяет добиваться хороших результатов вне зависимости от особенностей изображений.

Таким образом, анализ известных алгоритмов сжатия статических изображений позволил сформулировать следующие три основные задачи диссертации:

? разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе дискретного косинусного преобразования;

? разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе вейвлет-преобразования;

? улучшение качества сжатых изображений стандарта JPEG путем удаления артефактов блочности.

Решение этих задач приведено в следующих трех разделах диссертации.

Второй раздел посвящен задаче неэталонной оценки качества JPEG- изображений.

Расчет оценки производится следующим образом:

1. Обозначим исследуемое декодированное изображение, имеющее размеры M ? N пикселей, как x(m, n) , где m ? [1, M ] ,

n ? [1, N ] , и вычислим разницу между соседними пикселями в каждой строке dh (m, n) ? x(m, n ? 1) ? x(m, n)

и в каждом столбце изображения

d? (m, n) ? x(m ? 1, n) ? x(m, n) .

2. Определим среднюю разницу между блоками размером 8 ? 8 по формуле:

1 M ?N / 8??1

Bh M (?N / 8?

1) ? ? d h (i,8 j) .

? i ?1

j ?1

3. Оценим характеристики изображения. Оценка проводится в два этапа, т.к. два фактора характеризуют изображение:

а) Первый фактор - отклонение средней абсолютной разности на границе блоков от той же величины, подсчитанной для всего изображения

б) Второй фактор - число переходов через ноль. Пусть функция zh (m, n) принимает значение, равное единице, если функция d h (m, n) пересекает ноль по горизонтали. В противном случае значение zh (m, n) равно нулю. Находим значения функции zh (m, n) для n ? [1, N ? 2] . Тогда количество переходов через ноль по горизонтали определяется как 1 M N ?2

Z h ?

M ( N 2) ?? zh (m, n) . ? i ?1 j ?1

Аналогичным способом вычисляются соответствующие величины вертикали.

4. Производим усреднение полученных результатов:

B? , A?

и Z? по

B ? Bh ? B?

2; A ?

Ah ? A?

2; Z ? Z h ? Z? .2

5. Для получения конечной оценки качества сжатых изображений (НИК) используется следующая комбинация величин A, B и Z:

НИК ? б ? вB г1 Aг2 Z г3 , где

? , ? , ? 1 , ? 2 , ? 3 - параметры, которые подбирались таким образом, чтобы результат как можно точнее был коррелирован с визуально воспринимаемым качеством. Субъективные визуальные оценки изображений, сжатых алгоритмом JPEG, использованы для оптимизации параметров алгоритма. Экспериментально подобраны следующие значения параметров:

? ? ?246,

? ? 262,

? 1 ? ? 0,024, ? 2 ? 0,016, ? 3 ? 0,064 .

Проведена нормализация оценки НИК, так чтобы ее значения находились внутри интервала [1, 10]. Результаты работы алгоритма для фрагмента изображения «Лена» приведены на рис. 4. Здесь К и НИК обозначают коэффициент сжатия исходного изображения и полученную неэталонную оценку, а ПОСШ и УИК - известные эталонные критерии оценки качества. При низких коэффициентах сжатия ( K ? [2,15] ) JPEG-изображение практически полностью соответствует своему оригиналу (искажения незначительные). Как видно из рис. 4б, оценка НИК для таких изображений достаточно высока (приближается к значению 10). При увеличении степени сжатия качество JPEG-изображения ухудшается, проявляются искажающие факторы: блочность и размытие границ. В этом случае оценка НИК уменьшается, отражая воспринимаемое качество изображения (рис. 4в, 4г).

Идея предлагаемого нейросетевого неэталонного индекса качества (ННИК) основывается на том, что основные искажения, возникающие на подвергшемся JPEG-сжатию изображении, концентрируются вблизи границ блоков размерами 8?8 пикселей.

a) оригинальное изображение б) JPEG-изображение К = 13,4: (НИК=7,87, ПОСШ=35,47 дБ, УИК=0,63)



в) JPEG-изображение К = 32,8:

(НИК=5,74, ПОСШ=30,40 дБ, УИК=0,40)

г) JPEG-изображение К = 46,4:

(НИК=4,22, ПОСШ=27,32 дБ, УИК=0,27)

Так как требуется приблизить результаты оценки качества изображений данным алгоритмом к результатам визуальной оценки, необходимо учесть факторы, влияющие на восприятие наблюдателем указанных эффектов. Наиболее значимые из них: амплитуда перепадов яркости на границе блока, протяженность границы блока, яркость фона изображения вблизи границы блока, детализированность изображения.

На основании оценки данных параметров для входного изображения формируется вектор, элементы которого характеризуют воздействие перечисленных факторов на визуальную оценку качества изображения. Полученный вектор является входным вектором предварительно обученной нейронной сети, на выходе которой формируется итоговое значение индекса качества изображения. При расчете ННИК используется нейронная сеть типа многослойный персептрон. Она содержит 3 скрытых слоя по 7 нейронов в каждом и один нейрон в выходном слое. Функция активации всех нейронов - сигмоидальная. Выходным значением сети является величина ННИК, лежащая в интервале [0, 10].

Отметим, что эти зависимости носят монотонно спадающий, практически линейный характер. Причиной этому служит проявление на изображении искажений, вносимых алгоритмом JPEG с ростом коэффициента сжатия. Практически при всех коэффициентах сжатия худшим по качеству является изображение «Бабуин» с большим содержанием мелких деталей.

Также был разработан еще один критерий оценки качества - неэталонный индекс блочности (НИБ). Его принципиальное отличие от рассмотренных выше оценок состоит в том, что данный алгоритм работает в пространстве коэффициентов дискретного косинусного преобразования (ДКП).

На рис. 7 приведен пример использования предложенного алгоритма в задаче измерения артефактов блочности. Тестовое изображение «Бабуин» с точки зрения НИБ является более «блочным». Этот факт объясняется наличием огромного числа естественных границ в данном тестовом изображении.

Проведен сравнительный анализ предложенных неэталонных метрик с известными эталонными алгоритмами оценки качества ПОСШ и УИК. В качестве критериев сравнения использовались меры близости полученных результатов к оценкам MOS для JPEG-изображений: коэффициент линейной корреляции Пирсона, коэффициент ранговой корреляции Спирмена, квадратный корень из среднеквадратичной ошибки. Все три величины вычислялись после проведения нелинейной регрессии. В качестве нелинейности использовалась логистическая функция (1) с добавленным к ней линейным членом, таким образом, регрессионная кривая зависела от пяти параметров

Полученные коэффициенты корреляции приведены в табл. 1. Предложенные в работе неэталонные алгоритмы превосходят известные эталонные. Наилучшую корреляцию со средними экспертными оценками показал алгоритм ННИК. Метрики НИК и НИБ показали приблизительно равные результаты, немного отстав от лидера. Однако НИБ обладает преимуществом перед двумя другими неэталонными оценками, благодаря возможности работы в области ДКП-коэффициентов. В этом случае оценка может производиться в процессе декодирования, до этапа перехода в пространственную область, позволяя серьезно сократить временные затраты.

Таблица 1

Коэффициенты корреляции между значениями MOS и объективными критериями

Критерии оценки качества	Коэффициенты корреляции
	Пирсона	Спирмена	СКО
ПОСШ	0,5268	0,4687	19,8593
УИК	0,8613	0,8381	11,8721
НИК	0,9504	0,9329	7,2639
ННИК	0,9691	0,9670	6,0629
НИБ	0,9562	0,9497	6,8356

Третий раздел посвящен оценке качества изображений, сжатых алгоритмом JPEG2000. Для решения поставленной задачи предлагается новый способ оценки качества изображений, основанный на использовании статистической модели изображения (СМИ) в роли эталона, с которым можно сопоставить оцениваемое изображение. СМИ моделирует величину вейвлет-коэффициента C , определяемого величиной линейного предсказания коэффициента P ,

С ? MP ? N ,n

P ? ? li Ci ,

i ?1

где M и N - независимые случайные переменные с нулевым средним, Сi - n соседних с C коэффициентов в пространстве, направлении и иерархии и li - коэффициенты линейного предсказания.

Данная модель отображает статистические взаимозависимости вейвлет- коэффициентов изображений в каждом поддиапазоне вейвлет-декомпозиции и их корреляцию с другими вейвлет-коэффициентами аналогичных поддиапазонов в последующих уровнях декомпозиции. Она подходит для измерения эффекта квантования вейвлет-коэффициентов изображений, так как квантование зануляет маленькие по величине коэффициенты. Результатом этого процесса является увеличение вероятности нахождения нулевых коэффициентов в любом поддиапазоне в сравнении с ожидаемой вероятностью для обычных изображений.

На рис. 8 показаны совместные гистограммы одного и того же поддиапазона для исходного изображения «Лена» и его сжатых копий. Влияние эффекта квантования очевидно: происходит сдвиг коэффициентов к началу координат и нарушается зависимость между величинами C и P , демонстрируя отклонение от естественной СМИ.

Для оценки качества предлагается использовать упрощенную модель двух состояний изображения в вейвлет-области. Эти два состояния соответствуют тому, значителен или незначителен коэффициент или его предсказатель.

а) оригинальное изображение б) JPEG2000-изображение, К = 10,26

Рис. 8. Пример изменения совместных гистограмм (log 2 (P), log 2 (C )) для одного поддиапазона изображения «Лена» при различных степенях сжатия К

Два порога (один для коэффициента - C и один для предсказателя - P ) выбираются для каждого поддиапазона и зависят от изображения. Коэффициент или его предсказатель считаются значительными, если их значения превышают порог. В результате получаем набор из четырех эмпирических вероятностей pii ,pis, Psi и pss ,соответствующих вероятностям того, что пара предсказатель/коэффициент лежит в одном из четырех квадрантов. В ходе проведения исследований замечено, что вероятности p ss являются хорошими показателями потери визуального качества сжатых изображений. Вычислены соответствующие вероятности для шести поддиапазонов: горизонтального, вертикального и диагонального для первого и второго уровней вейвлет-декомпозиции. Сочетание всех этих параметров должно быть нелинейным, т.к. статистические зависимости отличаются для различных направлений и уровней.

Для того чтобы скомпенсировать эти различия предлагается независимо друг от друга нелинейно преобразовать каждую вероятность, после чего объединить их в зависимость:

?? ?? ( p? u ) ? ?

q ? K

?1 ? exp? ?ss , i

i ? ? ,

i i ? ?

i ? ?

где qi - преобразованная вероятность (предсказанное качество изображения) дляi-го поддиапазона; pss , i - вероятность pss для i-го поддиапазона; K i , Ti и ui - параметры, аппроксимируемые кривой и получаемые из обучающего набора данных.

Взвешенное среднее от преобразованных параметров используется для предсказания качества изображений. По причине схожести статистических зависимостей по горизонтальным и вертикальным поддиапазонам для одной иерархии предполагается, что их веса одинаковы. Таким образом, вектор качества размерности шесть q ?{qi |i ? 1...6} преобразуется в вектор размерности четыре q? путем усреднения предсказаний качества горизонтального и вертикального поддиапазонов для одного уровня. В результате неэталонным индексом качества изображений формата JPEG2000 (НИК2000), лежащим в интервале [0, 100], является взвешенное среднее q? : НИК2000 ? q?T w , где веса w получены путем минимизации ошибки предсказания качества, используя данные обучающего массива:

w1 ? 0,0001,

w2 ? 0,3050 ,

w3 ? 0,5111,

w4 ? 0,1905.

Аналогичным образом, опираясь на средние экспертные оценки для обучающей выборки, полученные в результате проведения визуального эксперимента, подобраны значения порогов:

Порог (P) ? 1,7000 .

Порог (С ) ? 1,7850 ,

На рис. 10а представлены зависимости оценки НИК2000 от коэффициента сжатия К, полученные для трех тестовых изображений. Отметим, что эти зависимости носят монотонно спадающий характер. Причиной этому служит проявление на изображении искажений, вносимых алгоритмом JPEG2000 с ростом коэффициента сжатия. Результаты работы неэталонного алгоритма для фрагмента изображения «Лена» приведены на рис. 10б.

Степень согласованности НИК2000 с субъективными экспертными оценками приведена в табл. 2. Анализ таблицы показывает, что по всем трем критериям корреляции УИК и НИК2000 показали приблизительно равные оценки, а ПОСШ незначительно им проигрывает.

Исходя из полученных результатов, можно сделать вывод, что алгоритм НИК2000 показывает высокую корреляцию с оценками MOS, являясь при этом неэталонным. Данное обстоятельство делает привлекательным его использование в системах определения качества цифровых изображений, сжатых на основе стандарта JPEG2000.

Таблица 2

Коэффициенты корреляции между значениями MOS и объективными критериями

Критерии оценки качества	Коэффициенты корреляции
	Пирсона	Спирмена	СКО
ПОСШ	0,7821	0,7865	11,4558
УИК	0,7985	0,8088	11,3446
НИК2000	0,8017	0,8024	10,9415

Четвертый раздел посвящен задаче удаления артефактов блочности из изображений, сжатых алгоритмом JPEG. В качестве критерия определения границ в сжатом изображении используется разработанный автором алгоритм НИБ.

Рассмотрим границу между двумя соседними блоками. С помощью индекса НИБ, описанного выше, вычислим значение блочности на границе двух соседних блоков. Если значение блочности ? для этой границы меньше определенного порога ? , то преобразование этой границы не требуется. Если же порог превышен (? ? ? ), то уменьшение артефактов блочности необходимо. Проведенное моделирование показывает, что наилучшие результаты с точки зрения ПОСШ восстановленного изображения получаются при следующем выборе порогового значения для слабо детализированных изображений: ? опт ? 0,02 при больших коэффициентах сжатия и ? опт ? 0,1 при малых. Для сильно детализированных изображений -? опт ? 0,08 и ? опт ? 0,15 соответственно.

Для того чтобы предотвратить размытие краев объектов на исходном изображении, формируется инвариантное изображение, состоящее из блоков, в которых все ДКП-коэффициенты приравниваются нулю, кроме первого коэффициента. При этом размер инвариантного изображения составляет 1/64 от размера исходного изображения. Далее для каждого пикселя этого изображения находится величина градиента ? x m , n по следующей формуле:

?xm,n ?

xm ?1,n ?1 ? 2xm,n ?1 ? xm ?1,n ?1 ? xm ?1,n ?1 ? 2xm,n ?1 ? xm ?1,n ?1 ?xm ?1,n ?1 ? 2xm ?1,n? xm ?1,n ?1 ? xm ?1,n ?1 ? 2xm ?1,n? xm ?1,n ?1 .

Пиксель считается краевым, если ? x m , n ? T , где T - некоторый порог.

Бинарная морфологическая фильтрация применяется для удаления изолированных краевых пикселей, которые могут привести к ошибкам при нахождении краев. Поскольку каждый пиксель в инвариантном изображении соответствует блоку 8 ? 8 в исходном изображении, каждый блок, соответствующий краевому пикселю в инвариантном изображении, объявляется краевым блоком в исходном изображении.

На рис. 11 показан пример работы алгоритма нахождения краев объектов на изображении «Лена» при различных порогах T . Краевые блоки выделены черным цветом. Основные границы успешно обнаружены при T ? 1900 .

а) К=32,8; Т=1200 б) К=32,8; Т=1900

Рис. 11. Результат работы алгоритма нахождения краевых блоков

Исходя из измеренной локальной видимости артефактов блочности на границах каждого блока и информации о краях объектов, все границы блоков исходного изображения делятся на три типа:

? Тип 1: ? ? ?, дальнейшее преобразование не требуется.

? Тип 2:? ? ? и ни один из двух блоков, составляющих данную границу, не является краевым.

? Тип 3: ? ? ? и хотя бы один из двух блоков, составляющих данную границу, является краевым блоком.

После этого ко второму типу блоков применяются последовательно следующие операции:

1. Постобработка, заключающаяся в замене двумерной ступенчатой функции, описывающей перепад яркостей на границе между соседними блоками, на линейную двумерную функцию. На рис. 12 в качестве примера показан одномерный случай замены ступенчатой функции g ( x) .

f ( x) ? (1/ 8) sign ( x) на линейную функцию

y y=f(x): Ступенчатая функция

2. Постфильтрация в пространстве ДКП. Пусть bm,n

- блок 8 ? 8 m-й строки и n-го столбца изображения, а блок k ,l m,n

- блок, сдвинутый относительно блока bm,n

на k пикселей по оси y и на l пикселей по оси x . При k ? 8 и

l ? 8 блоки

bm,n и k ,l

m,n будут частично перекрываться. Пусть

k ,l Bm,n

k ,l m,n- матрицы коэффициентов ДКП блоков bm,n и bm,n соответственно. Тогда постфильтрация в пространстве ДКП для преобразования Bm,n описывается следующим выражением:

B (u, v) ? 1h

w B k ,l (u, v) , m,n

? ?

k ?? h l ?? h k ,l

m,n

где Bm,n (u, v)

- отфильтрованный блок в пространстве ДКП, h - максимальное смещение по осям x и y , wk ,l

- весовые коэффициенты блоков k ,l m,n , а W - сумма всех весовых коэффициентов, определяемая по формуле:

h h

W ? ? ? wk ,l .

k ?? h l ?? h

В работе использован параметр следующим образом:

h ? 1 , а весовые коэффициенты выбраны wk ,l

Большой весовой коэффициент центрального блока используется для предотвращения размытия деталей изображения.

3. После процедуры постфильтрации к каждому коэффициенту ДКП

обрабатываемых блоков применяется операция ограничения, с тем, чтобы все коэффициенты оставались в рамках своих исходных интервалов. Поскольку параметры квантования известны на приемной стороне, соответствующие интервалы квантования [ B min (u, v), B max (u, v) ] для исходного коэффициента Bm,n (u, v) m,n находятся по формулам:

m,n B min (u, v) ? Q(u, v)?B

m,n

(u, v) ? 0,5?,

B max (u, v) ? Q(u, v)?B

m,n(u, v) 0,5?,

где Q(u, v) - шаг квантования для коэффициента min Bm,n (u, v) . Преобразованный max коэффициент Bm,n (u, v) заключается в рамках [ Bm,n (u, v), Bm,n (u, v) ] с помощью следующего алгоритма:

?B min (u, v),?

Если Bm,n

min (u, v) ? B min (u, v),

max Bm,n (u, v) ? ?Bm,n (u, v), если

Bm,n (u, v) ? Bm,n (u, v) ? Bm,n (u, v),

B max (u, v),

Если Bm,n (u, v) ? B max (u, v).

Блоки третьего типа генеральной классификации, являясь краевыми, подвергаются только процедуре постфильтрации с последующим ограничением коэффициентов ДКП. Постобработка в этом случае не производится.

Анализ показывает, что АУБ демонстрируют повышение качества изображений в среднем на 0,5-1 дБ по шкале ПОСШ при сильном сжатии, и, в отличие от АФ, не проигрывает необработанным изображениям при малом сжатии. Подобное поведение исследуемого алгоритма объясняется тем, что при небольших коэффициентах сжатия количество границ между соседними блоками размером 8 ? 8 , превышающих порог ? , невелико. Поэтому практически все блоки ДКП-коэффициентов классифицируются как «не требующие обработки». Напротив, алгоритм адаптивной фильтрации в пространстве ДКП оперирует всеми блоками коэффициентов изображения. Дальнейшая оптимизация параметров алгоритма АУБ позволяет увеличить ПОСШ восстановленных изображений в среднем на 1-2 дБ.

Визуальное сравнение результатов применения алгоритмов показывает, что на изображениях, обработанных алгоритмом ноль-маскировки, артефакты блочности подавлены очень слабо. К тому же в области краев объектов можно заметить искажения, вносимые этим алгоритмом. Качество изображения, обработанного алгоритмом АФ, и изображения, обработанного алгоритмом АУБ, практически одинаково.

В качестве критерия для оценки вычислительной сложности предложенных алгоритмов выбрано время их выполнения в среде MATLAB. При этом время, затраченное на выполнение каждого алгоритма, интегрированного в алгоритм JPEG на этапе декодирования, нормировано на время работы классического алгоритма JPEG. Зависимости относительного времени выполнения алгоритмов удаления блочности для изображения «Лена», закодированного с различной степенью К, приведены в табл. 3.

Таблица 3

Временные затраты на выполнение рассмотренных алгоритмов удаления блочности

К	JPEG	АУБ	АФ	НМ
13,4	1	1,16	6,21	1,08
17,4	1	1,26	6,24	1,12
22,3	1	1,30	6,23	1,13
26,1	1	1,34	6,21	1,13
32,8	1	1,37	6,23	1,14
46,4	1	1,41	6,24	1,15

Из полученных результатов видно, что по временным затратам алгоритм АФ проигрывает всем остальным рассмотренным алгоритмам, что объясняется его высокой вычислительной сложностью. Предложенный алгоритм АУБ отстает от алгоритма ноль-маскировки, но его отставание незначительно. Среднее время работы, затраченное модифицированным алгоритмом АУБ JPEG-декодером, примерно в 6 раз меньше, чем у декодера с АФ и сопоставимо с классическим JPEG-декодером.

В заключении приведены основные результаты, полученные в диссертационной работе.

1. Проведенный анализ современных алгоритмов сжатия относительно объективных эталонных оценок ПОСШ и УИК выявил преимущество методов, построенных на основе вейвлет-преобразования. При одинаковом коэффициенте сжатия алгоритм SPIHT сопоставим с алгоритмом JPEG2000, оценки ПОСШ и УИК различаются менее чем на 5%.

2. Проигрыш в качестве JPEG-изображений при невысоких коэффициентах сжатия более заметен по шкале ПОСШ, чем по шкале УИК. При увеличении коэффициента сжатия (K ? 25) разница в качестве становится более заметной и составляет более 2 дБ по шкале ПОСШ и более 15% по шкале УИК.

3. При восстановлении сжатых изображений наиболее отчетливо проявляются следующие два типа искажений - блочность (для стандарта JPEG) и размытие границ (для стандарта JPEG2000). Корректная количественная оценка этих артефактов и есть главная идея неэталонной оценки качества сжатых изображений.

4. Предлагаемые алгоритмы неэталонной оценки качества JPEG-изображений позволяют производить оценку качества в ситуации отсутствия изображения- оригинала, что существенно расширяет потенциальную область их использования в приложениях цифровой обработки изображений.

5. Разработанный алгоритм НИБ работает в пространстве ДКП-коэффициентов, что позволяет сократить вычислительные затраты на оценку качества изображения и использовать такой алгоритм в задачах удаления блочности из JPEG-изображений.

6. Предлагаемый алгоритм неэталонной оценки качества НИК2000 основан на изменениях в статистической модели изображения, вызванных квантованием вейвлет-коэффициентов при сжатии изображения алгоритмом JPEG2000.

7. Путем анализа статистических характеристик изображений из обучающего набора (содержащего как оригинальные изображения, так и их копии, сжатые с различными степенями алгоритмом JPEG2000) получены оптимальные параметры алгоритма НИК2000.

8. Проведенный визуальный эксперимент показал, что с точки зрения коррелированности со средними экспертными оценками для стандарта JPEG все предлагаемые неэталонные критерии значительно превосходят эталонную оценку ПОСШ (30-50%) и находятся в хорошей корреляции с оценкой УИК. Для стандарта JPEG2000 преимущество неэталонного критерия НИК2000 не так очевидно и составляет в среднем 3-5%.

9. Разработан алгоритм удаления артефактов блочности из JPEG-изображений.

Оптимизация параметров алгоритма АУБ позволяет увеличить ПОСШ восстановленных изображений в среднем на 1-2 дБ.0. Результаты восстановления сжатых изображений алгоритмом АУБ демонстрируют повышение качества изображений в среднем на 0,5-1 дБ по шкале ПОСШ.

11. Сравнительный анализ временных затрат на декодирование изображений показывает, что среднее время работы, затраченное модифицированным алгоритмом АУБ JPEG-декодером, примерно в 6 раз меньше, чем у декодера с АФ и сопоставимо с классическим JPEG-декодером.

12. Предложенные алгоритмы неэталонной оценки качества могут быть использованы в системах обработки и передачи визуальной информации, цифрового телевидения, распознавания образов и слежения за объектами, гранулометрического анализа и в других прикладных задачах цифровой обработки изображений.

СПИСОК ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ РАБОТ

1. Приоров А.Л., Саутов Е.Ю., Хрящев В.В. Неэталонная оценка качества JPEG-изображений // Цифровая обработка сигналов, 2007. № 3. С. 15-19.

2. Саутов Е.Ю., Хрящев В.В. Разработка и анализ алгоритма неэталонной оценки качества сжатых изображений // Проектирование и технология электронных средств, 2007. № 2. С. 26-29.

3. Бекренев В.А., Саутов Е.Ю., Хрящев В.В. Новый подход к оценке качества JPEG-изображений // Физический вестник ЯрГУ им. П.Г. Демидова: сб. науч. тр., Ярославль, 2006. С. 90-97.

4. Абдуллоев А.А., Саутов Е.Ю. К вопросу об оценке качества восстановленных изображений // Актуальные проблемы физики: сб. науч. тр. молодых ученых, аспирантов и студентов, Вып. 6, Ярославль, 2007. С. 7-14.

5. Саутов Е.Ю. Применение универсального индекса качества в задачах улучшения и восстановления цифровых изображений // Тр. 15-й Межд. науч.-тех. конф. «Информационные средства и технологии», М., 2007. С. 142-145.

6. Саутов Е.Ю. Разработка и реализация в среде MATLAB алгоритма оценки качества цифровых изображений // Тр. III Всерос. науч. конф. «Проектирование научных и инженерных приложений в среде MATLAB», СПб, 2007. С. 1473-1483.

7. Бухтояров С.С., Арляпов С.А., Саутов Е.Ю., Хрящев В.В. Модифицированный критерий оценки качества восстановленных изображений // Докл. 8-й Межд. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2006), М., 2006. Т. 2, С. 413-416.

8. Бекренев В.А., Куйкин Д.К., Саутов Е.Ю. Алгоритм неэталонной оценки качества JPEG-изображений // Докл. 9-й Межд. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2007), М., 2007. Т. 2, С. 312-315.

9. Куйкин Д.К., Саутов Е.Ю., Хрящев В.В. Анализ использования нейронной сети в задаче неэталонной оценки качества сжатых изображений // Докл. 10-й Межд. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2008), М., 2008. Т. 2, С. 701-704.

10. Бекренев В.А., Саутов Е.Ю., Хрящев В.В. Алгоритм неэталонной оценки качества JPEG-изображений // Докл. юбилейной науч.-техн. конф., посвященной 60-летию ОАО «Радиотехнический институт имени академика А.Л. Минца» и факультета радиоэлектроники летательных аппаратов МАИ, М., 2006. С. 194-201.

11. Бекренев В.А., Саутов Е.Ю., Хрящев В.В. Разработка и исследование в среде MATLAB алгоритма неэталонной оценки качества сжатых изображений // Тр. III Всерос. науч. конф. «Проектирование научных и инженерных приложений в среде MATLAB», СПб, 2007. С.1354-1362.

12. Бекренев В.А., Саутов Е.Ю., Хрящев В.В., Голубев М.Н. Оценка качества сжатых изображений в отсутствии изображения оригинала // Тр. 14-й межд. науч.-техн. конф. «Информационные средства и технологии», М., 2006. Т. 3, С. 23-27.

13. Бекренев В.А., Саутов Е.Ю., Соловьев В.Е. Неэталонная оценка качества JPEG-изображений // Матер. IX Всерос. науч. конф. «Информационные технологии в электротехнике и электроэнергетике» (ИТЭЭ-2006), Чебоксары, 2006. С. 243-244.

14. Бекренев В.А., Саутов Е.Ю., Сутковой С.И. Анализ качества сжатых изображений // Матер. X Всерос. науч. конф. «Информационные технологии в электротехнике и электроэнергетике» (ИТЭЭ-2007), Чебоксары, 2007. С. 145-146.

15. Шмаглит Л.А., Саутов Е.Ю., Хрящев В.В. Оценка качества сжатых видеопоследовательностей // Докл. 9-й Межд. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2007), М., 2007. Т. 2, С. 316-318.

16. Саутов Е.Ю., Хрящев В.В. Сравнительный анализ видеокодеков на основе стандарта MPEG-4 // Докл. 62-й Науч. сессии, посвященной Дню радио, М., 2007. С. 146-148.

17. Шмаглит Л.А., Саутов Е.Ю. Оценка качества сжатых видеопоследовательностей // Матер. X Всерос. науч. конф. «Информационные технологии в электротехнике и электроэнергетике» (ИТЭЭ-2007), Чебоксары 2007. С. 153-154.

18. Бекренев В.А., Саутов Е.Ю. Неэталонная оценка качества изображений, сжатых алгоритмом JPEG2000 // Матер. 15-ой межд. науч.-тех. конф. «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2008. Т. 1, С. 124-126.

19. Саутов Е.Ю. Уменьшение артефактов блочности в JPEG-изображениях // Матер. 15-ой межд. науч.-тех. конф. «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2008. Т. 2, С. 132-133.