Повышение разрешения изображения

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

Институт информационных технологий и управления

ПРАКТИЧЕСКАЯ РАБОТА

Тема: Разработка системы повышения разрешающей способности видеоданных блочным методом

Специальность - Информационные системы и технологии

Выполнил: А.П. Силиванов

Руководитель: С.В. Хлопин

Санкт-Петербург - 2014

Оглавление

Введение

1. Обзор существующих технологий

1.1 Однокадровое восстановление изображений

1.2 Многокадровое восстановление изображение

1.3 Методы оценки межкадровых смещений

1.3.1 Блочный алгоритм поиска векторов движения

1.3.2 Логарифмический и иерархический методы поиска векторов движения

1.3.3 Методы фазовой корреляции

1.3.4 Дифференциальные методы поиска оптического потока

1.4 Многокадровый метод восстановления изображения

Выводы

Список литературы

Введение

Многокадровые методы отличаются от классических однокадровых тем, что с помощью первых можно увеличивать разрешение кадра, преодолевая ограничение, накладываемое количеством фоточувствительных элементов фотоприемника. Это допустимо при наличие дополнительной информации, считываемой из соседних кадров.

Рассмотрим математическую модель формирования кадра для многокадровых методов. Искаженное изображение k-го кадра размером может быть представлено вектор-столбцом , где . Вектор-столбец f описывает неискаженное цифровое изображение высокого разрешения размером , полученное дискретизацией наблюдаемой сцены и представленное в виде вектор-столбца f = , где , , , , . Можно записать модель формирования k-го кадра в матричном виде:

. (1.2)

В данной формуле - матрица размером , описывающая геометрические искажения и изменения наблюдаемой сцены, - матрица размером , описывающая размытие, - матрица размером , описывающая операцию децимации изображения до размеров .

Предполагается, что вектор f остается неизменным на протяжении всего процесса формирования кадров, а изменения на наблюдаемой сцене описываются матрицей . Оценка этих изменений является основным этапом в процессе восстановления изображений многокадровыми методами.

Матрица может быть представлена в виде , где матрица описывает геометрические искажения, вносимые оптической системой видеокамер, а матрица описывает изменения на наблюдаемой сцене, произошедшие между моментами формирования 1-го (опорного) и k-го кадров. Коррекция геометрических искажений может быть произведена после восстановления изображения высокого разрешения, так как эти искажения не изменяются в процессе формирования видеопоследовательности.

Матрица , описывающая размытие восстанавливаемого изображения может быть представлена в виде , где матрица описывает искажения, обусловленные расфокусировкой оптической системы видеокамер; матрица описывает искажения k-го кадра, являющиеся следствием движения на наблюдаемой сцене и конечным временем накопления заряда на фотоприемнике видеоустройства; матрица описывает размытие, вносимое фотоприемником.

Также как и в случае однокадрового восстановления, восстановление изображения высокого разрешения путем решения системы (1.2), не производится. Для повышения разрешения изображений используется несколько соседних кадров исходной видеопоследовательности. Восстановление производится в два этапа. На первом этапе осуществляется поиск межкадровых смещений между опорным и вспомогательными кадрами. На втором этапе задействованные кадры объединяются на общей пространственной решетке с учетом межкадровых смещений. Результирующее изображение высокого разрешения формируется расчетом значения яркости в узлах новой пространственной решетки.

Данная модель хорошо соотносится с технологией восстановления изображения методами многокадрового "Суперразрешения".

1.3 Методы оценки межкадровых смещений

Поиск межкадровых смещений, или оптического потока, является важным этапом методов многокадрового "Суперразрешения". Оптический поток - это изображение видимого перемещения, показывающее, куда и на сколько сместились точки первого кадра за время получения второго кадра. Суть оптического потока в том, что для каждой точки первого кадра находится такое смещение , что значение в точке на втором кадре будет эквивалентно значению в исходной точке. Чтобы определить эту идентичность, необходимо понять, какая величина точек будет неизменна на том и другом кадрах. В качестве постоянной характеристики точки можно использовать интенсивность, учитывая неизменность освещения сцены на соседних кадрах. Также можно считать одинаковыми точки, у которых сохраняется величина градиента, лапласиан, гессиан.

По типу используемой модели методы поиска межкадровых смещений могут быть разделены на параметрические и непараметрические. В случае непараметрической модели межкадровые сдвиги определяются для всех точек кадра. При параметрической модели векторы межкадровых смещений определяются для отдельных фрагментов изображения, учитывая выбранную модель движения фрагментов: параллельный сдвиг, поворот, афинная модель. Областью поиска может быть весь кадр или отдельные области кадра любой формы. В источнике [3] Зубарев Ю.Б. подробно разобрал существующие методы поиска оптического потока.

1.3.1 Блочный алгоритм поиска векторов движения

Данный алгоритм выполняет поиск векторов движения блоков на основе полного перебора. Недостатком метода является низкое быстродействие. Для поиска вектора движения рассматривается норма разницы сигналов яркости блока в текущем кадре и участка опорного кадра со сдвигом на вектор движения:

(1.3)

Здесь F - значение яркости пикселя, t - временной индекс кадра, - пространственные координаты пикселей в кадре, - координаты левого верхнего угла блока, - размер сторон блока. Суммирование производится по всем пикселя блока. Значение , для которых сумма абсолютных разностей имеет наименьшее значение, принимается за искомый вектор. - пороговое значение, характеризующее максимально допустимую точность компенсации движения. Если , то принимается, что эквивалентный участок изображения в опорном кадре отсутствует, и данный блок кодируется без компенсации движения. Вектора движения ищутся методом полного перебора в заданной ограниченной окрестности: . Для определения вектора движения одного блока необходимо выполнить операций вычитания, взятия модуля и сложения, в сумме около операций. На один пиксель блока количество операций составляет , что уже при типичном значении N = 15 равно значительной величине операций/пиксель.

1.3.2 Логарифмический и иерархический методы поиска векторов движения

Для уменьшения количества операций первоначально были предложены различные простые методы, в которых ограничено число кандидатов на роль вектора движения. Логарифмический метод осуществляет поиск в небольшой окрестности с шагом изменения значения вектора движения в 2 пикселя до тех пор, пока не будет найден локальный минимум H, после чего значение вектора движения уточняется с шагом в один пиксель в окрестности этого минимума.

В близком к логарифмическому 3-х шаговом методе поиск ведется первоначально по всей окрестности с шагом в 4 пикселя, затем вокруг найденного минимума с шагом в 2 пикселя, и, наконец, с шагом в один пиксель.

Для иерархического метода к изображению применяется децимация (прореживание), затем метод проводит поиск векторов движения для получившегося изображения, после чего значения найденных векторов уточняются при переходе к следующему уровню более высокого разрешения, и.т.д., пока не будет достигнут уровень разрешения в 1 пиксель. При этом количество необходимых операций для определения вектора зависит от размера окна поиска лишь логарифмически и значительно меньше по сравнению с методом полного перебора. С другой стороны, необходимо отметить, что указанные простые методы часто приводят к существенным ошибкам вследствие достаточно сложной зависимости H от V. Функция может иметь несколько локальных экстремумов, что усложняет применение и снижает практическую эффективность данных методов.

1.3.3 Методы фазовой корреляции

Отдельную группу быстрых алгоритмов поиска векторов движения представляют методы фазовой корреляции. Данные методы также основаны на преобразовании Фурье. При Фурье преобразовании пространственный сдвиг изображения соответствует добавлению к фазе каждой двумерной Фурье-компоненте величины, пропорциональной значению вектора движения. Поэтому при выполнении обратного преобразования от разницы фаз спектральных Фурье-компонент двух соседних кадров на корреляционной поверхности образуется пик, координаты которого совпадают с координатами вектора движения. Следует отметить, что вследствие принципа неопределенности Фурье-преобразования, согласно которому вклад в Фурье-спектр вносят элементы изображения одновременно всей пространственной области, метод фазовой корреляции не позволяет однозначно определить, какому из объектов соответствует найденный вектор движения, и требуется дополнительный анализ для определения этого соответствия. С другой стороны, главным преимуществом метода по сравнению с методом полного перебора является то, что метод может использоваться в достаточно большой области изображения, в которой происходит движение нескольких различных объектов, что позволяет существенно снизить вычислительные затраты.

1.3.4 Дифференциальные методы поиска оптического потока

Идея данных методов заключается в моделировании движения в плоскости кадра стандартным уравнением в частных производных гиперболического типа, используемом в физике для описания процессов переноса различных сред:

(1.4)

где есть пространственный градиент функции, - производная по времени. В уравнении (1.4), называемом "оптическим уравнением", под "переносимой средой" понимается яркость изображения F, а член S в правой части моделирует источник, определяющий изменения яркости, не сводимые лишь к пространственному движению. Задача состоит в определении поля векторов движения из (1.4) на основе знания сигнала яркости в двух соседних кадрах. Например, за вектор движения можно принять вектор, минимизирующий правую часть уравнения (1.4) по всей площади блока:

, (1.5)

, , - размер сторон блока. Соответствующая система уравнений, определяющая экстремум, имеет вид:

. (1.6)

В (1.5) и (1.6) суммирование производится по всем пикселям блока. Для практического применения (1.6) дифференциальные операторы необходимо заменить на разностные. Простейшими формулами могут быть:

, ,

.

Количество операций для определения вектора движения на один пиксель можно оценить как умножений и сложений, где Z - среднее количество арифметических операций, необходимое для вычисления одного значения производной в (1.6).

Принципиальный недостаток метода заключается в физическом принципе причинности, согласно которому воздействие в каждой точке текущего кадра зависит только от возмущений, пришедших с конечной скоростью распространения из ограниченной пространственной области опорного кадра. Поэтому при большой величине вектора движения формулы для производных должны включать значения F из достаточно большой области опорного кадра. Однако, увеличение значений F в формулах для производных приводит к росту вычислительной сложности (увеличивается значение ), и метод, в итоге, перестает быть эффективным. Различные эксперименты демонстрируют, что данный метод имеет преимущество по сравнению с методом полного перебора лишь в случае, когда вектора движения имеют малые значения в пределах нескольких пикселей.

1.4 Многокадровый метод восстановления изображения

Для увеличения разрешения и информативности изображения широко используется технология Суперразрешения [2], требующая помимо опорного кадра, на основе которого проводится восстановление, один или несколько дополнительных кадров. В отличии от методов интерполяции, использующих один кадр для повышения разрешения, метод Суперразрешения берет дополнительную информацию о сцене из соседних кадров, поэтому восстановленное изображение высокого разрешения содержит в себе больше полезной информации.

Процесс восстановления изображения выполняется в три шага:

Выбор опорного кадра, на основе которого будет происходить улучшение изображения, и дополнительных кадров, содержащих объекты восстановления основного кадра.

Определение межкадровых смещений относительно опорного кадра для каждого дополнительного кадра. Межкадровые движения могут определяться разными методами: полного перебора, логарифмическим, иерархическим, дифференциальными и прочими.

Восстановление изображения. На этом шаге используется метод деформации и слияния, который осуществлялся в три этапа: этап деформации - увеличение опорного кадра, с использованием интерполяционной формулы, до необходимого разрешения; увеличение и интерполяция дополнительных кадров с учетом смещений; этап слияния - объединение опорного и дополнительных кадров; этап устранения размытия.

Выводы

В ходе ознакомления с существующими методами было выяснено, что увеличение разрешения изображения может проводиться по одному или нескольким кадрам, однако однокадровые методы малоэффективны в случаях правильной настройки техники. Многокадровое восстановление более универсально.

Были рассмотрены различные методы оценки межкадровых смещений. Блочный метод хорош для поиска движений параллельного сдвига, хорошо работает для грубой оценки больших и малых смещений. Для изображений большого размера этот метод затрачивает много времени на обработку, но имеет аналоги: логарифмический и иерархический методы. Дифференциальный метод точен и не требует больших вычислительных мощностей, однако применение его актуально в основном для поиска малых межкадровых смещений. Методы, основанные на анализе Фурье-спектров точны для параллельного сдвига и поворота, по скорости могут опережать блочный метод полного перебора. Эти методы хорошо определяют вектор движения, когда изображение перемещается целиком (например, камера двигается во время съемки), а не отдельными частями.

Была рассмотрена технология Суперразрешения, которая легла в основу данной дипломной работы.

Список литературы