Сверхразрешение в цифровой голографии

Размещено на http://www.allbest.ru/

Новосибирский государственный технический университет

Сверхразрешение в цифровой голографии

В.И. Гужов, И.О. Марченко, Д.С. Хайдуков, С.П. Ильиных

Аннотация

В статье рассматривается метод повышения разрешения изображений в голографических системах на основе алгоритмов субпиксельного сдвига. Рассматриваются методы решения систем уравнений большой размерности сведением к блочному виду. Наиболее простое решение получается, когда из набора матриц со сдвигом в одном направлении формируется набор из матриц с увеличенным разрешением, а затем из полученного набора формируется результирующая матрица.

1. Алгоритмы субпиксельного сдвига

Общая постановка задачи описана в [3]. На рис.1 показана схема регистрации одномерного сигнала при его сканировании апертурой с низким разрешением. Здесь n - количество элементов низкоразрешающего растра, l - количество высокоразрешающих элементов, попадающих в интегрируемую апертуру I_i, , nl - количество элементов в высокоразрешающем растре.

Рис. 1. - Схема регистрации низкоразрешающего сигнала при субпиксельном сдвиге по одной строке.

В результате измерений мы имеем набор значений с низким разрешением , сдвинутых относительно друг друга на некоторую величину меньшую размера интегрированной апертуры. Наша задача определить высокоразрешающие элементы .

Запишем систему линейных уравнений в виде

. (1)

В матричном виде систему уравнений (1) можно представить в следующем виде

,(2)

где A - матрица системы размером , X - вектор искомых элементов высокоразрешающего растра размером nl, I - вектор низкоразрешающих апертур (пикселов), образованных последовательно расположенными апертурами по строкам: I₁ - без сдвига, I₂- со сдвигом на один элемент высокоразрешающего растра, I₃ - со сдвигом на два элемента высокоразрешающего растра и т.д. Общее число элементов в векторе I - 1Чnl элементов.

Решая систему уравнений (2) путем последовательного вычитания элементов вектора I «снизу - вверх» получим искомый вектор элементов высокоразрешающего растра.

Рассмотрим обобщение метода субпиксельного сканирования на двумерную область и возможность упрощения решения двумерной задачи путем ее разложения на ряд подзадач, решаемых для каждого пространственного направления отдельно. Это позволит распараллелить решение основной задачи и соответственно получить ее эффективное решение.

Пусть размер двумерного растра низкоразрешающего растра равен N_x и N_y по горизонтали и вертикали, а l и k - коэффициенты увеличения пространственного разрешения в горизонтальном и вертикальном направлениях, соответственно.

Необходимый набор низкоразрешающих растров получается путем регистрации необходимого количества изображений при пространственных сдвигах в разных направлениях.

Отметим, что число элементов в наборе низкоразрешающих растров должно быть равно числу элементов высокоразрешающего растра N=(N_xl)Ч(N_yk). Величина сдвига определяется следующим образом: , , где L_x и L_y - линейные размеры апертуры для одного пикселя изображения по горизонтали и вертикали, соответственно.

Рассмотрим структуру системы уравнений для нахождения синтезируемого высокоразрешающего двумерного растра R в случае сдвигов в различных направлениях.

А) Пусть пространственные сдвиги выполняются для всех строк изображения только в одном (горизонтальном) направлении. Очевидно, что матрица системы в этом случае будет представлять собой блочную диагональную структуру размером (lN_xN_y)Ч( lN_xN_y)

, (3)

где - блочная матрица размером N_xlЧN_xl, соответствующая матрице системы уравнений (3).

Отметим, что каждый блок описывает одну строку высокоразрешающего растра. В этом случае блок представляет собой наддиагональную матрицу ширина ленты, которой равна величине коэффициента l.

. (4)

Система уравнений (3) перепишется следующим образом

, (5)

где вектор I в этом случае составляется путем последовательной развертки строк низкоразрешающих растров согласно описанному ранее правилу.

Вычисление элементов синтезируемого растра также выполняется путем вычитания элементов вектора I «снизу - вверх» (т.е. начиная с конца вектора).

Полученный вектор X представляет собой развертку искомого синтезируемого растра по строкам. Окончательно искомый растр получается путем сборки вектора по строкам.

Другой способ вычислений заключается в формировании вектора , его сборки в матрицу и последовательном вычитании элементов каждой строки «справа - налево», начиная с конца строки. В отличии от первого способа вычислений здесь каждая строка может рассчитываться независимо, т.е. параллельно.

Б) При сдвигах в вертикальном направлении матрица системы размером (N_xkN_y)Ч(N_xkN_y) будет иметь многодиагональную структуру. Расстояние между диагоналями равно длине строки, а количество диагоналей равно k.

.(6)

Матрица. A_y также может быть представлена в блочном виде

.(7)

здесь B_y - единичная матрица размером N_ykЧN_yk.

Система уравнений (3) в этом случае примет вид

. (8)

Более эффективный способ формирования и решения системы уравнений (8) заключается в ином способе формирования вектора I. В отличие от предыдущего способа вектор I может быть сформирован по столбцам. Матрица A_y при этом будет с точностью до размера совпадать с матрицей A_x и иметь ширину ленты k. Этот способ эквивалентен перестановке столбцов и строк матрицы A_y, а также соответствующих им элементов вектора таким образом, чтобы разреженная матрица A_y имела плотное расположение диагоналей.

Решая систему уравнений (8) способом аналогичным способу решения в секции (Б), получим вектор X, после сборки, которого имеем матрицу размера N_ykЧN_x, которая в свою очередь является транспонированной матрицей синтезируемого растра R.

В) При синтезе высокоразрешающего растра со сдвигами в обоих направлениях матрица системы A_xy имеет структуру аналогичную матрице системы B_y. блоки B_xy размера lN_xЧkN_y матрицы системы A_xy формируются из блоков, B_y, в которых происходит уширение диагоналей блока вверх на величину l и блок B_xy принимает вид аналогичный виду блоков B_x. Тогда матрицу системы A_xy размером (lN_xkN_y)Ч(lN_xkN_y) можно представить как

.(9)

Как следует из выражения (9) матрица A_xy сильно разрежена. Поэтому ее прямое решение неэффективно.

Достаточно простое решение получается, когда из набора матриц со сдвигом в одном направлении, например, по горизонтали с фиксированным сдвигом по вертикали формируется набор из k матриц с увеличением разрешения в горизонтальном направлении (секция А), а затем из полученного набора формируется результирующая матрица (секция Б).

2. Моделирование процесса субпиксельного сканирования при восстановлении изображений с аналоговых голограмм

Для демонстрации увеличения разрешения необходимо выбрать объект на котором будет виден эффект повышения разрешения. В качестве такого объекта выбрана реальная голограмма зафиксированная на фотопластинке. При недостаточной частоте дискретизации высокие частоты при восстановлении из нее изображений будут потеряны [4].

Отсканируем участок голограммы 3,5 мм с разрешением 2048х2048 пикселя (рис.2). Для ввода использовалась система на основе модификации оптического микроскопа [5, 6]. В качестве устройства оцифровки может использоваться фотокамера или кинокамера [7]. Голограмма фиксировалась в области Фраунгофера, поэтому для восстановления их нее изображения использовалось преобразование Фурье [8-12].

Рис. 2. - Высокоразрешающая цифровая голограмма размером 3.5 мм x 3.5мм отсканированная с разрешением. 2048x2048 (слева) и восстановленное из неё действительное и мнимое изображения (справа)

Из этой голограммы получим четыре голограммы размером 1024х1024 следующим образом: первая голограмма получается усреднением значений по площадке 2х2 пикселя (без сдвига), вторая - усредним значения на площадке 2х2 пикселя со сдвигом голограммы по оси x на один пиксель, что соответствует сдвигу на половину пикселя голограммы после ее усреднения, третья - со сдвигом на один пиксель по оси y, четвертая -со сдвигом на один пиксель по оси x и y. Таким образом моделируем четыре цифровые голограммы низкого разрешения (1024x1024):

- начальное изображение (без сдвигов);

- изображение со сдвигом в направлении на половину размера апертуры для пикселя по горизонтали;

- изображение со сдвигом в направлении на половину размера апертуры для пикселя по вертикали;

- изображение со сдвигом в направлении как , так и в направлении на половину размера апертуры пикселя по горизонтали и по вертикали. голографический субпиксельный сканирование

На рис.3 показано восстановленное изображение из одной из голограмм размером 1024х1024. Из рисунка видно, что данного разрешения недостаточно.

Голограмма Восстановленное изображение

Рис. 3. - Результат восстановления цифровой голограммы размером 3.5 мм отсканированной с разрешением 1024x1024

На рис. 4 показана последовательность операций синтеза высокоразрешающего растра по изложенному в статье алгоритму формирования двумерного сверхразрешающего растра в два этапа.

Рис. 4. - Последовательность синтеза высокоразрешающего растра

На первом этапе решается одномерная задача увеличения растра в горизонтальном направлении.

Из набора матриц P выбираем матрицы, не имеющие сдвига по вертикали и с последовательными сдвигами по горизонтали. В нашем случае, это матрицы и с разрешением1024x1024 и формируем из них матрицу H1, увеличивая при этом разрешение в горизонтальном направлении в два раза (т.е. 2048x1024). Для этого решаем систему уравнений

. (10)

Затем выбираем матрицы имеющие сдвиг по вертикали и также последовательные сдвиги по горизонтали. Это матрицы и с матрицу H2, с разрешением 2048x1024 соответственно. Ниже показано формирование j - ой строки матрицы H2_j. Остальные строки формируются аналогично.

. (11)

В результате получаем матрицу H1(x,y) с разрешением 2048x1024 и матрицу H2(x,y+?y), имеющую такое же пространственное разрешение. Полученные матрицы описывают цифровые голограмм, введенные со сдвигом в вертикальном направлении и без горизонтальных сдвигов.

На втором этапе решается одномерная задача формирования сверхразрешающего растра в вертикальном направлении из полученных матриц со сдвигом по вертикали. Это позволяет использовать тот же алгоритм формирования изображения, что и со сдвигами по горизонтали. Отличие заключается в том, что обработка изображения ведется уже не по строкам, а по столбцам. Таким образом, из матриц H1(x,y) и H2(x,y+?y) с разрешением 2048x1024 формируем матрицу H(x,y) с разрешением 2048x2048. Ниже показано формирование j - го столбца матрицы H

. (12)

Остальные столбцы формируются аналогично.

В результате получим матрицу H, элементы которой представляют высокоразрешающую цифровую голограмму с разрешением 2048x2048.

На рис.6 показаны 4 оцифрованных изображения размером 1024х1024 пикселя, синтезированная высокоразрешающая голограмма размером 2048x2048 и восстановленное с неё действительное и мнимое изображение. Повышение разрешения видно по картине (рис.5 справа), на которой действительное и мнимое изображение, в отличие от изображений на рис. 3, полностью восстановлены.

Рис. 5. - Повышение разрешения при сканировании цифровой голограммы

Таким образом, по набору растров с низким разрешением можно генерировать растры с высоким разрешением

Выводы

В статье рассмотрен быстрый алгоритм, реализующий метод пространственного субпиксельного сканирования.

Современные устройства позиционирования обеспечивают пространственный сдвиг по осям x и y с шагом 0.1 нм. При среднем размере пикселя в матричных фотоприемниках порядка 1-5 мкм можно обеспечить пространственное разрешение синтезируемых цифровых голограмм сравнимое с пространственным разрешением голограмм регистрируемых на фотографических носителях. Однако при этом необходимо решать систему уравнений, имеющую порядок нескольких миллионов элементов.

Использование субпиксельного сдвига для формирования высокоразрешающих цифровых голограмм позволит значительно улучшить качество измерений реальных изделий при использовании современных матричных фотодетекторов для ввода изображений имеющих сравнительно невысокое пространственное разрешение.

Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований «Разработка и исследование методов компьютерной голографической интерферометрии объектов сложной формы» (Грант № 18-08-00580).

Литература

1. RatisXY(Z) - двухкоординатный плоскопараллельный сканер URL: nanoscantech.com/ru/products/stage/stage-76.html.

2. Moshe Ben-Ezra, Assaf Zomet, and Shree K. Nayar. Video Super-Resolution Using Controlled Subpixel Detector Shifts // IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 27, No. 6, June 2005, pp.977-987

3. Васьков С.Т., Ефимов В.М., Резник А.Л. Быстрая цифровая реконструкция сигналов и изображений по критерию минимума энергии// Автометрия. 2003, Т.39, №4, с.13-20.

4. Гужов В.И., Марченко И.О., Хайдуков Д.С., Ильиных С.П. Использование обобщенных функций для дискретизации изображений // Инженерный вестник Дона, 2017, № 2. URL: ivdon.ru/ru/magazine/archive/n4y2017/4127/.

5. Гужов В.И., Ильтимиров Д.В., Хайдуков Д.С., Чернов О.В., Полубинский С.Л. Модификация оптических микроскопов // Автоматика и программная инженерия. Новосибирск. 2016. №2(16). С. 71-76.

6. Гужов В.И., Денежкин Е.Н., Чернов О.В., Зарубин Н.С. Восстановление изображений из реальных голограмм, зафиксированных на фотопластинках. НГТУ, Новосибирск, Россия. Автоматика и программная инженерия. 2017. № 1 (19). С. 76-80.

7. Толкачев Д.С. Повышение точности калибровки внешних параметров видеокамеры // Инженерный вестник Дона, 2013, № 3. URL: ivdon.ru/ru/magazine/archive/n3y2013/1840/.

8. Ярославский Л.П. Цифровая голография / Л.П. Ярославский, Н.С. Мерзляков. - M.: Наука, 1982. - 219 с.

9. Kim, M.K. Principles and techniques of digital holographic microscopy / M.K. Kim // SPIE Reviews. - 2010. - Vol. 1. - pp. 018005-1 - 018005-50.

10. Гужов В.И., Емельянов В.А., Хайдуков Д.С. Область возможного применения дискретных преобразований Фурье и Френеля. // Автоматика и программная инженерия. Новосибирск. 2016. №1(15). С. 97-103

11. Гужов В.И., Несин Р.Б., Емельянов В.А. Представление преобразования Френеля в дискретном виде // Автоматика и программная инженерия. Новосибирск. 2016. №1(15). С. 91-96

12. Гужов В.И. Математические методы цифровой голографии.: Учеб. пособие. Новосибирск: Изд-во НГТУ, 2017. 80 с.

References

1. RatisXY(Z)- dvuhkoordinatnyj ploskoparallel'nyj skaner URL: nanoscantech.com/ru/products/stage/stage-76.html.

2. Moshe Ben-Ezra, Assaf Zomet, and Shree K. Nayar. Video Super-Resolution Using Controlled Subpixel Detector Shifts. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 27, No. 6, June 2005, pp.977-987

3. Vaskov S.T., Efimov V.M., and Reznik A.L. Fast digital image and signal reconstruction by the minimum energy criterion. Optoelectronics, Instrumentation and Data Processing. 2003. Vol. 39, iss. 4. pp. 11-17.

4. Guzhov V.I., Marchenko I.O., Hajdukov D.S., Il'inyh S.P. Inћenernyj vestnik Dona (Rus), 2017, №2 URL: ivdon.ru/ru/magazine/archive/n4y2017/4127/.

5. Guzhov V.I., Iltimirov D.V., Hajdukov D.S., Chernov O.V., Polubinskiy S.L. Modification of Optical Microscopes. Automatics & Software Enginery, Novosibirsk. 2016. №2 (16). pp.71-76

6. Guzhov V.I., Denegkin E.N., Chernov O.V., Zarubin N.S. Automatics & Software Enginery. Novosibirsk. 2017. № 1(19). pp.76-80

7. Tolkachev D.S. Inћenernyj vestnik Dona (Rus), 2013, №3 URL: ivdon.ru/ru/magazine/archive/n3y2013/1840/.

8. Jaroslavskij L.P. Cifrovaja golografija [Digital Holography]. L.P. Jaroslavskij, N.S. Merzljakov. M.: Nauka, 1982. 219 p.

9. Kim, M.K. Principles and techniques of digital holographic microscopy. M.K. Kim. SPIE Reviews. 2010. Vol. 1. pp. 018005-1 - 018005-50.

10. Guzhov V.I., Emelyanov V.A., Hajdukov D.S. Automatics & Software Enginery, Novosibirsk, 2016. No.1(15), pp.97-103

11. Guzhov V.I., Nesin R.B., Emelyanov V.A. Automatics & Software Enginery, Novosibirsk, 2016. No.1(15), pp.91-96

12. Guzhov V.I. Matematicheskie metody cifrovoj golografii [Mathematical methods of digital holography]: Ucheb. posobie. Novosibirsk: Izd-vo NGTU, 2017. 80 p.

Размещено на Allbest.ru