Повышение точности калибровки внешних параметров видеокамеры

Размещено на http://allbest.ru

Повышение точности калибровки внешних параметров видеокамеры

Д.С. Толкачев

Во многих задачах компьютерного зрения, например при построении систем стереовидения [1], систем видеорегистрирования, а также при визуализации моделируемых объектов на изображении [2], возникает необходимость оценки положения видеокамеры в пространстве по полученным ею изображениям известного калибровочного объекта.

Стремительное развитие фото - и видеорегистрирующей аппаратуры повышает требования к точности определения калибровочных параметров и вызывает необходимость произвести исследование влияния выбора параметров калибровочного объекта на точность калибровки.

Связь между координатами точки в мировой системе координат (СК) x = (x, y, z) и ее проекции на изображение p = (u, v) описывается с помощью выражения

,

где K - матрица внутренних параметров камеры, позволяющая перейти от координат точки в СК камеры к координатам проекции этой точки на изображении;

[R | t] - внешние параметры камеры, определяющие переход из мировой СК к СК камеры,

- однородные координаты точки на изображении.

Внутренние параметры уникальны для каждой камеры и не зависят от других камер и положения в пространстве. Их можно определить индивидуально для каждой камеры с помощью геометрической калибровки по методике, описанной в [3, 4].

При отсутствии геометрических искажений внутренние параметры камеры записываются в виде матрицы камеры:

где f_x, f_y - фокусные расстояния камеры, p_x, p_y - координаты точки пересечения оптической оси и плоскости изображения в системе координат изображения.

Внешние параметры камеры имеют вид

R = [r_ij] - матрица поворота размера 3 Ч 3, задающая ориентацию камеры и имеющая три степени свободы; t = (t_x, t_y, t_z) - вектор переноса, совмещающий начала мировой СК и СК камеры.

Для определения внешних параметров камеры после калибровки внутренних параметров достаточно иметь набор как минимум из четырех соответствий между координатами точек в пространстве x_i = (x_i, y_i, z_i) и координатами точек на изображении p_i = (u_i, v_i). Такая задача популярна в области компьютерного зрения и может решаться различными методами, в основном отличающимися вычислительной сложностью [5-7].

В библиотеке OpenCV также имеется реализация такой функции с именем cv::solvePnP или cvFindExtrinsicCameraParams2 в случае старого интерфейса [8, с. 395]. В качестве входных параметров в эту функцию поступают: массив трехмерных точек пространства, соответствующий этим точкам массив двумерных точек на изображении, внутренние параметры камеры (матрица камеры и коэффициенты дисторсии). Выходными параметры этой функции являются вектор переноса t = (t_x, t_y, t_z) и вектор вращения w = (w_x, w_y, w_z) .

Вектор вращения является описанием поворота в пространстве на угол и = ||w|| вокруг единичного вектора u = w / и. Матрица вращения может быть получена из u и и с помощью формулы Родрига [9, с. 38]:

R(u, и) = I + sin и [u]_Ч + (1 - cos и) [u]_Ч²,

где I - единичная матрица 3Ч3, а [u]_Ч - кососимметричная матрица, используемая для обозначения векторного произведения:

На практике вместо вектора переноса t удобно оперировать положением камеры c = (c_x, c_y, c_z) , которое при известных R и t находится по следующей формуле (обратная матрица поворота получается транспонированием матрицы прямого поворота R^?1 = R^T):

с = ? R^T t.

Ориентацию камеры удобно задавать в виде последовательности элементарных вращений r = (л, ц, и) на углы азимута, высоты и крена соответственно, которые для известной матрицы поворота R = [r_ij] можно найти по следующим формулам [10]:

л = arctan2(r₃₁, r₃₂),

ц = arcsin(r₃₃),

и = arctan2(-r₁₃, -r₂₃),

где arctan2(x, y) - двухаргументная функция арктангенса, эквивалентная функции arctan(y / x) с учетом четверти, в которой находится точка (x, y), принимающая значения в интервале (-р, р].

При помощи моделирования выполнено исследование того, как влияет выбор и погрешность измерения пространственных координат x и соответствующих двумерных координат p на точность оценки положения камеры. Моделировалась камера с углом обзора по горизонтали б = 68° и разрешением изображения w Ч h = 704 Ч 576 пикселей. Внутренние параметры камеры, таким образом, были приняты следующими:

f_x = f_y = w / (2 tan(б/2) ) ? 521,9;

p_x = (w - 1) / 2 = 351,5;

p_y = (h - 1) / 2 = 288,5;

параметры камеры задавались следующим образом: камера располагалась в начале координат c₀ = (0, 0, 0), а углы ее ориентации были приняты нулевыми c₀ = (0, 0, 0) (направление оси Z СК камеры совпадает с направлением оси Y мировой СК):

Точки в мировой СК определяются выбором калибровочного объекта. Исследовалось несколько конфигураций точек x_i калибровочного объекта с различными расстояниями от камеры и различными угловыми размерами (таблица 1):

1. Конфигурация из четырех точек, проекции которых разнесены друг от друга и расположены в угловых областях изображения.

2. Конфигурация из четырех точек, проекции которых не сильно разнесены друг от друга.

3. Конфигурация из восьми точек, полученная объединением 1-й и 2-й конфигурации.

4. Конфигурация из четырех точек, расположенных дальше от камеры, чем во второй конфигурации, проекции которых также расположены по углам изображения.

5. Конфигурация из четырех точек, составленная из 1-й и 4-й конфигураций (из каждой взято по две точки).

Таблица №1

Конфигурации точек и их проекции

Моделировалась погрешность оценки пространственных координат ±e_x = 1, 5 и 10 мм и погрешность определения координат на изображении ±e_p= 1 пиксель. Для этого к каждой пространственной координате x добавлялась случайная ошибка о с нормальным законом распределения и среднеквадратичным отклонением у_x = e_x/2, что соответствует доверительному интервалу 95% для заданного e_x.

Затем полученные зашумленные координаты x_о = x + о(у_x) проецировались на изображение, и к найденным проекциям добавлялся гауссов шум с среднеквадратичным отклонением у_p = e_p/2:

.

Для полученных таким образом соответствий и x с помощью функции solvePnP библиотеки OpenCV определялись внешние параметры камеры, а затем находились положение c_i и ориентация r_i камеры, где i = 0, 1, … N, N = 1000 - число, достаточное для статистически достоверной оценки погрешности. калибровочный кососимметричный видеокамера

Ошибка определения положения камеры для 95-процентного доверительного интервала находилась как два среднеквадратичных отклонения x_i от x₀:

определялась ошибка определения ориентации Дr = (Д_л, Д_ц, Д_и). Рассчитанные таким образом погрешности приведены в таблице 2.

Таблица № 2

Значения ошибки определения положения Дx и ориентации Дr камеры в зависимости от ошибки измерения пространственных координат e_x для различных конфигураций.

По результатам моделирования можно сделать следующие рекомендации:

1. Для уменьшения погрешностей необходимо увеличивать угловое расстояние между проекциями точек (конфигурации №1 и №2)

2. Добавление дополнительных точек позволяет уменьшить погрешность (конфигурации №1 и №3)

3. Отдаление точек в пространстве без изменения их угловых расстояний уменьшает погрешность определения ориентации камеры, но увеличивает погрешность определения положения камеры (конфигурации №1 и №4)

4. Предпочтительно располагать точки в пространстве так, чтобы о ни имели различные дальностные координаты. В этом случае погрешности распределяются более равномерно для различных координат или осей поворота, и их суммарное значение в этом случае наименьшее (конфигурации №1 и №5).

5. Предполагается достаточно точным определение положения и ориентации камер с точностью измерения пространственных координат 10 мм, для конфигурации из четырех разноудаленных от камеры точек (конфигурация №5).

Литература

1. Лахов, А.Я. Программное обеспечение для стереовизуализации результатов конечно-элементного моделирования [Электронный ресурс] // «Инженерный вестник Дона», 2013, №1. - Режим доступа: http://ivdon.ru/magazine/archive/n1y2013/1501 (доступ свободный) - Загл. с экрана. - Яз. рус.

2. Рачковская Г.С. Математическое моделирование и компьютерная визуализации сложных геометрических форм // «Инженерный вестник Дона», 2013, №1. - Режим доступа: http://ivdon.ru/magazine/archive/n1y2013/1498 (доступ свободный) - Загл. с экрана. - Яз. рус.

3. Sturm Peter F, Maybank Stephen J. On plane-based camera calibration: A general algorithm, singularities, applications // Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. / IEEE. -Vol. 1. - 1999.

4. Zhang Zh. A Flexible New Technique for Camera Calibration // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22(11). - P. 1330- 1334.

5. Complete Solution Classification for the Perspective-Three-Point Problem / XiaoShan Gao, Xiao-Rong Hou, Jianliang Tang, Hang-Fei Cheng // IEEE Transactionson Pattern Analysis and Machine Intelligence. - 2003. - Vol. 25, no. 8. - P. 930-943.

6. Moreno-Noguer F., Lepetit V., Fua P. Accurate Non-Iterative O(n) Solution to the PnP Problem // Computer Vision, 2007. ICCV 2007. IEEE 11^th International Conference on. - 2007. - P. 1-8.

7. Schweighofer Gerald, Pinz Axel. Globally Optimal O(n) Solution to the PnPProblem for General Camera Models. // BMVC. - 2008. - P. 1-10.

8. Bradski Gary, Kaehler Adrian. Learning OpenCV. - Sebastopol: O'Reilly, 2008. - 555 p.

9. Szeliski R. Computer Vision. Algorithms and Applications / Ed. by D. Gries, F. B. Schneider. - Springer, 2011. - 812 p.

10. Толкачев Д.С. Преобразования координат, связанные с вращением камеры, при формировании панорамы. - Материалы Всероссийской научной конференции «Инновационные процессе в гуманитарных, естественных и технических системах» - часть 3 - Таганрог: Изд-во ТТИ ЮФУ, 2012 г, с. 68-72.

Размещено на Allbest.ru