Определение трехмерных координат быстро движущегося объекта по видеопотокам от двух камер

Размещено на http://www.allbest.ru/

Определение трехмерных координат быстро движущегося объекта по видеопотокам от двух камер

Трещалин Андрей Петрович,

соискатель, ассистент кафедры радиотехники Московского физико-технического института,

Кочин Александр Васильевич,

кандидат физико-математических наук.



Определение координат объектов по видеопоследовательности, полученной от нескольких камер видеонаблюдения - актуальная задача втаких областях как охранные системы, системы обеспечения безопасности, диспетчерские системы. В последнее время все чаще подобныесистемы стали применяться для технического обеспечения различных спортивных соревнований ([4], [5]).

В настоящей работе рассматривается создание прототипа теннисного судьи. трехмерный координата траектория мяч

Прототип должен удовлетворять следующим требованиям:

1. Время срабатывания не более 0.3 сек.

2. Точность определения места касания не хуже 10 см.

Сложность задачи состоит в том, что скорость полета теннисного мяча может достигать 200 км/ч и более. При использовании обычныхвидеокамер с черезстрочной разверткой и частотой кадров 25 кадров/сек. за время кадра мяч пролетит до 3 метров. Это означает, что дляполучения требуемой точности необходимо либо использовать высокоскоростные видеокамеры, либо использовать нестандартные методывидеообработки. Стоимость высокоскоростных видеокамер оказывается слишком высокой для построения подобных систем. В данной работеописывается вариант построения системы, использующий обычные камеры видеонаблюдения.

Основная идея построения рассматриваемой системы состоит в следующем.

В качестве датчиков используются видеокамеры с черезстрочной разверткой системы PAL. Частота следования кадров 25 кадров/сек, следовательно частота полукадров получается 50 полукадров/сек. При этом выдержка устанавливается равной длительности полукадра, т.е. 20 миллисекунд. В результате на последовательности видеокадров после видеообработки возможно получить практически непрерывное изображениетраектории движения мяча.

Далее предположим, что имеются две видеокамеры, для которых произведены процедуры калибровки и привязки, и два двумерныхизображения траектории полета мяча, полученные с этих камер. С другой стороны полная калибровка и привязка камер означает, что известныфундаментальная матрица и полная матрица преобразований, связывающие координаты точек изображений и трехмерных мировых координат.

Используя эпиполярную геометрию и известную фундаментальную матрицу, можно найти на изображении траектории, полученной со 2-йкамеры, точку, соответствующую точке, заданной на изображении траектории, полученной с 1-й камеры и наоборот.

Далее зная координаты соответствующих точек на изображениях, полученных с двух камер, с помощью матрицы преобразований находимтрехмерную мировую координату точки траектории. В результате получаем трехмерную траекторию полета мяча.

В работе описывается получение трехмерных координат траектории полета мяча из двумерных координат изображения траектории.

Нахождение трехмерной траектории состоит из следующих основных задач:

1. Калибровка камер (определение внутренних параметров).

2. Привязка камер (определение внешних параметров).

3. Нахождение соответствующих точек на двух изображениях траектории, полученных с разных камер.

4. Получение трехмерных координат траектории.



Рис. 1. Система координат проективной камеры.

Процедура калибровки применялась схожая с описанной в [2].

Рассмотрим, как эффективно решить проблему калибровки камеры. Начнем с аналитического решения, затем перейдем к нелинейной оптимизации, основанной на критерии максимальной вероятности. В конце примем в расчет дисторсию линз, используя нелинейное решение.

Обозначим 2D точку , а 3D точку как . Далее будет использоваться обозначение для расширенного вектора, полученного из обычного добавлением 1 последним элементом , .

Камера моделируется обычной камерой-обскура (Рис. 1): взаимосвязь между 3D точки и ее изображением проекции устанавливаетсяследующим выражением:

(1)

где - произвольный масштабирующий коэффициент;

, называемые внешними параметрами, представляют собой вращение и перенос, которые связывают мировую систему координат ссистемой координат камеры;

матрица , называемая матрицей внутренних параметров камеры:

(2)

где - координаты главной точки;

и масштабные коэффициенты по осям и изображения;

- параметр, описывающий асимметрию осей изображения.

Без потери общности, предположим, что плоскость модели имеет координату в мировой системе координат. Обозначим -й столбецматрицы как . Из (1) получаем

(3)

Заметим, что по прежнему обозначает точку на плоскости модели, однако , так как всегда , при этом . Таким образом, точка модели и ее проекция связаны через матрицу гомографии :

(4)

Очевидно, что матрица определена с точностью до масштабирующего множителя.

Пусть

(5)

Заметим, что - симметричная матрица, определяемая вектором

(6)

Обозначим вектор -го столбца как . Тогда получаем

(7)

где

(8)

Таким образом, исходя из рассматриваемой гомографии, можно записать 2 однородных уравнения относительно :

(9)

Если мы имеем изображений модельной плоскости, то получаем таких уравнений, как (9) и получаем



(10)

где представляет собой матрицу. Если , получаем в общем случае уникальное решение , определенное с точностью домасштабирующего множителя. Если получена оценка вектора , можно полностью вычислить матрицу внутренних параметров камеры .

(11)

(12)

(13)

(14)

(15)

(16)

Можно улучшить полученное решение при помощи методов максимального правдоподобия.

Имеется изображений модельной плоскости и точек на модельной плоскости. Оценка максимального правдоподобия может бытьполучена минимизацией следующего функционала:

(17)

где проекция точки на изображение , в соответствии с выражением (4).

До сих пор не рассматривалась дисторсия линз камер. Однако подавляющее большинство камер имеют достаточно большую дисторсию, вособенности радиальную составляющую. В дисторсии как правило доминирует радиальная составляющая. Поэтому здесь рассматриваются толькодва первых коэффициента дисторсии.

Пусть - идеальные (не наблюдаемые, не искаженные дисторсией) координаты точек изображения, а - соответствующие реальнонаблюдаемые координаты точек изображения. Идеальные точки - проекция модельных точек в соответствии с моделью камеры обскура. Аналогично и - идеальные (не искаженные дисторсией) и реально наблюдаемые нормализованные координаты точек изображения. Имеем [2, 25]

(18)

(19)

где и - коэффициенты радиальной дисторсии. Центр радиальной дисторсии совпадает с центральной (принципиальной) точкой. Из и имеем

(20)

(21)

Расширением (17) является оценка максимального правдоподобия, которая может быть получена минимизацией следующего функционала:

(22)

где проекция точки на изображение , в соответствии с выражением (4) и последующим учетом дисторсии (18) и(19). Вращение определяется вектором трех параметров, обозначаемым . Минимизация (22) - нелинейная задача, которая решается с помощьюалгоритма Левенберга-Маркардта. При этом требуется начальная оценка , которая может быть получена с использованиемтехники, описанной выше. Начальная оценка и может быть получена с использованием техники, описанной выше, или просто могут бытьизначально установлены в 0.

Суммарно процедура калибровки выглядит следующим образом:

1. Распечатать тестовое изображение и закрепить его на плоской поверхности.

2. Сделать несколько изображений модельной плоскости с различной ориентацией, двигая либо плоскость,либо камеру.

3. Найти характеристические точки на изображениях.

4. Оценить 5 внутренних параметров и все внешние параметры, используя конечное решение.

5. Подстроить все параметры минимизацией (22).

В основу процедуры определения внешних параметров положен метод, описанный в [3].

Допустим, что известны внутренние параметры камеры. Все, что нужно для определения внешних параметров, - это точки перспективногосхода, соответствующие любым двум осям выбранной мировой системы координат. Оставшаяся ось получается просто векторным умножениемдвух известных. Предположим, что имеются две ортогональные точки перспективного схода и (Рис. 2). Тогда и для матрицыповоротов получаем:

(23)

При этом

(24)



,где и - координаты в системе камеры и мировой системе соответственно, - вектор параллельного переноса.

Размеры прямоугольника не важны для определения ориентации камеры (матрицы ). Однако они используются для нахождения векторапараллельного переноса. Для этого необходимо знать мировые координаты как минимум двух точек. Принимая во внимание соответствие точек, соотношение (24) дает два независимых линейных уравнения для определения трех неизвестных компонент . Следовательно надо знать либовысоту, либо ширину прямоугольника. Например, если известна ширина , то можно просто установить координаты левого верхнего угла , тогда координаты правого верхнего угла будут .

Рис. 2. Привязка камеры по изображению прямоугольника.

Для получения трехмерных координат некоторой точки необходимо найти на изображениях, полученных с двух камер, сопряженныепроекции этой точки.

Пусть на одном из изображений выбрана точка , являющаяся проекцией некоторой точки трехмерного пространства, необходимо навтором изображении найти точку - проекцию той же точки.

Рис. 3. Система координат двух камер.

Пусть (Рис. 3) первой камере соответствует система координат , а второй - . Пусть вектор характеризует координаты некоторой точки трехмерного пространства в системе первой камеры, а вектор - в системе второй. Переход от глобальной системы координат к стандартным системам первой и второй камер осуществляется с помощью преобразований и соответственно. Учитывая это, легко показать, что связь между векторами и задается соотношением:

(25)

где - ортогональная матрица, описывающая ориентацию системы координат второй камеры относительно первой, - вектор трансляции, определяющий положение оптического центра второй камеры в системе координат первой. Матрицу ивектор принято называть внешними параметрами системы регистрации.

Определим также векторы однородных внутренних координат камер . Тогда получаем и .

Умножив обе части выражения (25) слева сначала векторно на , а затем скалярно на , получим:

(26)

Выражая через получим:

(27)

Известно [1], что векторное произведение можно представить как , где матрица имеет вид:

(28)

Тогда можно представить как:

(29)

или

(30)



где

(31)

С другой стороны, любая прямая линия на плоскости может быть задана уравнением или, в векторном виде, , где , . Сравнивая уравнение прямой с (29) и с (31) приходим к выводу, что (29) задает в плоскости изображения первой камерыпрямую

(32)

с вектором коэффициентов ,

а в плоскости изображения второй камеры - прямую

(33)

с вектором коэффициентов .

Это значит, что если в плоскости изображения первой камеры указана точка с вектором внутренних координат , то сопряженная точка вплоскости изображения второй камеры может лежать только на прямой, заданной уравнением (29). Аналогичное правило справедливо и для точек, заданных в плоскости изображения второй камеры.

Этот результат имеет наглядную геометрическую интерпретацию (Рис. 4).



Рис. 4. Эпиполярные линии.

Оптические центры камер и и наблюдаемая точка М образуют плоскость Р, которая пересекает плоскости изображения камер попрямым и . Линии пересечения плоскости P с плоскостями изображений камер называются эпиполярными линиями.

Теперь имеем две полностью откалиброванные камеры, то есть известны полные матрицы преобразований и . Тогда длялюбой точки сцены с неизвестными трехмерными координатами , которая проецируется в точки изображиний и , имеем:

(34)

Объединяя эти два выражения, получаем в матричной форме:



(35)

Это - линейная система относительно , из которой трехмерные координаты точки легко вычисляются.

Для экспериментальной проверки алгоритмов был разработан макет электронного теннисного судьи, состоящий из:

? двух цветных камер видеонаблюдения Sanyo VCC-6572P:

- видеовыход системы PAL (720 x 576 точек, 25 кадров в секунду),

- черезстрочная развертка (50 полукадров в секунду),

- внешняя синхронизация (видеосигнал с выхода первой камеры подается на вход синхронизации второй камеры);

? двух плат видеообработки ADSP-BF561 EZ-KIT Lite, включающих:

- сигнальный процессор ADSP-BF561 Blackfin,

- оперативная память 64 MБ (16 M x 16-бит x 2),

- флэш память 8 MБ (4 M x 16-бит),

- видео декодер ADV7183A,

- последовательный порт;

? персонального компьютера (ноутбука):

- процессор Pentium 1.6 Ггц,

- оперативная память 512 МБ.

Видеосигнал с каждой камеры подается на свою плату видеообработки для выделения движущихся объектов и определения двумернойтраектории движения мячика.

Траектории передаются в компьютер для получения трехмерной траектории и определения координат места касания мячиком корта.



Рис. 5. Структурная схема прототипа электронного теннисного судьи.

Точность определения координат места касания корта мячиком, полученная в результате эксперимента:

Координата Х (поперек корта) 10 см.

Координата У (вдоль корта) 3 - 5 см.

Камеры расположены по краям корта на расстоянии 2 м от корта на высоте 1.5 м, касание в квадрате подачи, скорость полета мяча 10 - 50 м/с.

В работе предложены алгоритмы и методы, позволяющие получить трехмерные координаты траектории полета мяча из двухвидеопоследовательностей, полученных от «медленных» видеокамер:

? Определение внутренних параметров видеокамер с помощью плоской модели.

? Вычисление внешних параметров видеокамер по точкам перспективного схода.

? Нахождение соответствующих точек на двух изображениях траектории, полученных с разных камер, методами эпиполярной геометрии.

? Получение трехмерных координат траектории по парам соответствующих точек на изображениях.

Экспериментальная проверка алгоритмов проводилась на разработанном макете электронного теннисного судьи. Было экспериментально показано, что точность определения координат траектории зависит от разрешения видеокамер, расположения камер, точности калибровки ипривязки. Тем не менее, даже при не оптимальном расположении камер удается достичь заданной точности определения координат.\



Литература

1. Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: Учебное пособие.- Новосибисрк: Изд-во НГТУ, 2000.

2. Z. Zhang, «A flexible new technique for camera calibration», IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000.

3. Z. Kim, «Geometry of Vanishing Points and its Application to External Calibration and Realtime Pose Estimation», Institute of Transportation Studies, Research Reports, Paper UCB-ITS-RR-2006-5, July 1, 2006.

4. Guangyu Zhu , Changsheng Xu , Qingming Huang , Wen Gao , Liyuan Xing, «Player action recognition in broadcast tennis video with applications to semantic analysis of sports game», Proceedings of the 14th annual ACM international conference on Multimedia, October 23-27, 2006, Santa Barbara, CA, USA.

5. Wayne Chelliah Naidoo , Jules Raymond Tapamo, «Soccer video analysis by ball, player and referee tracking», Proceedings of the 2006 annual research conference of the South African institute of computer scientists and information technologists on IT research in developing couuntries, p.51-60, October 09-11, 2006, Somerset West, South Africa.

Размещено на Allbest.ru