Удержание автомобиля на полосе дороге с использованием видеосигнала в контуре обратной связи

Размещено на http://www.allbest.ru/

Статья по теме:

«Удержание автомобиля на полосе дороге с использованием видеосигнала в контуре обратной связи»

C.Ю. Ерёмушкина

Рассматриваются две подзадачи. Первая подзадача заключается в распознавании дорожной разметки. Существо предлагаемого алгоритма состоит в постоянной настройке положения «сенсоров», координаты которых определяют положение дорожной полосы в плоскости изображения камер. Вторая подзадача заключается в разработке алгоритма управления линейной и угловой скоростью движения автомобиля.

Введение

В настоящее время актуальной является задача управления робототехническими системами без использования оператора. Вариаций этой задачи существует множество - автоматическое управление автомобилем, самолётом, подводной лодкой и другими средствами передвижения. Решение данного круга задач позволило бы сократить количество катастроф (аварий) за счёт снижения фактора человеческой ошибки и повышения эффективности принимаемых решений.

Целью данной работы является разработка алгоритма автоматического удержания автомобиля на полосе дороги с использованием поступающего видеосигнала с камеры, установленной на борту. Данная задача уже решена многими автомобильными концернами и используется в последних моделях автомобилей, но код программного обеспечения держится под секретом. В своих разработках компании используют большое количество датчиков, что увеличивает стоимость внедрения продукта в разы.Архитектура решения, описанного в докладе, состоит из двух объектов: робота и мощного компьютера для вычислений. Робот должен быть оснащён видеокамерой, компасом, акселерометром и гироскопом. С него через радиосигнал передаётся видео, на компьютере видеосигнал обрабатывается, и производятся расчёты. Далее компьютер отсылает данные с управлением, и автомобиль изменяет свою угловую и линейную скорость. Для расчётов компьютеру необходимо передать только информацию о высоте установки камеры.

Будем полагать, что робот находится вблизи полосы дороги и в плоскости камеры её всегда видно. Рассматриваются только хорошие погодные условия, то есть без заснеженных дорожных частей, густого тумана и сильного дождя. Движение автомобиля может происходить как днём, так и ночью, если фары достаточно хорошо освещают полосу.

Под автоматическим удержанием автомобиля на полосе дороге будем понимать его стабилизацию на ней, т.е. стремление к расположению автомобиля ровно по центру полосы дороги и сведение его ориентации относительно дороги к нулю градусов. Реализованный алгоритм должен выполняться в реальном времени без задержек во избежание изменения дорожной ситуации быстрее изменения управления автомобилем и являться решением выше поставленной задачи.

Полученные в работе результаты иллюстрируются примерами имитационного моделирования и распознаванием дорожной разметки в видеопотоке в темпе реального времени.

Постановка задачи

Введём обозначения и понятия, которыми будем пользоваться в работе. Обозначим через - мировую систему координат, - систему координат, жёстко связанную с роботом. Осьсонаправлена с продольной составляющей скорости робота, осьнаправлена вертикально вниз. Обе системы координат будут образовывать правую тройку векторов. Обобщенные координаты робота представлены вектором , где пара- координаты робота на плоскости в мировой системе координат, а - угол между осью системы координат робота и осью мировой системы координат. Угол отсчитывается по часовой стрелке. Будем рассматривать модель неполноприводного робота:

, (1)

где: - линейная скорость робота, а - угловая скорость. Вектор скорости направлен по оси связанной системы. Согласно модели перспективного преобразования, отображение точки трехмерного пространства, находящейся в плоскости движения робота, на плоскость изображения камеры осуществляется по формулам:

(2)

где пара - координаты точки в нормированной плоскости камеры (фокусное расстояние равно 1), - координаты точки пространства в связанной системе координат робота и - высота установки камеры над землей, то есть координата камеры в мировой системе координат. Начало координат находится в центре камеры, ось направлена вправо, а ось направлена вниз. Решение задачи детектирования дорожной полосы будем искать в виде уравнения прямой , заданной в системе координат изображения. Данная прямая обозначает центральную (срединную) линию дорожной разметки.

Целью управления является минимизация разности между текущими координатами робота в мировой системе координат и координатами ближайшей к роботу точки на центральной линии дорожной полосы. То есть целью является обеспечение равенства:

, (3)

где. Цель достигается посредством приведения прямой в плоскости камеры к прямой вида

Управляющий сигнал, который передаётся на робот с компьютера, описывается вектором двух переменных , состоящей из линейной и угловой скорости для модели неполноприводного робота. Задача синтеза управления состоит в поиске отображения , где - коэффициенты уравнения прямой, обозначающей дорожную полосу. В случае неполноприводного робота линейная скорость направлена вдоль оси и должна удовлетворять ограничению , где определяется экспериментальным путём. При этом на угловую скорость накладывается дополнительное ограничение , где - минимально-возможный радиус для поворота автомобиля.

Распознавание дорожной разметки

Обозначим за отображение, которое ставит в соответствие пикселю с координатами некоторый цвет в цветовой модели . Левую и правую линии дороги обозначим за и , где - коэффициенты уравнения левой и правой прямой соответственно. За и примем координаты начала и конца видимой части прямыхи. Также введём величину как обозначение ширины полосы дорожной разметки (разделительной полосы) в пикселях изображения с учётом возможных отклонений и появления двойной сплошной линии. Так как линии дорожной разметки представляют собой прямые разрывные линии (даже в случае нерезкого поворота изгиб дорожной полосы можно аппроксимировать прямой линией без существенных потерь), то очевидным решением поставленной задачи является использование алгоритма Хафа при обработке каждого изображения , поступающего с видеокамеры. Алгоритм Хафа очень хорошо подходит для поиска объектов, принадлежащих определённому классу геометрических фигур (например, прямые или эллипсы). Однако, он имеет ряд недостатков: во-первых, данное преобразование детектирует не только дорожную разметку, но и другие элементы дороги, во-вторых, данный метод требует огромных вычислительных ресурсов, что не позволяет обрабатывать изображение в режиме реального времени. В предлагаемом алгоритме преобразование Хафа используется только на первом поступившем изображении (кадре) для определения левой и правой полосы и . Далее на распознанных прямых выбираются точек по следующим формулам:

(4)

Используя информацию о примерной ширине разделительной линии , определим для каждой полосы по новых изображений, за которыми будет происходить наблюдение в процессе движения автомобиля. Новые изображения имеют ширину в один пиксель, а длину в пикселей. Эти изображения представляют собой горизонтальные отрезки, для каждого из которых координата по оси равна, а координаты начала и конца отрезка равны и соответственно, где . Данные изображения будем называть сенсорами.

Рассмотрим более подробно детектирование разметки на первом изображении и алгоритм, обеспечивающий работу с сенсорами. После применения преобразования Хафа получаем изображение , где из множества найденных прямых линий необходимо выбрать наиболее вероятную левуюи правую полосы. Выбор происходит в 2 этапа. На первом этапе на изображении оставляем только подмножество линий, где длина каждой линии удовлетворяет условию:

(5)

где , и - минимально и максимально возможная длина отрезка разделительной полосы в плоскости камеры. Затем из множества выбираем два подмножества и , которые будут содержать прямые с углами наклона, удовлетворяющими условию:

(6)

где и- минимально и максимально возможные углы наклона разделительной полосы для левой и правой линии соответственно.

На втором этапе сравнивается цветовая модель эталонной линии дороги c рассматриваемой прямой по формуле:

(7)

где- отображения цвета пикселя разделительной полосы из цветового пространства в цветовое пространство .

Выбираем наиболее близкую к эталону левую и правую разделительные полосы, то есть а Стоит отметить, что в цветовой модели цвет дорожной разметки соотносится с множеством различных диапазонов каналови , что сильно затрудняет описание «эталонного» цвета, чего нельзя сказать про цветовую модель . В этой модели экспериментальным путём были выбраны диапазоны каналовнаходясь в пределах которых, с высокой вероятностью определяется только дорожная разметка. Введем изображение, которое будем называть маской исходного изображения и обозначать. Каждый пиксель этого изображения закрашен в белый цвет при его цветовой принадлежности к выделенному диапазону, а в противном случае он закрашен в чёрный цвет.

Так как длина у прямых из множества различная, то на каждой прямой будем рассматривать только точек, координаты которых определяются формулой (4). Изначально и . Далее, выбрав максимальные значения как для правой, так и для левой полосы, получим искомые прямые.

Теперь рассмотрим подробнее алгоритм работы с сенсорами. Согласно формуле (4) получим множество точек для линии и. Обозначим множество, соответствующее левой разделительной полосе дороги за, а множество, соответствующее правой полосе дороги за. Элементы данного множества зависят от координат центра сенсора и цветовой модели сенсора . Задача состоит в корректном обновлении координат центра сенсора и его цветовой модели на каждом новом изображении (кадре). Решение данной задачи имеет древовидную структуру. Максимальное возможное количество уровней структуры равно трем. То есть, если обновление координаты датчика происходит на первом или втором уровне, процесс прерывается, и рассматривается следующий сенсор.

Рассмотрим решение задачи по обновлению координат центра сенсора на первом уровне. Так как изображениебелым цветом отображает большое количество пикселей, относящихся к дорожной разметке, то именно с помощью него будем обновлять координаты на первом уровне. Рассматриваем все координаты точек i-го сенсора: от до. Координата у сенсора не меняется. Если найдётся участок, на котором в маске расположено более пяти подряд идущих белых пикселей, то обновляем координаты сенсора как центр этого участка, а также обновляем цветовую модель сенсора. Математически данный алгоритм можно записать следующим образом: если ивыполняется условие то:

(8)

где и - отображения сопоставляющие пикселю его цвет в канале и соответственно. Если обновление координат сенсора не произошло, то переходим к следующему уровню.

На втором уровне используется детектор границ Кенни. Применим данный алгоритм нахождения границ к исходному изображению. Получившееся бинарное изображение обозначим за.

Аналогично прошлому шагу рассматриваем множество белых пикселей изображения, расположенных внутри сенсора. Однако, на данном шаге белые пиксели будут находиться на некотором расстоянии друг от друга, то есть образовывать промежутки (так как для изображения белые пиксели обозначают границы на изображении). Далее необходимо сравнить цвета на изображении в центрах найденных промежутков и соответствующие цветовой эталон рассматриваемых сенсоров. Выбираем наиболее похожий участок и обновляем характеристики сенсора. Далее данный шаг записан на математическом языке для отдельного сенсора. Пусть вектор с компонентами причёмВведём промежуточные координаты по формуле:

(9)

Сравниваем цвет с эталонным цветом сенсора по формуле:

(10)

Обозначим индекс, тогда:

(11)

Если обновление не произошло ни на первом, ни на втором уровне, то обновляем параметры сенсора по формуле:

(12)

где - параметр в сенсоре.

После того как на поступившем новом изображении мы обновили информацию о разделительных линиях полосы, получим траекторию, т.е. параметры и прямой в плоскости изображения. Для этого воспользуемся модифицированным методом наименьших квадратов.

Использование модифицированного метода наименьших квадратов обусловлено высокой вероятностью попадания в множество точек, не связанных с дорожной разметкой, что, в свою очередь, делает аппроксимацию некорректной. В модифицированном же МНК вводится дополнительная функция, которая уменьшает влияние точки на прямую по мере её удаления от неё.

Синтез алгоритмов управления с визуальной обратной связью для удержания автомобиля на полосе дороги

Главная особенность рассматриваемой в работе модели - построение управления робота на основании всего лишь двух характеристик прямой, отображаемой в плоскости камеры: во-первых, это самая нижняя точка отрезка прямой и, во-вторых, угол наклона прямой . Введённые обозначения отображены на рисунке 1. Угол - угол между касательной к прямой в точке и осью . Ось системы координат камеры направлена вниз, ось перпендикулярно оси вправо.

дорожный разметка автомобиль кенни

Рисунок 1 - Полоса дороги, отображённая в плоскости камеры

Сформулируем задачу: пусть вектор состояния. Используя управление , где - линейная и угловая скорости камеры соответственно, вектор необходимо привести к вектору - нормированная высота изображения в плоскости камеры, т.е. необходимо стабилизировать ошибку . Вектор выбран именно с такими координатами, т.к. при движении по центру дорожной полосы, траектория движения будет представлять из себя вертикальную линию, проходящую через центр изображения. Математическая модель данного алгоритма:

(13)

Матрица выглядит следующим образом:

(14)

, ,

Перепишем уравнение (13) в виде линейной функции, зависящей от параметров линейной и угловой скорости:

где или а или . О том, какую именно матрицу необходимо выбирать я изложу далее. Если в уравнении (15), матрица тогда управляющий закон будет записан как:

, (16)

где - матрица с усиливающими коэффициентами. Данный закон управления угловой скоростью будет действовать по-разному в зависимости от расположения точки Будем перемещать точку либо по оси , т.е. по столбцам, либо по оси , т.е. по строкам. Если используется управление по столбцам, то , в противном случае Данное замечание позволяет использовать различные структуры матриц при различных видах управления.

Ниже приведена таблица выбора матриц в зависимости от необходимого управления:

Таблица 1 - Обозначение параметров уравнения (16) при различных управлениях

Заключение

В ходе исследования удалось получить продукт, который с высокой вероятностью распознаёт дорожную разметку и строит управление, удерживающее робота на ней. Однако для прикладного использования данного программного обеспечения необходимо сделать множество доработок, автоматизирующее нахождение оптимальных значений для параметров, используемых в программе, например: ширина сенсора и диапазоны используемых цветовых каналов HSV. Кроме того, нужно предусмотреть как алгоритм распознавания, так и алгоритм управления при отсутствии одной из линий, ограничивающих дорожную полосу. Выводы, полученные выше планируется дополнительно доказать, проведя натурные испытания на мобильном роботе.

Также будет проведён анализ и моделирование алгоритмов, основанных на position-basedimageservoing для получения результатов, имеющих более быструю сходимость и требующих меньших вычислительных затрат.

Литература

1. Francoi Schaumette. Visual Servo Control. PartI: Basic Approaches. 2006.

2. Bruno Siciliano. Handbook of robotics // Oussama Khatib - Springer, 2008.

3. Peter Corke. Robotics, vision and control. Springer, 2011.

4. Guiseppe Oriolo. An image based visual servoing scheme for following paths with nonholonomic mobile robots // Control, Automation, Robotics and vision. 2008. C. 108-113.

5. Thomas Braunl. Embedded Robotics. Springer, 2003. C.

Размещено на Allbest.ru