Компьютерная обработка изображений для рекурсивного формообразования нерегулярных объектов

Размещено на http://www.allbest.ru/

УДК 621:681.93.932

Компьютерная обработка изображений для рекурсивного формообразования нерегулярных объектов

Ю.В. Полозков,

Д.Н. Свирский

Рассматривается проблема автоматизации цифрового формоописания сложных поверхностей, модели которых впоследствии используются в рекурсивном формообразовании нерегулярных объектов. Представлен специальный программно-технический комплекс фотограмметрии, позволяющий наиболее эффективно оцифровывать поверхности нерегулярных объектов. Показаны особенности обработки растровых графических образов, получаемых в процессе видеооцифровки. Для автоматизации процесса сегментации и анализа связности компонентов скелетизированных изображений предложен метод, основанный на принципах целостного машинного восприятия графических образов.

The problem of digital description automation of the spatially complex surfaces is considered. The surfaces models may be used in CAD/CAM of irregular objects. The special video digitizing method is offered. The compact video system for most effective digitizing of irregular objects surface is described. The processing features of raster graphic images received during video digitizing are shown. The effective method is offered for automation of the segmentation and component images connectivity analysis. This method is based on the principles of graphic images complete machine perception.

Комплексная автоматизация предполагает охват и взаимосвязь всех этапов проектирования, технологической подготовки и производства изделий. При серийном изготовлении пространственно-сложных (нерегулярных) объектов это единство наиболее эффективно обеспечивается технологией рекурсивного формообразования (рис. 1) [1].

Рис. 1. Схема преобразования потоков информации в процессе рекурсивного формообразования нерегулярных объектов

Эффективность производства достигается, прежде всего, за счет сокращения трудоемкости этапа формирования цифровых моделей (CAD-моделей) перспективных изделий посредством автоматизированного формоописания (оцифровки) поверхностей существующих объектов-аналогов (как природных, так и искусственных). Это позволяет в процессе моделирования новых объектов использовать в качестве геометрических примитивов полученные компью-терные трехмерные модели, имеющие кривизну, приближающуюся к форме участков поверхности проектируемого объекта. Поэтому в состав компьютерной системы рекурсивного формообразования нерегулярных объектов, компактно реализующей указанную технологию, входит подсистема обратного проектирования (Reverse Engineering), выступающая адаптером в изменяющихся производственных условиях для инвариантной подсистемы быстрого прототипирования (Rapid Prototyping) [2]. В подсистему обратного проектирования компьютерной системы рекурсивного формообразования интегрирован модуль видеооцифровки [3]. Этот модуль обеспечивает наибольшую эффективность формоописания пространственно-сложных объектов. Одной из ключевых задач комплексной автоматизации процесса оцифровки с использованием фотограмметрических систем является обработка изображений. Достоверность априорной информации, извлекаемой на этапе обработки изображений, и ее адекватная машинная интерпретация во многом определяют как качество поверхностной CAD-модели, так и качество непосредственно реализованного в материале объекта производства. Предлагается метод автоматизации обработки изображений, обеспечивающий получение необходимого объема информации и корректность ее машинного восприятия для осуществления процесса видеооцифровки. оцифровка рекурсивный фотограмметрия программный

1. Программно-техническая реализация рекурсивного формообразования

Разработанный модуль видеооцифровки представляет собой каркасную конструкцию, включающую горизонтальные и вертикальные направляющие, на которых устанавливается цифровая камера с возможностью поворота в плоскости главного вертикала и горизонтально располагается проектор.

Рис. 2. Экспериментальный стенд компактной системы видеооцифровки нерегулярных поверхностей

Процесс цифрового формоописания по предложенной схеме заключается в съемке установленной наклонно к горизонтальной плоскости видеокамерой объекта, на который проецируются световые полосы слайда, вставленного в горизонтально расположенный проектор. Изображение в видеокамере строится прямолинейными лучами, направленными от точек пространственного объекта к центру проекции, как следы этих лучей на плоскости изображения. Объемные цифровые модели формируются трансформированием двухмерных параметров видеоизображения объекта в пространственные. При этом модель представляется массивом числовых параметров, отражающих пространственную ориентацию аппроксимированных точек анализируемого объекта, множество которых упорядочено и минимизировано при наперед заданной точности. Алгоритм процесса видеооцифровки укрупненно показан на рис. 3.

Для выполнения ключевого этапа видеооцифровки - расчета пространственных координат точек поверхности нерегулярного объекта - построена математическая модель связи параметров видеосъемки и проецирования изображения слайда на поверхность объекта [4]. Аргументами этой модели являются величины элементов внутреннего и внешнего ориентирования видеокамеры и проектора. Поэтому адекватность результатов трансформации координат и, следовательно, виртуальной модели поверхности в значительной мере определяется качеством настройки видеосистемы, на выполнение которой затрачивается основная часть времени всего процесса.

Для снижения трудоемкости и повышения точности определения факторов процесса видеооцифровки разработано программное обеспечение, позволяющее автоматизировать как расчет трехмерных координат, так и юстировку видеосистемы, предварительную обработку и векторизацию изображений, формирование по полученным данным твердотельной модели поверхности объекта.

Размещено на http://www.allbest.ru/

Рис. 3. Алгоритм построения цифровой модели поверхности нерегулярного объекта с помощью видеооцифровки

Интерфейс программного обеспечения поддерживает установленную последовательность действий, существенно упрощающую подготовку видеосистемы, которая заключается в установке и ориентации видеокамеры и проектора относительно объекта, юстировке видеокамеры, а также в задании базиса пространственной системы координат посредством записи пространственных координат опорных точек. После этого производится съемка отдельной стороны (фрагмента) нерегулярного объекта. Затем объект поворачивается на определенный угол в пространственной системе координат, например вокруг вертикальной оси, и выполняется съемка его следующего фрагмента. Из видеокамеры растровые изображения сторон объекта экспортируются в компьютер и заносятся в файл проекта в порядке проведения видеосъемок.

2. Сегментация изображений

На снимках, получаемых в процессе видеооцифровки, отображаются проекции точек поверхности, освещенных с помощью слайда. Изображение слайда представляет собой чередование светлых и темных полос. В результате проецирования на поверхности объекта отображаются световые линии - проекции изображения слайда. Наклонно установленная камера регистрирует эти последовательно расположенные проекции, изменение кривизны которых обусловливается изменением формы поверхности. После предварительной обработки такие растровые изображения представляются матрицами размером m Ч n пикселей с установленной монохромной, т. е. черно-белой палитрой. Для получения априорных данных в программном обеспечении реализованы алгоритмы, позволяющие выполнять дешифрирование полученных изображений, которое состоит в сегментации и анализе компонентов изображения.

Сегментация в данном случае заключается в отслеживании последовательности элементов (пикселей) одинаковой палитры, образующих компонент изображения. Таким образом, под компонентом GR на растре G (GR-G) понимается такое множество элементов i, j, для которых любые два элемента i1, j1 и i2, j2, принадлежащих множеству G и имеющих значение функции ai,j, равное единице, можно объединить цепью, такой, что любые два соседних элемента этой цепи связаны и не существует другого элемента, принадлежащего множеству G, который был бы связан хотя бы с одним элементом множества GR [5]. Тогда извлекаемая информация представляется совокупностью компонентов G-E, содержащих множество элементов i, j, в которых функция ai, j приобретает значение единицы. В основе алгоритма прослеживания лежит предположение о 8-связности изображения, т. е. считается, что каждый обрабатываемый элемент изображения имеет восемь соседей. Таким образом, в процессе сегментации функция ai, j анализируется в 8-точечной окрестности. В целях снижения информационной избыточности изображения в разработанном программном обеспечении, поддерживающем процесс сегментации, реализован этап скелетизации компонентов. Программный модуль скелетизации выполнен на основе сплайн-аппроксимации точек, составляющих компоненты изображения.

По окончании сегментации изображения формируется файл .lin, представляющий собой массив, содержащий значения двухмерных координат. Полученный массив описывает связные компоненты в порядке их сегментации и таким образом характеризует положения проекций точек поверхности, освещенных при видеосъемке, в плоскости снимка (рис. 4).

При наличии на объекте углублений, отверстий и других «неприятных» особенностей формы, свойственных нерегулярным поверхностям, а также в случае частичной потери информации из-за некачественного проведения съемок или предварительной обработки видеоизображения в процессе сегментации изображения при записи выходного массива подобного рода «артефакты» изображения приводят к изменению количества и последовательности расположения компонентов (рис. 3), соответствующих проекциям световых полос слайда. Количество и последовательность расположения световых проекций слайда являются факторами, во многом определяющими конечный результат при математической трансформации координат. Поэтому искажения априорных данных могут вызывать значительные погрешности трехмерных цифровых моделей объектов, формируемых посредством видеооцифровки.

Рис. 4. Представление изображения фрагмента поверхности нерегулярного объекта в программной среде видеооцифровки

3. Структуризация компонентов изображения

Проблема автоматизации процедур структуризации и связности компонентов растрового изображения решается на основе принципа целостности восприятия [6]. Этот принцип положен в основу реализации различных систем технического зрения, распознающих текст, папиллярные узоры, геометрические, картографические и другие образы. В соответствии с принципом целостности любой воспринимаемый объект рассматривается как целое, состоящее из частей, связанных между собой определенными отношениями [7].

Для интерпретации целостного скелетизированного изображения были определены и формализованы следующие терминальные элементы (ТЭ):

- элементарный компонент (ЭК), который представляется сегментом линии, состоящим не менее чем из двух элементов изображения;

- непрерывный компонент (НК) - ЭК, не имеющий разрывов по всей своей длине, не соприкасающийся ни с каким другим компонентом, не имеющий ответвлений и обратных направлений;

- базовый компонент (БК) - НК, имеющий начальную точку, которая расположена перед конечными точками других компонентов.

Фрагмент компонента (ФК) обладает характеристиками НК, но имеет начальную точку, расположенную не ранее конечной точки БК. Под ответвлением и соприкосновением понимаются случаи существования элемента изображения, принадлежащего разным типам ТЭ. Под обратным направлением ТЭ понимаются случаи существования в компоненте точек, в которых значения координат по горизонтали убывают относительно предыдущих точек, принадлежащих рассматриваемому компоненту. Тип ТЭ определяется по расположению особых точек, в качестве которых выступают начальные и конечные точки ТЭ, а также их текущие точки с координатами (по оси X или Y), равными координатам начальных и конечных точек смежных ТЭ. По координатам особых точек выполняется проверка логических условий сравнения, определяющих пространственные отношения между ТЭ.

Комбинации этих ТЭ, формируемые по семантическим правилам, описывают синтезированные компоненты. Таким образом, синтезированный компонент (СК), который не соприкасается ни с каким другим (смежным по вертикали) компонентом и не имеет ответвлений и обратных направлений, представляется цепочкой компонентов, содержащей базовый компонент и фрагменты. В общем же случае синтезированным компонентом могут быть интерпретированы НК или БК без фрагментов.

Правила сочетания «элементарных» отношений, определяемые посредством булевой алгебры, позволяют идентифицировать взаимное расположение всех ТЭ, составляющих скелетизированное изображение. Такой подход часто используется в искусственных нейронных сетях для формирования сложных структур, учитывающих общий контекст при распознавании изображений, текстов и т. п. [8, 9].

В качестве основных структурных элементов в данном случае выступают верхне-треугольные матрицы булевых функций с нулевой диагональю, для формирования которых ТЭ предварительно упорядочиваются по возрастанию значений координат начальных точек по горизонтали. Затем составляются матрицы для каждого из вариантов пространственных отношений между всеми парами ТЭ изображения (таблица), причем элементы матрицы MI принимают значение 1 для всех возможных ФК (номера ФК соответствуют номерам столбцов) и потенциальных кандидатов на присоединение к БК (номера БК соответствуют номерам строк). Элементам остальных матриц, которые применяются в анализе связности, присваивается значение булевой функции, соответствующее единице, если выполняются заданные условия сравнения, в противном случае присваивается ноль. Так, двоичные значения элементов матриц, сочетания которых определены семантическими правилами, задают внешнее возбуждение нейрона, отклик которого устанавливает принадлежность ТЭ текущей цепочке для рассматриваемого БК или воспринимается следующими нейронами, проверяющими пространственно-логические отношения между анализируемыми ТЭ. На первом уровне синтезированные компоненты формируются по следующим правилам:

где MR - матрица откликов; i, j, k - номера столбцов и строк в матрицах, , , .

Таблица. Условия, описывающие пространственные отношения между парами ТЭ изображения

Примечание: , - абсциссы начальных точек j-го и k-го ТЭ соответственно; , - абсциссы конечных точек j-го и k-го ТЭ соответственно; - ординаты начальных точек j-го и k-го ТЭ соответственно; - ордината i-й точки j-го ТЭ, j < k.

Перед проверкой указанных правил строится матрица MR, идентичная матрице MI. Матрица MR является производной матрицы MI и ее элементы, имеющие единичные значения, указывают на номера ФК, которые принадлежат цепочкам, построенным с БК. При выполнении правил происходит изменение значения элемента с индексами i, j в матрице MR. Остальные элементы матрицы MR остаются без изменений.

Представленные правила описывают цепочки ТЭ, включающие последовательно расположенные базовую линию и фрагменты на низшем уровне, т. е. находящиеся между каждыми двумя НК изображения. СК этого уровня рассматриваются как единое целое при структуризации и анализе связности компонентов на последующих уровнях.

Ввиду необходимости преобразования классов на низших уровнях иерархии, чтобы сформировать линейно разделимые множества, которые, в свою очередь, будут успешно распознаваться нейронами на следующих (высших) уровнях иерархии, требуется иерархическая организация нейросетевой архитектуры. Поэтому анализ связности компонентов изображения осуществляется на основе многослойного персептрона, который представляет собой сеть, состоящую из нескольких последовательно соединенных слоев формальных нейронов. Для выработки адекватного решения о связности компонентов на высших уровнях необходимо определить относительную важность признаков (метрических, аналитических и пр.), анализируемых ТЭ путем сравнения их весовых коэффициентов и учета взаимосвязей между выбранными признаками. Это позволит реализовать способность системы нейроподобных сетей к обучению, что сократит неопределенность связности дискретных компонентов, которая носит случайный характер и обусловлена особенностями формы (выступами, поднутрениями и др.) поверхности объекта оцифровки, а также частичной потерей информации на этапах видеосъемки, предварительной обработки и сегментации видеоизображений.

Таким образом, разработка алгоритма с применением принципов построения нейроподобной сети, моделирующего закономерности взаимного расположения скелетизированных компонентов и основанного на их признаковом описании, обеспечила корректность и целостность машинной интерпретации изображения как объекта оцифровки. Возможность добавления новых матриц, описывающих геометрию и взаимное расположение ТЭ, а также дополнительных семантических правил повышает универсальность представленного метода для обработки образов в различных системах технического зрения.

3. Моделирование поверхности нерегулярного объекта

После обработки изображений по координатам точек, принадлежащим непрерывным и синтезированным компонентам скелетизированного изображения и параметрам процесса видеооцифровки, автоматически рассчитываются трехмерные координаты точек поверхности нерегулярного объекта. Для автоматизированного расчета программно реализован специальный класс, в основу которого положена описанная в работе [4] математическая модель трансформации двухмерных координат проекций точек исследуемой поверхности в трехмерные. Необходимые для проведения расчета параметры видеооцифровки определяются на этапах настройки видеосистемы и реконструкции аппарата проектирования.

На основе трехмерных координат осуществляется построение модели оцифрованной поверхности (рис. 5). Создание интерполяционной поверхности осуществляется в два этапа [10]. На первом производится интерполяция каждой цепочки точек, принадлежащих будущим пространственным кривым. Это позволяет рассчитать точки, по которым необходимо провести интерполяцию поверхности, задавая их на регулярной сетке. Процесс интерполяции кривых, в котором достигается представление цепочек точек структурно однообразными кривыми, осуществляется посредством кубических сплайнов.

На втором этапе производится собственно создание функции, интерполирующей поверхность. Для этого решается задача триангуляции, состоящая в том, чтобы на всей совокупности фрагментов триангулируемой поверхности выбрать множество точек Ti(xi, yi, zi) в единой декартовой системе координат и построить многоугольник, такой, что множество его вершин совпадает с множеством {Ti}. Этот многоугольник должен быть представлен множеством треугольников, построенных на вершинах {Ti} [11]. Множество треугольников должно задаваться так, чтобы каждый треугольник можно было вписать в куб со стороной B. Такой ограничивающий элемент можно назвать вокселем на регулярной структуре. Воксель разбивается на 27 равных кубических элементов (бинов), в центре трех из которых могут располагаться вершины треугольника. После этого находятся размер стороны бина и длина наибольшей стороны треугольника: b = B/3 и .

Процесс построения цифровой триангулированной модели поверхности состоит в последовательном выполнении следующих этапов:

- нахождении близлежащих точек границ фрагментов и обеспечении таких точек дополнительной информацией для их идентификации на совокупности непрерывных цифровых моделей фрагментов поверхности объекта;

- определении порядка построения треугольников и дополнительных требований к их построению для обеспечения непрерывности триангулированной поверхности;

- определении новых бинов, т. е. задании дискретной области поиска для нового треугольника;

- определении во множестве бинов дискретной области тех, через которые проходит один (или более) фрагмент поверхности, причем искомые бины должны обеспечивать оптимальные геометрические характеристики создаваемого треугольника.

В результате интерполяции формируется модель поверхности нерегулярного объекта, которая может избирательно трансформироваться на последующих этапах рекурсивного геометрического моделирования. Для изготовления изделия триангулированная компьютерная модель может быть конвертирована в файл, управляющий формообразованием изделия. Экспорт точечных множеств и их аппроксимация осуществляются программно на основе API-функций библиотеки графического редактора.

Рис. 5. Компьютерная модель оцифрованной поверхности нерегулярного объекта

Разработанное программное обеспечение предусматривает автоматизированное решение комплекса основных задач, возникающих при вводе, обработке видеоизображений и построении трехмерных моделей поверхностей, которые выступают впоследствии операндами проектно-конструкторского этапа в производстве изделий, имеющих пространственно-сложную форму. Внедрение компактного оборудования видеооцифровки в систему формообразования нерегулярных объектов обеспечит сквозную автоматизацию производства и значительно повысит его конкурентоспособность, особенно на малых и средних промышленных предприятиях.

Список литературы

1. Полозков Ю.В., Свирский Д.Н. Компьютерная технология рекурсивного формообразования нерегулярных поверхностей // Моделирование интеллектуальных процессов проектирования, производства и управления: сб. науч. тр. - Мн.: Ин-т техн. кибернетики НАН Беларуси, 2002. - С. 44-45.

2. Свирский Д.Н., Полозков Ю.В. Рекурсивные преобразования информации в компактной системе формообразования нерегулярных объектов // Проблемы создания информационных технологий: сб. науч. тр. - М.: МАИТ, 2002. - Вып. 7. - С. 241-247.

3. Свирский Д.Н., Полозков Ю.В. Технология и оборудование для трехмерного сканирования в компактной системе быстрого прототипирования // Материалы, технологии, инструменты. - 2000. - Т. 5. - № 4. - С. 97-102.

4. Завацкий Ю.А., Полозков Ю.В., Свирский Д.Н. Математическое моделирование процесса оцифровки пространственных объектов // Веснiк ВДУ. - 1999. - № 3. - С. 49-53.

5. Самошкин М.А. Автоматизация преобразования и обработки графической информации. - Мн.: Навука i тэхнiка, 1991. - 335 с.

6. Полозков Ю.В. Проблема идентификации растровых изображений в процессе видеооцифровки нерегулярных объектов // Вестник ВГТУ. - 2003. - № 5. - С. 90-94.

7. Курс лекций по дисциплине «Системы искусственного интеллекта» // www.mari-el.ru/mmlab/home/AI.

8. Абламейко С.В., Лагуновский Д.М. Обработка изображений: технология, методы, применение. - Мн.: Амалфея, 2000. - 304 с.

9. Брилюк Д.В., Старовойтов В.В. Распознавание человека по изображению лица нейросетевыми методами. - Мн., 2002. - 52 с. (Препринт / ОИПИ НАН Беларуси; № 2).

10. Полозков Ю.В., Масилевич А.В., Свирский Д.Н. Сплайн-интерполяция точечных облаков фрагментов поверхности в задачах рекурсивного формообразования // Проблемы создания информационных технологий. - Смоленск: МАИТ, 2004. - Вып. 10. - С. 226-231.

11. Polozkov Y., Masilevich A., Svirsky D. Irregular surface reconstruction for 3D objects recursive creation // Proc. of Seventh International Conference «PRIP'2003». - Minsk, 2003. - Vol. II. - P. 269-273.

Размещено на Allbest.ru