Алгоритм формирования фотограмметрической измерительной системы по первичным входным данным

Размещено на http://www.allbest.ru

Алгоритм формирования фотограмметрической измерительной системы по первичным входным данным

Аннотация

В процессе автоматизации решения прикладных измерительных задач, в том числе на базе фотограмметрических методов, возникает проблема соответствия изме-рительной системы объекту и условиям измерения. Для того чтобы измерительная система позволяла заранее оценить возможность получения достоверных результатов, а также наилучшим образом подстраивалась под условия измерения , необходимо наличие специализиро-ванных алгоритмов и моделей. В общем случае такие модели ориентированы на квалифициро-ванных технических специалистов, обладающих необходимыми знаниями в области информа-ционных технологий. Особенностью применения фотограмметрических измерительных си-стем в лесной и металлургической промышленности является низкая квалификация пользова-телей в сфере информационных технологий, что обуславливается характером выполняемых работ и условиями привлечения. Данный фактор не позволяет решить задачу подстройки си-стемы традиционными методами, в которых процессом настройки управляет пользователь. В этой связи в статье предлагается модель и алгоритм формирования измерительной систе-мы по первичным входным данным, в котором процессом настройки управляет сама система.

Ключевые слова: фотограмметрия, распознавание образов, лесная промышленность, трубная промышленность, измерительная система, мобильное приложение, автоматизация, настройка,

Abstract

Photogrammetric measurement system generating algorithm by primary input data

Aleksey N. Samoylov, Yuriy M. Borodyansky, Aleksandr V. Voloshin

Southern Federal University

St. Petersburg State University of Telecommunications named after Professor M.A. Bonch-Bruevich

In the process of automating the solution of applied measurement tasks, including on the basis of photogrammetric methods, there is a problem of compliance of the measurement system with the object and measurement conditions. In order for the measuring system to assess in advance the possibility of obtaining reliable results, as well as to best adapt to the conditions of measurement, it is necessary to have specialized algorithms and models. In general, such mode ls are aimed at quali-fied technicians with the necessary knowledge in the field of information technology. A feature of the application of photogrammetric measurement systems in the forestry and metallurgical industry is the low qualification of users in the field of information technology, which is determined by the nature of the work performed and the conditions of attraction. This factor does not solve the problem of adjust-ing the system by traditional methods in which the user controls the configuration process. In this re-gard, the article proposes a model and algorithm for forming a measuring system from primary input data, in which the system itself controls the adjustment process.

Keywords: photogrammetry, pattern recognition, forest industry, pipe industry, measuring system, mobile application, automation, adjusting

Введение

На сегодняшний день существует множество прикладных решений на базе тех-нологий фотограмметрии [1-3]. Как правило, эти системы представляют собой узкос-пециализированные комплексы, направленные на решение ограниченного круга задач. В то же время известны системы, способные решать различные виды измерительных задач из предопределенного набора [4], и системы, которые могут быть адаптированы под вновь возникающие задачи [5]. Последние являются предметом разработки и ис-следования авторского коллектива и базируются на комбинации методов предвари-тельной обработки, анализа изображений, технологии case-based reasoning и онтоло-гических моделях. Разработанный базис с технической стороны позволяет решать зада-чу синтеза частных систем под вновь возникающие задачи. Однако на сегодняшний день остается нерешенной задача управления процессом синтеза таких систем.

Анализ литературных источников на предмет актуальных трендов в области ме-тодов и алгоритмов управления синтезом прикладных систем показывает, что вне зави-симости от конкретного видения исследователей процесс всегда управляется пользова-телем. Так, модельно-ориентированная разработка (MDD) предполагает управление процессом синтеза систем за счет перестройки высокоуровневых моделей: PIM, CIM [6]. Разработка, ориентированная на свойства (FODA), предполагает, что пользователь определяет систему как набор свойств, под выполнение которых происходит синтез [7]. Аппарат предметно-ориентированных языков (DSL) позволяет управлять напрямую, синтезировать систему из описания на языке предметной области, созданного пользо-вателем [8].

Основную проблему применения данных методов в области прикладных задач фотограмметрии, таких, как подсчет штабелированного пиломатериала, арматуры и труб, составляет квалификация пользователей. Проведенные опросы и наблюдения по-казывают, что специалисты, выполняющие функции подсчета, не обладают профиль-ным образованием в сфере информационных технологий. С этой точки зрения перспек-тивное направление на первый взгляд мог бы составить подход предметно-ориентированных языков, однако его применение также невозможно. Причина данного ограничения кроется в следующем: достаточно высокоуровневое описание системы, доступное для понимания конечным пользователем, будет одинаковым для всех воз-можных конфигураций, а описание системы, учитывающее нюансы обработки изобра-жений и применение методов их анализа, вновь потребует от пользователя квалифика-ции в сфере ИТ.

Выходом из данной ситуации может быть смена концепции процесса синтеза систем, которая заключается в том, что не пользователь должен управлять процессом, а система должна управлять пользователям. В действительности разница между кон-кретными реализациями системы состоит в составе отобранных методов и их комбина-ций. Критерием выбора комбинации является минимальная погрешность измерения, укладывающаяся в рамки допустимых норм и стандартов. Очевидно, что в данном слу-чае возможно разработать такой метод, который позволит автоматизировать процесс синтеза, получая от пользователя лишь внешнюю оценку качества получаемых реше-ний, что, в свою очередь, не требует от него наличия специальных технических знаний.

В данной статье предлагается алгоритм формирования фотограмметрической измерительной системы по первичным входным данным, ориентированный на пользо-вателя, не обладающего знаниями в области информационных технологий.

Принцип управления синтезом систем

В контексте мобильно-облачных измерительных систем, работающих на прин-ципах фотограмметрии, под синтезом понимается установление конечного набора мо-дулей, решающих задачи предварительной и основной обработки, а также анализа изображений, установления последовательности применения этих модулей и взаимо-связи между ними. Установленный в процессе синтеза набор модулей представляет со-бой уникальную версию измерительной системы, адаптированную под конкретные условия применения. В опубликованных ранее работах был изложен метод индуктив-ного обучения системы, основанный на ее использовании оператором-экспертом [9].

Особенностью процесса синтеза прикладных систем в реальных условиях явля-ется то, что конечный их пользователь не может и не должен обладать знаниями в об-ласти информационных технологий. Следовательно, синтез на основе индуктивного обучения системы в реальных условиях затруднен.

Как уже отмечалось во введении, основу предлагаемого процесса синтеза со-ставляют:

1. Смена фокуса управления: не пользователь управляет процессом синтеза, а система;

2. Критерием качества синтеза является ее способность выдавать достоверный результат в условиях применения.

Основываясь на данных особенностях, сформулируем принцип управления син-тезом мобильно-облачных измерительных систем. Принцип состоит в следующем: в отличие от классического подхода, полностью управляемого извне [10], фотограммет-рические мобильно-облачные измерительные системы должны самостоятельно управ-лять процессом своего синтеза, основываясь на внешних данных двух видов - цифро-вых изображениях объекта измерения и ответах оператора, подтверждающих или от-клоняющих результаты работы синтезированной системы. Решение о подтверждении или отклонении оператор должен принимать на основании простого и понятного кри-терия, не требующего специализированных знаний. Таким критерием может являться разница между результатом измерений, полученным ручным способом, и результатом, полученным с помощью синтезированной системы.

Чтобы исключить проблему полного перебора требуется также ввести ряд про-цедур, обеспечивающих оператору возможность предварительного ограничение мно-жества альтернативных структур системы, которые могут быть синтезированы. Осно-вываясь на вышеизложенном, перейдем к формулировке алгоритма формирования фо-тограмметрических систем.

Алгоритм формирования фотограмметрической измерительной системы по первичным входным данным

Чтобы реализовать вышеизложенный принцип, алгоритм должен решать ряд следующих задач:

1. Ограничение множества альтернатив, чью работу следует оценить пользо-вателю;

2. Первичный синтез на основании полученных данных (фотографии объекта измерения и ограничения на множество альтернатив);

3. Окончательный синтез с учетом реакции пользователя.

На каждом этапе система должна самостоятельно управлять пользователем, ко-торый в контексте решаемой задачи должен выполнять функцию обратной связи. На первом этапе обратная связь, получаемая от пользователя, состоит в ответах на ряд уточняющих вопросов, позволяющих определить тип измеряемого объекта, измери-тельную задачу и условия съемки. В систему заложена онтология методов и их комби-наций, соотнесенная с моделью принятия решений на основе case-based reasoning. Пользователю требуется лишь передать параметры, уточняющие запрос на языке OWL.

На втором этапе обратная связь от пользователя сводится к оценке качества ре-зультатов измерения, полученных с помощью первично синтезированной системы. Как известно, оценка погрешности измерения является нетривиальной задачей, тем более, если речь идет об автоматизации данного процесса. Чтобы снизить вычислительную нагрузку на узлы системы, а также упростить ее функциональную структуру, предло-жено принимать решение о допустимости погрешности на основании сопоставления результатов, которые пользователь получил вручную, и результатов, которые получила система. Эффективность такого подхода тем выше, чем больше объектов будет измере-но за один сеанс в одном расположении.

На третьем этапе обратная связь от пользователя сводится к принятию уточнен-ной конфигурации или возврату ко второму этапу, если результирующая погрешность выходит за допустимые рамки.

Основываясь на полученных ранее результатах [11], а также вышеизложенной информации, перейдем к описанию алгоритма формирования фотограмметрической измерительной системы по первичным входным данным. Схема алгоритма представле-на на рисунке 1.

Для полноты изложения в алгоритм включена роль системы, с помощью которой показаны возможности разработанных ранее решений. Алгоритм, в соответствии с из-ложенной концепцией, разделен на три этапа. На первом этапе инициируется новая из-мерительная задача, которая предполагает получение от пользователя ответов на ряд уточняющих вопросов: тип измеряемого объекта (вид лесоматериала, вид металлопро-ката или др.), тип места измерения (ангар, открытая площадка и пр.), тип измеритель-ной задачи (счет, подсчет объема и др.), условия съемки (облачность, наличие осадков). На основании этого происходит первичный отбор комбинаций методов, содержащихся в онтологии и настроенных с помощью оператора-эксперта. Предполагается, что в си-стеме на каждую типовую комбинацию задачи есть подобная настройка. На втором этапе система, проанализировав изображение объекта и получив дополнительные параметры, характеризующие фоторегистрирующее устройство, выбирает конкретную комбинацию методов, наиболее релевантную задаче измерения и условиям ее решения. Предполагается, что чем больше в базе знаний системы бу-дет зарегистрировано комбинаций, тем точнее будет результат синтеза. В пределе алгоритм должен привести к тому, что окончательный синтез как этап алгоритма не будет востребован.

Рис. 1. Схема алгоритма формирования фотограмметрической измерительной системы по первичным входным данным

На третьем этапе система снова управляет оператором, выдавая ему подсказки по дальнейшему сбору данных для синтеза. На этом этапе произвольным образом вы-бираются области на изображении, для которых оператору требуется произвести руч-ной подсчет. Введенные оператором данные сопоставляются с результатами измерения и далее, если эти результаты укладываются в допустимую погрешность, определенную при развертывании копии мобильно-облачной измерительной системы, конфигурация методов в совокупности с полученными первичными данными заносится в базу знаний. В противном случае, если погрешность лежит за пределами допустимых значений, применяется алгоритм получения изображений высокого разрешения с помощью каме-ры мобильного устройства, и происходит повторная процедура синтеза.

Заключение

измерительный автоматизация прикладной

В статье предложен алгоритм формирования фотограмметрической измеритель-ной системы по первичным входным данным. Данный алгоритм базируется на разрабо-танных ранее архитектуре, методологическом и алгоритмическом обеспечении мо-бильно-облачной измерительной системы. Основу алгоритма составляет новый прин-цип управления синтезом, в котором предполагается привлечение пользователя только в качестве обратной связи. Такое нововведение позволяет обойти проблему квалифика-ции персонала на местах внедрения системы.

Значимым достоинством предложенного алгоритма является возможность по-полнения базы знаний системы успешными комбинациями методов и то, что критерием успешности является достижение требуемого уровня погрешности, который задается при развертывании системы у заказчика. Это позволяет учесть всевозможные ситуации и ограничения на применение разработанных решений.

Предложенный алгоритм также имеет ряд ограничений, связанный с наполнени-ем базы знаний и строгим выполнением пользователем инструкций, выдаваемых си-стемой. Первое ограничение выражается в том, что на начальных этапах эксплуатации системы возможны измерительные задачи, для которых в базе знаний системы нет комбинации методов. В этом случае система будет переходить в экспертный режим, в котором осуществляется прямое наполнение базы знаний в терминах case-based reasoning. Второе ограничение требует дополнительной проработки в части UI/UX тех-нологий. Требуется разработать решения, обеспечивающие однозначное понимание инструкций и автоматическую проверку корректности их исполнения.

Список литературы

1. Knyaz V.A., Maksimov A.A. Photogrammetric technique for timber stack volume control // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2014. Vol. 40. P. 157-162.

2. Shvarts D., Tamre M. Bulk material volume estimation method and system for logistic ap-plications // 9^th International Conference of DAAAM Baltic: Industrial Engineering. Tallinn, 2014. P. 289-294.

3. Madeira S., Goncalves J., Bastos L. Photogrammetric mapping and measuring application using MATLAB // Computers & Geosciences. 2010. No. 6. P. 699-706.

4. URL: https://countthings.com/

5. Mobile-cloud data processing system on digital images / A. Samoylov, Y. Borodyansky, A. Kostyuk, I. Polovko // IEEE International Conference on Industrial Informatics (INDIN). Helsinki,

6. P. 1674-1678. DOI: 10.1109/INDIN41052.2019.8972161

7. Proll R., Rumpold A., Bauer B. Applying Integrated Domain-Specific Modeling for Multi-concerns Development of Complex Systems BT - Model-Driven Engineering and Software Develop-ment // L.F. Pires, S. Hammoudi, B. Selic / eds. Cham: Springer International Publishing, 2018. P. 247-271.

8. Marimuthu C., Chandrasekaran K. Feature-Oriented Domain Analysis Framework for En-ergy-Aware Self-Adaptive Software // IEEE International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData). 2016. P. 773-776. DOI: 10.1109/iThings- GreenCom-CPSCom-SmartData.2016.163

9. Systematic mapping study on domain-specific language development tools / A. Iung,

10. J. Carbonell, L. Marchezan [et al.] // Empir Software. 2020. Eng 25. P. 4205-4249. URL: https://doi.org/10.1007/s10664-020-09872-1

11. Самойлов А.Н., Бородянский Ю.М., Волошин А.В. Метод и распределенная индук-тивная процедура машинного обучения фотограмметрического алгоритма для решения задач определения геометрических параметров объектов по предварительно обработанным цифро-вым изображениям // Инженерный вестник Дона. 2020. № 12 (72). С. 220-230.

12. Пацей Н.Е., Придухо В.Т. Структурно-параметрический синтез автоматизированных систем контроля и учета электроэнергии // Информатика. 2011. № 3 (1(29)). С. 107-118.

13. Самойлов А.Н., Волошин А.В., Козловский А.В. Алгоритмическое обеспечение системы интеллектуальной обработки цифровых изображений для задач прикладной фотограм-метрии // Вестник Адыгейского государственного университета. Сер.: Естественно -

14. математические и технические науки. 2019. Вып. 3 (246). С. 96-102. URL: http://vestnik.adygnet.ru

References

1. Knyaz V.A., Maksimov A.A. Photogrammetric technique for timber stack volume control // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2014. Vol. 40. P. 157-162.

2. Shvarts D., Tamre M. Bulk material volume estimation method and system for logistic ap-plications // 9^th International Conference of DAAAM Baltic: Industrial Engineering. Tallinn, 2014. P. 289-294.

3. Madeira S., Goncalves J., Bastos L. Photogrammetric mapping and measuring application using MATLAB // Computers & Geosciences. 2010. No. 6. P. 699-706.

4. URL: https://countthings.com/

5. Mobile-cloud data processing system on digital images / A. Samoylov, Y. Borodyansky, A. Kostyuk, I. Polovko // IEEE International Conference on Industrial Informatics (INDIN). Helsinki, 2019. P. 1674-1678. DOI: 10.1109/INDIN41052.2019.8972161

6. Proll R., Rumpold A., Bauer B. Applying Integrated Domain-Specific Modeling for Multi-concerns Development of Complex Systems BT - Model-Driven Engineering and Software Develop-ment // L.F. Pires, S. Hammoudi, B. Selic / eds. Cham: Springer International Publishing, 2018. P. 247-271.

7. Marimuthu C., Chandrasekaran K. Feature-Oriented Domain Analysis Framework for En-ergy-Aware Self-Adaptive Software // IEEE International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData). 2016. P. 773 -776. DOI: 10.1109/iThings- GreenCom-CPSCom-SmartData.2016.163

8. Systematic mapping study on domain -specific language development tools / A. Iung,

9. J. Carbonell, L. Marchezan [et al.] // Empir Software. 2020. Eng 25. P. 4205-4249. URL: https://doi.org/10.1007/s10664-020-09872-1

10. Samoylov A.N., Borodyansky Yu.M., Voloshin A.V. Method and distributed inductive pro-cedure of machine learning of a photogrammetric algorithm for solving the problems of determining the geometric parameters of objects from pre-processed digital images // Engineering Journal of Don.

11. No. 12 (72). P. 220-230.

12. Patsey N.E., Pridukho V.T. Structural and parametric synthesis of automated systems for accounting and control of electricity // Informatics. 2011. No. 3 (1 (29)). P. 107 -118.

13. Samoylov A.N., Voloshin A.V., Kozlovsky A.V. Algorithmic support of intelligent digital image processing system for applied photogrammetry tasks // The Bulletin of the Adyghe State Uni-versity. Ser.: Natural-Mathematical and Technical Sciences. 2019. Iss. 3 (246). P. 96-102. URL: http://vestnik.adygnet.ru

Размещено на Allbest