Системы позиционирования для распознавания движений человека

Размещено на http://www.allbest.ru

ВВЕДЕНИЕ

В настоящее время существует проблема создания недорогого, эффективного и удобного в использовании комплекса для оценки качества движения человека. Поскольку в управлении движениями принимают участие многие отделы ЦНС, нарушения координации движений могут быть использованы в целях диагностики. Они проявляются нарушениями устойчивости при стоянии и ходьбе, асимметрией движений правой и левой стороны, нарушениями точности движений, снижением силы и уменьшением скорости. Регистрация пространственных и временных характеристик движений с их количественным представлением дает возможность оценить степень двигательных расстройств при различных заболеваниях, ход восстановления двигательных функций, предложить эффективные методы двигательной реабилитации.

Исходя из этого, необходимо выполнить поиск уже существующих методов для оценки качества движения, в том числе для спортсменов и людей, находящихся в условиях реабилитационного периода, и оценить работоспособность и эффективность таких методов решения проблемы в процессе их применения. Все методы имеют свои достоинства и недостатки, поэтому их анализ позволит сформулировать основные требования к данному виду технических средств и определить цели и дальнейший план работы.

электромагнитный позиционирование захват движение ультразвуковой

1. ЭЛЕКТРОМАГНИТНЫЕ СИСТЕМЫ ПОЗИЦИОНИРОВАНИЯ

Технология включает генерирование магнитного поля с известным пространственным распределением в зоне перемещения подвижного объекта, измерение компонент генерируемого поля подвижным приемником, жестко связанным с подвижным объектом, вычисление координат подвижного объекта путем сравнения измеренных значений компонент поля с вычисленными для предполагаемых координат с уточнением последних итерационной процедурой.

Сложная и наукоёмкая технология магнитного позиционирования возникла в США во второй половине прошлого века. В России магнитные трекеры не производятся.

Одним из лидеров по магнитному позиционированию в медицине является американская компания Ascension[4]. Программное обеспечение для оценки качества движения спортсменов предоставляет компания The Motion Monitor.

Магнитное позиционирование широко используется для оцифровывания движений человека, например в различных программах реабилитации. Наблюдение движения в реальном времени используется и в спорте для того, чтобы оптимизировать тренировочный процесс. В биомеханике подвижные электромагнитные приемники располагают на теле человека. Зона перемещения в данном случае составляет 2-3 метра. Технологии электромагнитных систем позиционирования объединяют с современным специализированным программным обеспечением и средствами визуализации движений в реальном времени (рис.1,2,3). Данные системы дают возможность сканирования скелета человека и костных имплантатов до и после операции.

Рис.1 Анализ работы рук при использовании ходунков

Рис.2,3 Обратная связь в режиме реального времени

Другая американская компания, занимающаяся электромагнитным позиционированием - PolHemus.

1.1 Захват движения для рук при использовании Polhemus System

Двигательная зона коры головного мозга, контролирующая движения всего тела, функционально разделена на области, каждая из которых контролирует свою отдельную часть тела. Двигательная зона, отвечающая за движения рук, почти полностью включает в себя зоны кистей, торса и нижней части тела. Этот физиологический факт показывает, что движения рук требуют внимательного контроля и изучения. Таким образом, движения наших рук могут являться исполнительным механизмом нашего тела. Однако измерить движение рук достаточно сложно, поскольку каждая рука состоит из 27 костей и 19 суставов. И эта задача будет выглядеть еще сложнее, если для исследования использовать пианиста.

В работе представлены результаты исследований. Разработана высокоточная система 'Hand MoCap system', основанная на электромагнитной системе сопровождения LIBERTY™ с использованием легких и маленьких приемников. В качестве кабелей для приемников были использованы специальные тонкие провода, не препятствующие движениям пальцев.

Рис.2

На Рис.2 показана структурная схема. Электромагнитная система сопровождения включает в себя один передатчик (23*28*16 мм) и 17 приемников (9.6*9.6*9.6 мм), с помощью которых получают информацию о расстоянии (x, y, z) от передатчика до приемников и относительные углы между ними. Две системы LIBERTY соедены с компьютером (ThinkPad, IBM) через USB. Hand MoCap system измеряет данные (шесть степеней свободы) 32 приемников с частотой 240Hz одновременно, разрешение - 0.0038мм, угловое разрешение - 0.0012 град.

Рис.3.

1.2 Захват движения лодыжек у сноубордистов

Известно, что количество травм в сноубординге, получаемых от падения, составляет от 4 до 6 на каждую тысячу. По сравнению с травмоопасностью в горнолыжном спорте, сноубордисты более склоны к травмам лодыжек. Кроме того, занятие сноубордингом в мягких ботинках ведет к большему риску получения ушиба или растяжения чем в жестких ботинках. Поэтому, в качестве цели была поставлена разработка подхода для измерения кинематических показателей движения лодыжек сноубордиста при выполнении им маневров.

Была разработана портативная система на базе электромагнитной системы позиционирования PolHemus с четырьмя датчиками (шесть степеней свободы), работающая на двух 12 вольтовых батарейках с беспроводным соединением с персональным компьютером. Датчики прикрепляются к голеням (переднемедиальной поверхности большой берцовой кости) и ступням (задней поверхности пяточной кости) сноубордиста. Электромагнитный источник установлен между двумя креплениями сноуборда, таким образом, общая система определения координат привязана к сноуборду. Крепления отрегулированы на 21? и 6? передней и задней ноги соответственно. Система захвата движения, батареи и ноутбук находятся в рюкзаке сноубордиста. Процедура анатомической калибровки выполняется для определения пространственного отношения между каждым датчиком и установления системы координат.

Испытание системы включало спуск по подготовленному склону средней сложности с десятью поворотами и торможение. Каждому спортсмену было предоставлено три попытки для спуска свободным стилем в мягких ботинках. Система захвата движения в процессе спуска сноубордистов работает на частоте 120 Гц (30 Гц на каждый датчик). Записанные сигналы сглаживаются с помощью двухтактного фильтра Баттерворта второго порядка.

Рис.4

Анализ предварительных данных двух человек представлен на Рис.4 в виде диапазона отклонения лодыжек во фронтальной и сегетальной плоскостях. Отклонение от нормального положения (IV) передней ноги и отклонение (EV) и тыльное сгибание (DF) задней ноги позволяет сноубордеру перемещать свой вес к хвосту доски. Радикально другой диапазон отклонения лодыжек наблюдается в поперечной плоскости. У одного человека передняя нога отведена в одну сторону (AD), в то время как у другого - в другую (AB). Так как изначальные углы креплений у всех испытуемых были одинаковы, то это можно объяснить перемещением голени к естественному положению ступни в поперечной плоскости, которое может быть различной у разных людей[20].

Исходя из вышеприведенных работ, можно говорить о том, что электромагнитный трекинг занимает свою нишу в вопросе позиционирования и оценки движения человека. Данный метод обладает хорошей точностью измерения координат и углов, не требует трудоемкой калибровки и может работать в условиях отсутствия прямой видимости. Однако он имеет некоторые недостатки, например необходимость построения специально подготовленного помещения (или сцены), не содержащего металлических элементов, поскольку они могут влиять на электромагнитное поле и тем самым ухудшать точность измерений.

2. УЛЬТРАЗВУКОВЫЕ СИСТЕМЫ ПОЗИЦИОНИРОВАНИЯ

В системе ультразвукового трекинга передатчики расположены на движущемся реальном объекте, а приемники образуют антенну (в некоторых системах передатчики и приемники меняются местами). Всякий раз, когда передатчик посылает сигнал, его принимают статичные сенсоры, измеряющие время между отправлением и приемом сигнала. По времени задержки рассчитываются расстояния между излучателями и приемниками. По полученным расстояниям вычисляются трехмерные координаты объекта в системе.

Ультразвуковой трекинг используется в изделиях фирмы RUCAP, InterSense.

2.1 Система позиционирования UM-16

Принцип работы системы позиционирования UM-16 основан на точном измерении времени прохождения ультразвукового сигнала от мобильного модуля излучателя до нескольких приемных модулей. Модуль управления осуществляет синхронизацию работы всего устройства и передачу данных с приемников на компьютер.

Система требует проведения однократной первоначальной настройки с помощью дополнительного модуля калибровки и сервисного программного обеспечения.

Есть специальное направление для использования систем позиционирования в медицине: тренажеры для реабилитации пациентов, страдающих остеохондрозом и перенесших инсульт, а также тренажеры для спортивной медицины. Система UM-16 позволяет записать движение пациента и углы работы его суставов, с последующим воспроизведением и программным статистическим анализом. Сравнивая диаграммы и статистически вычисленные на их основе параметры можно судить о прогрессе восстановительного процесса.

Характеристики и состав системы UM-16(Таб.1):

Таб.1

2.2 Беспроводная система K-Motion Interactive K-Vest System для анализа свинга в гольфе от InterSense

Система K-Motion Interactive K-Vest использует три датчика InertiaCube. Датчик InertiaCube представляет собой микроэлектромеханическую систему и использует передовой алгоритм фильтра Калмана. Характеристики: 3D трекинг с углом обзора 360 °, точность - 1°, частота оценивания - 200 Гц, 2000° максимальный угловой диапазон, подстраиваемые выходные фильтры и чувствительность к вращению, инструменты для компенсации статического магнитного поля. Данная система работает от перезаряжаемой батареи, которая питает датчик InertiaCube. Данные, поступающие с датчиков передаются беспроводным путем на персональный компьютер и обрабатываются программным обеспечением Kinesync для немедленного формирования сигнала обратной связи.

Рис. 5 Датчик InertiaCube

Рис.6 K-Motion Interactive K-Vest System

Ультразвуковые системы оценки качества движения человека имеют хорошую точность измерения координат и углов, но поскольку такие системы работают на основе использования физических свойств ультразвука, они обладают некоторыми недостатками. Во-первых, это необходимость прямой видимости между излучателями и приемниками, поскольку посторонние предметы являются хорошими поглотителями или рассеивателями ультразвука. Во-вторых, снижение точности при изменении температуры и при порывах ветра. А также необходимость точной калибровки приемников.

3. СИСТЕМЫ ВИДЕОЗАХВАТА ДВИЖЕНИЙ (MOTION CAPTURE)

Технология для записи движений актеров, которые затем используются в компьютерной графике.

Маркерная система motion capture, где используется специальное оборудование. На человека надевается костюм с датчиками, он производит движения; данные с датчиков фиксируются камерами и поступают в компьютер, где сводятся в единую трёхмерную модель, точно воспроизводящую движения актёра, на основе которой создаётся анимация персонажа.

На сегодняшний день существуют большое количество маркерных систем захвата движений. Различие между ними заключается в принципе передачи движений:

Оптические пассивные. На костюме, входящем в комплект такой системы, прикреплены датчики-маркеры, которые названы пассивными, потому что отражают только посланный на них свет, но сами не светятся. В таких системах свет на маркеры посылается с установленных на камерах высокочастотных стробоскопов и, отразившись от маркеров, попадает обратно в объектив камеры, сообщая тем самым позицию маркера.

Минус оптических пассивных систем заключается в длительности размещения маркеров на актёре. Так же иногда при быстром движении или близком расположении маркеров друг к другу система может их путать.

Оптические активные названы так потому, что вместо светоотражающих маркеров, которые крепятся к костюму актёра, в них используются светодиоды с интегрированными процессорами и радио-синхронизацией. Каждому светодиоду назначается ID, что позволяет системе не путать маркеры друг с другом, а также узнавать их, после того как они были перекрыты и снова появились в поле зрения камер. Во всём остальном принцип работы таких систем схож с пассивными системами.

Минусы активных систем:

-дополнительный контроллер, крепящийся к актёру и подключенный к маркерам-светодиодам, сковывает его движения;

-хрупкость и относительно высокая стоимость маркеров-светодиодов.

Гироскопические инертные системы для сбора информации о движении используют миниатюрные гироскопы и инертные сенсоры, расположенные на теле актёра -- также как и маркеры или магниты в других mocap-системах. Данные с гироскопов и сенсоров передаются в компьютер, где происходит их обработка и запись. Система определяет не только положение сенсора, но также угол его наклона.

Минусы гироскопических / инертных систем:

-дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру;

-высокая стоимость гироскопов и инертных сенсоров;

Механические системы напрямую следят за сгибами суставов, для этого на актёра надевается специальный механический mocap-скелет, который повторяет следом за ним все движения. В компьютер при этом передаются данные об углах сгибов всех суставов.

Минусы механических систем:

-мocap-скелет, с дополнительным контроллером, прикреплённым к актёру и подключенным к сенсорам сгибов, а в некоторых случаях и провода, тянущиеся от скелета, сильно ограничивают движения актёра;

-риск поломки механики при неосторожном использовании.

Американская компания Metamotion представляет костюм для захвата движения IGS-190. В комплект костюма входят 18 инерционных гироскопических датчиков, которые точно определяют положение тела в режиме реального времени. Данную систему можно носить под одеждой. Информация, поступающая в процессе работы системы, поступает беспроводным способом на ноутбук или компьютер. Одной из особенностей IGS-190 является возможность работы с получаемыми данными в Autodesk MotionBuilder, специальным программным пакетом, предназначенным для персонажной анимации и обработки данных Motion capture.

Также IGS-190 может быть применен в следующих областях: анимация, анализ походки, анализ движения спортсменов.

Рис.7

В качестве датчиков (сенсоров) движения используются цифровые видеокамеры. Для пометки ключевых областей фигуры человека используются цветные маркеры. При движении человека по сцене его движение фиксируют несколько видеокамер. Синхронные снимки с камер с заданной частотой (25-30 кадров в секунду) передаются на обрабатывающую станцию, где происходит их анализ -- выделяются маркеры и вычисляются их трехмерные координаты. Затем маркеры ставятся в соответствие слотам модели (относительным координатам на виртуальной модели, где могут располагаться маркеры), то есть распознается положение каждого маркера на фигуре человека и вычисляется положение скелета в пространстве.

Рис.8

3.1 Безмаркерная технология видеозахвата

Безмаркерная технология не требует специальных датчиков или специального костюма. Она основана на технологиях распознавания образов. Считается, что безмаркерные системы прогрессивнее, и (по крайней мере с технической точки зрения) это чистая правда: технологии, лежащие в их основе, более сложные и наукоёмкие. Компьютер нужно научить отличать левую и правую стороны персонажа, а бликующие поверхности (например, блестящая ткань) способны сбить безмаркерные системы с толку. Фактически тут требуется полноценное машинное зрение. Рассветом эры безмаркерного захвата стал конец 2010, когда в свет вышло революционное изобретение компании Primesence - микрочип, который в сочетании с инфракрасным проектором и камерой позволяет захватывать движение человека и интерпретировать жесты в данные, которые возможно применить к управлению электронными устройствами.

Московская компания iPi Soft разработала систему захвата движений iPi Desktop Motion Capture, в числе программного обеспечения которой содержится приложение iPi Biomech Add-on. Данное приложение позволяет проводить биомеханический анализ движений человека. Оно может быть использовано для анализа походки в процессе реабилитации, анализа движений спортсменов и исследования кинематики движений 3D моделей.

В источнике приведен подход автоматического моделирования тела человека на основе безмаркерного захвата движения. Первым шагом данного подхода является создание базы данных сканов человека с различных ракурсов с помощью нескольких камер. На основе этой базы строится трехмерная морфинг-модель (морфинг - технология в компьютерной анимации, визуальный эффект, создающий впечатление плавной трансформации одного объекта в другой). Далее, в процессе трекинга, от каждой камеры поступают данные в качестве силуэтов наблюдаемого человека. После чего происходит сопоставление 2D-изображений (силуэтов) и 3D-модели и тем самым, минимизация ошибки моделирования.

Американская компания Organic motion представляет программный пакет BioStage, предназначенный для пациентов с проблемами двигательной активности, страдающих такими болезнями как церебральный паралич, болезнь Паркинсона, инсульт, аутизм, гиперкинезы, повреждение головного или спинного мозга и другие нервно-мышечные проблемы. Захват движения помогает врачу не только в принятии решения перед операцией или назначением терапией, но также позволяет терапевту контролировать процесс реабилитации в послеоперационный период. Данная система может быть использована в следующих целях: оценка походки и позы человека, оценка качества движения в спортивной медицине, в неврологических и ортопедических целях.

Рис.9 BioStage

С помощью программы BioStage можно отобразить до 23 костей скелета в 3D формате. При этом автокалибровка достигается за секунды, изображение формируется в режиме реального времени, метод является безопасным и неинвазивным.

Минусом данной системы является высокая стоимость программы и сложность обработки изображения.

4. МЕТОДЫ ОЦЕНКИ ЦЕНТРА ТЯЖЕСТИ ЧЕЛОВЕКА

Для поддержания равновесия необходимо, чтобы проекция центра тяжести тела находилась внутри опорного контура - части опорной поверхности, заключенной между точками контакта поверхности с опорой.

У человека условия поддержания вертикальной позы отличаются особой сложностью - малой площадью опорной поверхности, большим числом шарнирных соединений и высоким расположением центром тяжести. Величина опорного контура определяется размером стоп и углом между их продольными осями. Центр тяжести обычно находится на расстоянии от пола, составляющем 55% от роста человека. Для поддержания равновесия существенно положение проекции общего центра тяжести относительно основных суставов ноги. Опущенная из центра тяжести вертикаль проходит сзади от оси вращения в тазобедренном суставе, несколько спереди от оси вращения в коленных суставах и на 4-5 см кпереди от оси голеностопных суставов. Из этих данных следует, что вес тела имеет тенденцию опрокидывать человека вперед; при этом наибольшая нагрузка приходится на мышцы задней поверхности голени, удерживающие тело от падения вперед за счет фиксации углов в голеностопных суставах.

Вертикальная поза человека является активной, т.е. поддерживается за счет постоянного напряжения некоторых групп мышц. Известно, что даже кратковременное нарушение кровоснабжения мозга (обморок) приводит к тому, что человек падает бесформенной массой. Для поддержания нормального положения тела необходима активность не только разгибателей голеностопного и коленного суставов, но и многих мышц туловища и шеи (т.н. аксиальной мускулатуры). Мышцы, участвующие в поддержании вертикальной позы, называют антигравитационными. Из биомеханических данных следует, что для поддержания вертикальной позы необходимо участие большого числа мышц и хорошее согласование их активности.

Тело человека непрерывно совершает колебание малой амплитуды. Это можно заметить, наблюдая за головой спокойно стоящего человека относительно какого-либо неподвижного ориентира. На этом принципе основан один из первых методов регистрации движения тела человека. На темя человека одевали острие, и оно оставляло следы на закопченной бумаги. данную запись называют кефалограмма (рис.10). Недостатком этого метода регистрации и его последующих модификаций являлось то, что голова обладает собственной подвижностью, и ее движения могут не отражать движений всего тела. Поэтому в наше время перешли к записи колебаний общего центра тяжести тела, осуществляемой с помощью специальных приборов[24]. Но на сегодняшний день этот метод модернизировали, и он применяется у пилотов истребителей.

Рис.10

В настоящее время, для оценки центра тяжести человека, широко применяется стабилометрия. Стабилометрия - это метод исследования функций организма, связанных с поддержанием равновесия. Он является глобальной характеристикой баланса тела, даёт дополнительные возможности для выявления:

· функциональных нарушений при заболеваниях позвоночника, нервной системы, вестибулярного и зрительного анализатора;

· опороспособности конечностей ;

· функционального состояние голеностопных суставов ;

· нарушений баланса при сколиозах, после травм и операций

Метод стабилометрии позволяет:

· уточнять диагноз

· управлять восстановительным лечением и фиксировать динамику

· обследовать клинически сложных пациентов

· проводить дополнительные тренинги пациентов по принципам биологической обратной связи (поиск двигательной стратегии, тренировка двигательного навыка)

Метод основан на регистрации параметров перемещения центра давления стоп пациента, на плоскость стабилометрической платформы в процессе поддержания равновесия тела с последующей обработкой полученных данных.

Рис. 11 Стабилометрическая платформа

Также в рамках данной работы мы будем использовать электроокулографию.

Глазное яблоко - это электрический диполь - его сетчатка заряжена отрицательно относительно роговицы, поэтому при поворотах глазного яблока на коже вокруг глаз возникают броски потенциалов. Такие скачки регистрируются при резких смещениях взора (саккадах), при медленных смещениях взора, при глазном тремор и при морганиях - неконтролируемых двумя веками, а также намеренных. Данный метод эффективен при нистагме. Нистагм -- непроизвольные колебательные движения глаз высокой частоты (до нескольких сотен в минуту). Данное заболевание часто диагностируют у людей с потерей координации.

В этом методе на коже вокруг глаз закрепляются сенсоры для измерений электрических полей, возникающих при повороте глаз. Положение глаза определяется по регистрации малых разностей потенциала вокруг глаза. Правильный выбор положения электродов позволяет отдельно зарегистрировать горизонтальные и вертикальные движения глаз. Однако, сигнал может изменяться даже если глаза неподвижны.

В совокупи со стабилоплатформой можно использовать портативный миограф. Данный аппарат позволит нам регистрировать изменение биоэлектрических потенциалов в мышцах при нестабильном состоянии равновесия человека.

Также в ходе исследования можно использовать систему виртуальной реальности. При использовании платформы и данной системы мы можем проследить, как человек сохраняет равновесие при движение платформы и при имитации противоположенного движения в виртуальной реальности.

ЗАКЛЮЧЕНИЕ

Проблема оценки качества движения человека и в том числе движения центра тяжести актуальна на сегодняшний день. Контролируя эти параметры, мы, в сущности, контролируем деятельность головного мозга. Организм человека очень чувствителен к изменениям во внешней и внутренней среде. Такие изменения наиболее сильно отражаются на биомеханических показателях позы и движения, которые не только показывают непосредственную реакцию человека на внешние воздействия на уровне периферии его организма, но и интегрально отражают функционирование центральных механизмов управления и энергообеспечивающих систем. Все вышеперечисленные исследования в комплексе могут помочь в реабилитации людей с нарушением равновесия и координации движений.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Желамский М.В. Электромагнитное позиционирование: преимущества и области применения / М. Желамский // Электроника: Наука, Технология, Бизнес - 2007.-№3

2. Joгo Cordovil Bбrcia. "Human electroocu-lography interface", Dissertaзгo para obtenзгo do grau de Mestre em Engenharia Fнsica Tecnolуgica, Lisboa, 2010, 135 p

3. Kazutaka Mitobe Motion Capture System for Hand Tracking Using Polhemus System/ Kazutaka Mitobe, Takaaki Kaiga, Takashi Yukawa, Takeshi Miura, Hideo Tamamoto, Al Rodgers and Noboru Yoshimura Akita University, Warabi-za Co., Akita Keizaihoka University, Polhemus

4. http://ru.wikipedia.org/wiki

5. Андреев В.А. Видеозахват и анимация движений людей и роботов / В.А Андреев, И.Е. Гуленко, А.В. Тимофеев Санкт-Петербургский институт информатики и автоматизации РАН

6. Эрам С. Ю. Детекция движений глаз по электроокулограмме при смещениях взора. Магистерская диссертация, СПбГУ. 2007. 81 c

Размещено на Allbest.ru