Анализ эффективности алгоритмов обработки изображений для выделения микрообъектов на гистологических срезах

Размещено на http://www.allbest.ru/

Волгоградский государственный университет, Волгоград

Анализ эффективности алгоритмов обработки изображений для выделения микрообъектов на гистологических срезах

А.С. Астахов, В.В. Бумагин

Введение

Распознавание образов широко применяется для автоматизации исследования биологических объектов. Можно выделить ПО общего назначения (ImageTool, ImageMagic, OpenCV, пакет IPT для SciLab, MatLab), специализированное ПО с открытым исходным кодом для обработки и анализа биологических изображений (ImageJ, Drishti, InVesalius, ITK-SNAP, MITK, GinkgoCADx, 3DSlicer, Platform, VTK, GIMIAS и другие). Существуюттакже специализированные ОС на базе GNU Linux, поставляющие необходимые программы «из коробки» (BioLinux, Debian-Med, Ubuntu-Med).

Основные проблемы с алгоритмической точки зрения при создании ПО для распознавания биологических микрообъектов (не рассматривая задачу визуализации [1]) можно разделить на три группы:

1) Большое разнообразие биообъектов и форм их представления способствует использованию различных алгоритмов обработки изображений для каждого конкретного случая. Например, изображения, полученные с разных типов микроскопов (конфокального и светового) требуют разных алгоритмов морфометрической обработки [2-5].

2) Распознавание небольших малоконтрастных объектов (ядро и контуры клеток) [2].

3) Исследуемые микрообъекты (контуры и ядра клеток) на изображении среза являются проекцией трёхмерного тела на плоскости [2, 6], что вносит большие трудности для их распознавания в тканях организма.

Эти проблемы приводят к тому, что большинство ПО требует активного участия специалиста по предметной области для выделения исследуемых объектов и областей в ручном режиме.

В связи с этим появляется необходимость создания программы, которая позволяет производить морфометрический анализ в автоматическом режиме (или полуавтоматическом режиме -- при ручном задании параметров).

Выбор критериев для выделения объектов и алгоритмов

Для разработки программы для обработки и анализа изображений на гистологическом срезе ткани были осуществлены поиск и проверка объективных количественных критериев, позволяющих проводить обработку и анализ полученных изображений с биологическими микрообъектами. В качестве такого критерия был выбран контур, выделяющий клетку на изображении среза.

Контуром изображения можно назвать пространственно-протяженный разрыв (перепад, скачкообразное изменение) значений яркости. Биологические системы зрительного восприятия опираются на очертания контуров, а не разделение объектов по яркости [7]. Задача выделения контуров состоит в построении бинарного изображения, содержащего эти очертания [7].

Выбор контура как интегрального признака научно обоснован [8], но на практике в ЭС обработки биологических изображения используется разделение объектов по яркости [7]. Частично это подтверждается тем, что при разработке автоматизированного программного комплекса для оперативного отождествления человека по походке [9] была использована цветовая модель HSV.

По мнению [10] границы объектов не следует отождествлять с резкими изменениями значений на изображении. Во-первых, объекты могут не сильно отличаться по цвету от фона. Во-вторых, на объекты часто накладываются текстуры или другие объекты, которые имеют свои собственные края, чтозатрудняет правильное распознавание [6]. Также погрешность вносят тени [10]. На практике мы можем подтвердить это высказывание, но вместе с тем большинство алгоритмов используют именно этот метод (детектирование резких изменений).

Критерии для отбора алгоритмов для выделения контуров были следующие:

-алгоритм широко известен и успешно применялся для распознавания образов;

-для алгоритма существует математическое обоснование;

-реализация алгоритма представлена вбиблиотеках и программах с открытым исходным кодом (OpenCV, ImageMagic и других).

Выбранные изображения и алгоритмы

В качестве изображений для обработки были выбраны фотографии срезов хрящей коленных суставов кролика породы Шиншилла (рис. 1, слева и по центру) и собаки (рис.1, справа), полученные с помощью конфокального и оптического светового микроскопов.

Рис. 1 Исходные изображения

На срезе хряща коленного сустава вручную были выделены интересующие микрообъекты (клетка, ядро), после чего были сформированы признаки, используемые, например, в Blob - детекторе (будет описан ниже)[6]. Например, для конфокального микроскопа и соответствующих красителях ядро красного цвета и имеет небольшой размер, а клетка имеет больший размер, и она черного цвета. Для оптического микроскопа ядра и клетки имеют другую окраску.

Рис. 2 Диаграмма вариантов использования

На рисунках 2 и 3 отображены диаграмма и интерфейс разработанного прототипа экспертной системы. Основа программы разработана как MFC-приложение (интерфейс, вызов функций обработки и отображение входных и выходных изображений) c использованием библиотеки OpenCV.

Рис. 3 Интерфейс программы

Среди опробованных алгоритмов были выбраны несколько, остальные не рассматривались ввиду недостаточной точности.Приемлемыйрезультаты показал алгоритм сравнения контуров (табл. 2 - Тemplate), разработанный на OpenCV (рис. 4, слева). Он основан на понятии моментов. Момент - это суммарная характеристика контура, рассчитанная суммированием всех пикселей контура [11]. Выделение контуров с помощью сравнения через суммарные характеристики хорошо работает для объектов с четкой выраженной границей, но может не выделять те объекты, которые сильно отличаются по яркости от изображения-образца. Можно увидеть, что выделяются не все объекты. Более того, не все эти объекты замкнуты. Видно, что благодаря нормализации по яркости количество распознанных объектов увеличилось, но недостаток этого метода сохранился - контуры не замкнуты. Наиболее удачным преобразованием является нормализация по яркости с последующим выделением контуров на основе моментов (1):

где p и q - порядок возведения в степень соответствующего параметра при суммировании; n - число пикселей контура.

Рис. 4 Применение поиска по шаблону и фильра Собеля

Идея свёрточных алгоритмов состоит в наложении на каждую точку изображения двух масок вращения. Свертка - это некоторое действие, которое выполняется над каждой частью изображения. Эти маски представляют собой две ортогональные матрицы размерностью 3x3.Эти маски выявляют границы, расположенные вертикально и горизонтально на изображении. При раздельном наложении этих масок на изображение можно получить оценку градиента по каждому из направлений G_x и G_y. Конечное значение градиента определяется по формуле [12, 13]:

Фильтр Собеля (рис. 4, справа) является частным случаем свёрточного алгоритма. Формой применяемого сверточного ядра определяется какое именно действие она выполняет [12, 13]. Фильтр Собеля повышает яркость и ожидалось, что такое преобразование дополнит и улучшит выделение контуров, но вместе с улучшенным распознаванием нужных нам объектов, появились и ложные срабатывания.

Результаты обработок

Чтобы оценить выбранные алгоритмы были отобраны 12 изображений, полученные с оптического светового и конфокального микроскопов и с разных биологических препаратов. При оценке был использован слепой метод.Чтобы численно оценить процент распознавания у алгоритмов считались обработанные изображения и необработанные (подсчёт специалистами). Затем подсчитанные числа делились на подсчитанные с помощью алгоритмов. Тем самым была получена количественная оценка распознавания. Несмотря на большую погрешность для некоторых изображений (это связано как с самим исходным изображением, так и с обработанным) была получена оценка 0.58. То есть вся совокупность алгоритмов работает с точностью 58% (средний процент распознанных контуров по сравнению с подсчетами специалистов). Подсчёт осуществлялся вручную по уже обработанным изображениям.

Так как снимки с конфокального микроскопа были сделаны без явных оптических искажений, интересно посмотреть какой алгоритм справляется с этой задачей лучше других. Для этого для каждого такого изображения была получена оценка, являющаяся по сути накоплением ошибки распознавания. Ошибкой будут являться как нераспознанные объекты, так и распознанные ошибочно (ошибки первого и второго рода [14]. Алгоритм поиска по шаблону (на основе моментов) для такого типа изображений является лучшим из этого перечня, но он подходит только для высококонтрастных изображений. Алгоритм сегментации Kmeans не смог заработать на изображениях с нечетко выраженной границей. Также из табл. 1 видно, что наиболее удачными для распознавания были 7, 8 и 12 изображения.

Таблица №1

Алгоритмы и их сравнение между собой

Подсчет (табл. 1) осуществлялся следующим образом: количество распознанных объектов алгоритмами делилось на количество распознанных объектов экспертами. Оценка в табл. 2 была получена следующим образом: от единицы отнимался модуль от разности количества распознанных алгоритмами объектов и количества распознанных экспертами объектов (таким образом, чем ближе число к единице, тем лучше):

где = .

биологический программный микрообъект алгоритм

Таблица №2

Проверка обработок для первых четырех изображений

В ходе рассмотрения выбранных ранее алгоритмов (табл. 1 и табл.2), было предложено использовать детекторы и дескрипторы для распознавания ядер клеток. Эти группы алгоритмов основываются на понятии особых точек. Под ними понимаются углы (corners), что роднит эти алгоритмы с оператором Кэнни (при этом в некоторых детекторах он применяется как предобработка). Если детектор находит положение особой точки на изображении (геометрический признак), то дескриптор дополнительно строит вектор признаков, характерных для полученной точки [6, 15]. Эти алгоритмы хоть и являются универсально применимыми, но не широко используются для поиска биологических микрообъектов. На рис. 5 отображены примеры работы дескриптора SURF и детектора Харриса.

Из соображения, что дескриптор будет выделять объекты точнее если четко указать для него образец по аналогии с поиском объектов на основе моментов, были применены Blob- и SURF-детекторы с выбранным шаблоном (Рис. 6). Число ложных срабатываний не сократилось, что видно по табл. 3. Морфометрические признаки были учтены путем применения Blob детектора (мы использовали такие характеристики как близость объекта к окружности, цветовой порог, поворот, размер).

Рис. 5 Пример работы SURF-дескриптора и детектора Харриса

Дескрипторы и детекторы хороши тем, что хоть они и занимаются поиском углов, применяя их можно легко получить количество выделенных объектов, а эксперт сможет найти ошибки распознавания как первого, так и второго родов.

Рис. 6 Пример работы Blob-детектора и SURF-детектора с шаблоном

По аналогии с табл. 1 были проведены подсчеты этих алгоритмов и сравнение с экспертной оценкой (табл. 3). Несмотря на то что детекторы и дескрипторы позволяют легко получить количественную оценку, ей нельзя доверять - превышение до 115 раз (SURF-детектор) относительно оценок экспертов. Рассмотренные ранее алгоритмы (табл. 1 и табл.2) хоть и являются предобработкой, с помощью них эксперту проще произвести оценку.

Таблица №3

Сравнения дополнительных алгоритмов

Заключение

Проведенный анализ алгоритмов показывает, что для изображений, полученных с помощью различных микроскопов и красителей, не существует одного универсального алгоритма по обработке изображений. Для обработки изображений биологических микрообъектов необходимо индивидуально подбирать, как имеющиеся алгоритмы обработки изображений, так и красители в зависимости от гистологического препарата. Более надежные результаты получаются на высококонтрастных изображениях при использовании конфокального микроскопа и на изображениях с четко выраженными границами при использовании оптического светового микроскопа.

Литература

1. Поляков М.В., Хоперсков А.В. Вычислительные эксперименты для исследования радиационных и тепловых полей в биоткани. // Инженерный вестник Дона, 2017, №2, URL: ivdon.ru/ru/magazine/archive/n2y2017/4239.

2. Chvбtal A., Andмrovб M., Kirchhoff F. Three-dimensional confocal morphometry - a new approach for studying dynamic changes in cell morphology in brain slices // J. Anat. - 2007. - Vol. 210, № 6. pp. 671-683.

3. Khoperskov A.V., Kovalev M.E., Astakhov A.S., Novochadov V.V., Terpilovskiy A.A., Tiras T.P., Malanin D.A. Software for full-color 3D reconstruction of the biological tissues internal structure // Lecture Notes in Computer Science, 2017, v.10594. pp.1-10. doi: 10.1007/978-3-319-69182-4_1

4. Абламейко С.В., Недзьведь А.М. Обработка оптических изображений клеточных структур в медицине. Минск: ОИПИ НАН Беларуси, 2005. 156 c.

5. Новочадов В.В., Хоперсков А.В., Терпиловский А.А., Маланин Д.А., Тирас Х.П., Ковалев М.Е., Астахов А.С. Виртуальная полноцветная трехмерная реконструкция коленного сустава человека на основе оцифровки серийных шлифов // Математическая биология и биоинформатика: Доклады VI Международной конференции. 16-21 октября 2016 г., г. Пущино. С. 78-79.

6. Лосев А.Г., Хоперсков А.В., Астахов А.С., Сулейманова Х.М. Проблемы измерения и моделирования тепловых и радиационных полей в биотканях: анализ данных микроволновой термометрии // Вестник Волгоградского государственного университета. Серия 1: Математика. Физика. 2015. № 6 (31). С. 31-71. doi: 10.15688/jvolsu.2015.6.3

7. Сойфер В.А. Методы компьютерной обработки изображений. Москва.: ФИЗМАТЛИТ, 2003. 782 с.

8. Фурман Я. А., Кревецкий А. В., Передреев А. К., Роженцов А. А. Введение в контурный анализ. Приложения к обработке изображений и сигналов. Фурман, под ред. Фурмана, 2-е изд. Москва: ФИЗМАТДИТ, 2003г. 592 с.

9. Бумагин В. В., Сиволобов С. В. Автоматизированный программный комплекс для оперативного отождествления человека по походке. Информационная безопасность регионов, 2013. №2(13). C. 136-140.

10. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. Москва: Вильямс, 2004. 928 с.

11. Hu M. K. Visual Pattern Recognition by Moment Invariants // IRE Trans. Info. Theory, vol. IT-8, 1962. pp. 179-197.

12. Буй Т.Т.Ч., Спицын В.Г. Анализ методов выделения краев на цифровых изображениях // Доклады ТУСУРа, № 2 (22), часть 2, декабрь 2010. C. 222.

13. Рвачёва О.В., Чмутин А.М. Управление яркостью в компьютерной графике: нелинейный аспект. // Инженерный вестник Дона, 2017, №1, URL: ivdon.ru/ru/magazine/archive/n1y2017/3974.

14. Тюрин Ю. Н., Макаров А. А. Анализ данных на компьютере. Москва: Форум, 2008. 368 с.

15. Суханов А.В., Артемьев И.С., Долгий A.И., Хатламаджиян А.Е. Метод оптической идентификации железнодорожных подвижных единиц на основе интегральных устойчивых признаков // Инженерный вестник Дона, 2013, №4, URL: ivdon.ru/ru/magazine/archive/n4y2013/2217.

Аннотация

В работе проведен анализ 11 алгоритмов обработки изображений для выделения микрообъектов на гистологических срезах биоткани. Показано, что для изображений, полученных с помощью различных микроскопов и красителей, не существует одного универсального метода обработки изображений. Выбор алгоритма в существенной мере зависит от конкретного типа микроскопа. Рассмотренные алгоритмы дают более надежные результаты для высококонтрастных изображений при использовании конфокального микроскопа.

Ключевые слова: цифровая обработка изображений, выделение контуров, биологические микрообъекты, OpenCV, ImageJ, морфометрическая обработка.

Размещено на Allbest.ru