Исследование проблемы оценки качества готовых онтологических моделей

Размещено на http://www.allbest.ru/

Волгоградский государственный технический университет

Исследование проблемы оценки качества готовых онтологических моделей

Андрич Ольга Федоровна

В данной работе рассматриваются методы оценки качества онтологических моделей, на основе которых будет разработано формализованное средство оценивающее качество онтологических моделей, а также выдающее рекомендации по улучшению качества подаваемых на вход онтологий.

Похожие материалы

· Сравнительный анализ систем поддержки выдачи кредита по методу Саати

· Экспертная оценка систем контроля выхода научно-исследовательских публикаций

· Анализ и исследование методов построения систем обучающего компьютерного тестирования

· Сравнительный анализ систем расчета рейтинга с использованием метода Саати

· Программная реализация методов автоматической генерации онтологии на основе структурированного материала

В настоящее время в различных областях деятельности человека все большее распространение получают онтологические модели. Применение онтологических моделей курса в процессе обучения позволит повысить эффективность данного процесса за счет предоставления возможности выбора различных траекторий обучения в соответствие со знаниями студента. Оценка качества онтологических моделей позволяет оценить эффективность их использования, что является достаточно актуальной проблемой современного онтологического инжиниринга. Процесс создания онтологических моделей достаточно важен в практическом плане, и это является причиной того, что различными группами ученых разработано достаточно большое количество различных подходов в сфере оценки качества онтологий.

На сегодняшний день известно множество методов оценки качества онтологических моделей, и задача выбора оптимальной методики для решения конкретной задачи становится наиболее сложной.

ПОСТАНОВКА ПРОБЛЕМЫ

Целью данной работы является улучшение качества онтологических моделей за счет выработки рекомендаций по их построению.

Для построения наиболее качественных онтологий необходимо изучить существующие методы оценки качества, найти и устранить недостатки в этих методах, а также в результате анализа улучшить существующие онтологические модели.

Реализуемая система оценки качества готовых онтологических моделей предназначена для проверки оценки качества онтологий на основе перечисленных методов [1]: Natural Language Application metrics; OntoMetric; FIGO; EvaLexon; Declarative Methods; OntoClean;

Данные методы производят оценку онтологий по следующим критериям:

· Точность и полнота словаря предметной области;

· Адекватность;

· Восприимчивость;

· Производительность;

· Структуру с точки зрения таксономии, отношений и т.п.;

· Выбор наиболее лучшей онтологической модели из нескольких имеющихся;

КЛАССИФИКАЦИЯ МЕТОДОВ ОЦЕНКИ ОНТОЛОГИЙ

В статье Горовой В.А. «Модель классификации методов оценки онтологий» [2] рассматривается общий взгляд на существующие подходы. С точки зрения этой классификации рассматриваемый в работе метод оценки качества онтологической модели можно описать следующим образом:

· Целью данного метода является оценка восприимчивости (с когнитивной точки зрения), а также выбор наиболее лучшей онтологии из нескольких существующих;

· Объектом анализа данного метода является структура онтологии;

· Средством является анализ топологии графа онтологии;

· Степенью автоматизации является автоматический, полуавтоматический процесс (окончательное решение принимается экспертом на основе рассчитанной автоматически модели);

· Стадиями применения являются разработка и прототипирование (расчет может производиться на каждой следующей итерации разработки), тестирование перед выпуском;

КРИТЕРИИ ОЦЕНКИ КАЧЕСТВА ОНТОЛОГИЧЕСКИХ МОДЕЛЕЙ НА ОСНОВЕ ТОПОЛОГИИ ГРАФА

В источниках [5-7] рассматриваются онтологические модели, которые будут использованы при выполнении анализа качества онтологий.

Проанализируем несколько критериев оценки качества онтологических моделей: онтологический метрика запутанность граф

Глубина онтологии

Gangemi [4] выделяет три метрики для расчета глубины:

1. Абсолютная глубина. Данная величина рассчитывается как сумма длин всех путей графа (любая последовательность соединенных между собой вершин, которая начинается от корневой вершины и заканчивается листом графа).

2. Средняя глубина. Данное значение приравнивается к значению равному отношению абсолютной глубины к количеству путей в графе.

3. Максимальная глубина. Данное значение приравнивается к значению максимальной длины пути. Следовательно, чем больше значение глубины, тем труднее граф поддается восприимчивости.

Ширина онтологии

· Абсолютная ширина. Данное значение приравнивается к сумме количества вершин для каждого уровня иерархии по всем уровням.

· Средняя ширина. Данная величина рассчитывается как абсолютная ширина, деленная на количество уровней иерархии.

· Максимальная ширина. Данное значение приравнивается к количеству вершин на самом большом по количеству вершин уровне. Следовательно, чем максимальная ширина будет меньше, тем лучше с точки зрения когнитивной эргономики будет онтология.

· Запутанность онтологии (tangledness). Данная величина рассчитывается следующим образом: отношение количества вершин графа онтологии к количеству вершин, у которых присутствует несколько непосредственных супер классов. Следовательно, можно сделать вывод, что в онтологических моделях, где нет множественного наследования (связи is-A), эта метрика равна нулю. Чем итоговое значение меньше, тем лучше онтология с точки зрения когнитивной эргономики.

· Отношение количества классов к количеству свойств. Чем больше данная величина, тем восприимчивость онтологической модели становиться выше.

· Количество анонимных классов. Для улучшения восприимчивости, рекомендуется минимизировать количество анонимных классов.

ОБЩАЯ МОДЕЛЬ МОДУЛЯ РАССМАТРИВАЕМЫХ ОНТОЛОГИЧЕСКИХ МОДЕЛЕЙ

Данная модель включает в себя следующие блоки:

1. Блок парсинга представляет собой процедуру разбора файла с описанием онтологической модели или модели, взятой из БД. На вход блока подается файл с моделью и указанием тегов вершин, связей. В случае с моделью из БД, в отдельных таблицах хранится информация по вершинам и связям.

2. Блок расчета величин. В данном блоке производится расчет величин по таким критериям как: глубина, ширина, запутанность онтологии, отношение количества классов к количеству свойств, количество анонимных классов.

3. Блок анализа величин и принципы решения о качестве модели. По полученным расчетам производится анализ, в результате которого принимается решение о качестве онтологической модели. Данный анализ основывается на следующих метриках: метрики циклов, метрики Ингве-Миллера, метрики разнообразия количества связей, метрики глубины, метрики запутанности (tangledness) графа. По результату анализа выдаются рекомендации по улучшению качества онтологических моделей.

Работа модуля продемонстрирована на рисунке 1.

Рисунок 1 - Структура модуля оценки качества онтологических моделей

СУБЪЕКТИВНЫЕ МЕТРИКИ ОЦЕНКИ КАЧЕСТВА ОНТОЛОГИЙ

Рассмотрим метрики, по которым будет производиться оценка качества онтологий:

· Метрики циклов;

· Метрики Ингве-Миллера;

· Метрики глубины;

· Метрики разнообразия количества связей;

· Метрики запутанности (tangledness) графа;

Метрики циклов

Основная идея этих метрик заключается в следующем: для более глубокого восприятия онтологической модели количество циклов должно быть минимальным. Рекомендуется, чтобы такие циклы, отсутствовали совсем.

Метрики Ингве-Миллера

Для того чтобы построить качественную онтологическую модель необходимо, чтобы количество связей у одного концепта не превышало значения 7±2 [3] - это основной принцип данной метрики.

Метрики разнообразия количества связей

В основу рассматриваемой метрики положен следующий алгоритм: улучшение восприимчивости онтологической модели, за счет уменьшения различных типов связей.

Большинство онтологий строятся на одном типе связи, исключением из этого большинства являются онтологии, в которых встречаются несколько типов связей. В этом случае восприимчивость онтологической модели оценивается определенным образом.

Метрики глубины

Данная метрика оценивает сбалансирование онтологических моделей, а также качество восприятия онтологических моделей, которое характеризуется величиной длины различных путей графа.

Основное положение таких метрик заключается в следующем: длины различных путей в графе различаются по своему значению, чем больше это отличие, тем не качественнее сбалансирование онтологии, и качество восприятия онтологических моделей.

Метрики запутанности (tangledness) графа

Данная метрика используется для оценки степени использования наследования. С когнитивной точки зрения, избежание множественного наследование является признаком хорошей онтологии.

Заключение

В качестве результата данной работы получено:

1. формализованное описание математической модели модуля оценки качества онтологических моделей.

2. программное средство для оценки качества онтологических моделей.

Список литературы

1. Hartmann J. Methods for ontology evaluation // Knowledge Web Deliverable 2005. С. 11-29

2. Горовой В.А. Модель классификации методов оценки онтологий // Материалы 2-й международной молодежной конференции «Искусственный интеллект: философия, методология, инновации». Санкт-Петербург, 15-17 ноября 2007 - c. 307-310

3. Miller G. The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information // The Psychological Review ,1956. 63: 81-97.

4. Gangemi A., Catenacci C., Ciaramita M., Lehmann J. Ontology evaluation and validation // An integrated formal model for the quality diagnostic task. 2005 C. 30-36.

5. Рыбанов, А.А. Разработка модуля "Преподаватель" для построения курса и проверки знаний студентов / Рыбанов А.А., Макушкина Л.А. // Информатика и информационные технологии в образовании, науке и производстве : сб. ст. и тез. докл. XII-й науч.-практ. конф. (Волжский, 27-28 янв. 2013 г.) / ВПИ (филиал) ВолгГТУ. - М., 2013. - C. 73-86.

6. Рыбанов, А.А. Программная реализация адаптивной к психофизическим характеристикам пользователя автоматизированной обучающей системы / Рыбанов А.А., Макушкина Л.А. // Современная наука: тенденции развития : матер. V междунар. науч.-практ. конф. (23 июля 2013 г.) : сб. науч. тр. Т. II / Науч.-изд. центр Априори. - Краснодар, 2013. - C. 105-126.

7. Рыбанов, А.А. Automated training knowledge monitoring system based on ontological model of course / Рыбанов А.А., Макушкина Л.А. // New approaches in education : research articles / science editor A. Burkov ; B&M Publishing. - San Francisco (California, USA), 2013. - Р. 50-57.

Размещено на Allbest.ru