Когнитивная эргономичность онтологий в обучении

Размещено на http://www.allbest.ru/

Когнитивная эргономичность онтологий в обучении

Введение

онтология обучение знание

Онтология является мощным инструментом представления знаний. Онтологии широко используются для хранения, управления и обмена знаниями как между приложениями, так и людьми, поскольку они могут быть представлены как в машинно-интерпретируемом виде, так и в удобном человеку формате. В последнее время все больше внимания уделяется электронному обучению, а распространением World Wide Web создало новую и динамично развивающуюся область образования - дистанционное обучение Малиновская и др., 2006.

Вопрос оценки качества создаваемых онтологий является одной из актуальных проблем современного онтологического инжиниринга. Эта часть процесса разработка онтологий важна в практическом плане и активно развивается. В настоящее время известно более десятка методов, разработанных разными группами ученых и рассматривающих онтологию с различных точек зрения. Для онтологий, используемых в обучении важно оценить качество визуального представления, так как оно играет важную роль в восприятии и усвоении знаний, в них содержащихся.

Данная работа предлагает метод оценки визуальной структуры онтологий, как мощного инструмента обучения. Данное исследование предлагает метод количественной оценки онтологий с помощью набора метрик и интегрального критерия, вычисляемого на основе их значений. А также методологию его применения.

1. Оценка онтологий

Вопрос оценки качества создаваемых онтологий является одной из актуальных проблем современного онтологического инжиниринга. Эта часть процесса разработки онтологий важна в практическом плане, что является причиной того, что разными группами ученых разработано множество различных подходов в области оценки онтологий. В настоящее время известно более десятка методов. Обобщенный взгляд на существующие подходы предлагает модель классификации методов оценки онтологий на Рис. 1 Горовой, 2008.

Согласно этой классификации существующие методы оценки онтологий ставят перед собой одну из следующих целей: полнота и точность словаря предметной области. Такую задачу решают подходы, описанные в работах Maedche et al., 2002 и Brewster et al., 2004; адекватность структуры с точки зрения таксономии, отношений и т.п., Guarino et al., 2002, Brewster et al., 2004, Spyns 2005, Maedche et al., 2002; воспринимаемость (с когнитивной точки зрения). Гештальт-подход описан в работе Gavrilova et al., 2007. Внимание этому аспекту уделено также в работе Gangemi et al., 2005; производительность при использовании в приложениях Porzel et al., 2004; выбор лучшей онтологии из нескольких имеющихся. Как правило, такие работы используют различные метрики, например Ontometric Lozano-Tello et al., 2004.

Оценка онтологий может применяться на разных стадиях разработки и использования онтологий. Возможны указанные ниже варианты: разработка и прототипирование Guarino et al., 2002; тестирование перед выпуском Lozano-Tello et al., 2004; использование Porzel et al., 2004.

По степени автоматизации все методы оценки онтологий можно разделить на три группы: автоматические. Например, EvaLexon Spyns, 2005; полуавтоматические Gangemi et al., 2005; ручные Lozano-Tello at al., 2004.

Объектами для анализа у существующих методов могут быть один или несколько из перечисленных ниже объектов: структура Gangemi et al., 2005; словарь Brewster et al., 2004; эффективность практического использования Porzel et al., 2004.

Рис.1. Модель классификации методов оценки онтологий

По средствам, используемым для анализа качества и зрелости онтологий, можно все методы разделить на несколько классов: основанные на данных (Data-driven) Brewster et al., 2004; экспертные оценки Lozano-Tello et al., 2004; исследования профилей использования Porzel et al., 2004; сравнение с "золотым стандартом" Maedche et al., 2004, Spyns, 2005; исследования топологии графа онтологии Клещев и др., 2007, Gangemi et al., 2005.

С точки зрения данной на Рис. 1 классификации предлагаемый в работе метод оценки можно описать следующим образом: цель - оценка воспринимаемости (с когнитивной точки зрения), выбор лучшей онтологии из нескольких имеющихся; объект анализа - структура онтологии; средство анализа - анализ топологии графа онтологии; степень автоматизации - автоматический, полуавтоматический (окончательное решение принимает эксперт на основе посчитанной автоматически модели); стадия применения - разработка и прототипирование (подсчет может производиться на каждой следующей итерации разработки), тестирование перед выпуском.

2. Когнитивная эргономичность онтологий

Визуальное представление является мощным интеллектуальным инструментом Jonassen, 1998 в процессе структурирования. Визуальная форма влияет как на анализирующие, так и на синтезирующие процедуры в процессе разработки онтологий. Поэтому считается, что «красота» онтологии играет важную роль в представлении знаний Gavrilova et al., 2005. Другими словами, аспект, который нужно оценивать в данном случае - когнитивная эргономичность.

Эргономика - научно-прикладная дисциплина, занимающаяся изучением и созданием эффективных систем, управляемых человеком Словарь ЭФ. Это область научно-прикладных исследований, находящихся на стыке технических наук, психологии и физиологии труда, в которой разрабатываются проблемы проектирования, оценки и модернизации систем "человек-техника-среда" Словарь ОП. Одной из задач эргономики является изучение, проектирование и создание различных инструментов удобных для использования человека, то есть с учетом его возможностей, способностей и ограничений. Когнитивность обозначает способность к умственному восприятию и переработке внешней информации. Таким образом, когнитивная эргономичность занимается вопросом работы человека с инструментами, предназначенными для передачи знаний и информации человеку.

Основные принципы когнитивной эргономичности онтологий описаны в работах Gavrilova et al. 2005, Gavrilova et al., 2007. Они основаны на идеях Макса Вертгеймера в области гештальт-психологии Вертгеймер, 1987. Гештальт-психология изучает принципы восприятия объектов как целостных структур (гештальтов), первичных по отношению к своим компонентам. Основной принцип «хорошего гештальта», также называемый законом прегнантности или равновесия, был сформулирован Максом Вертгеймером: «Организация любой структуры в природе или в сознали должна быть настолько хороша (регулярна, полна, сбалансирована и симметрична), насколько позволяются существующие условия».

Также полезными могут быть и другие когнитивно-перцептивные законы: Закон близости - визуальные стимулы (объекты), находящиеся близко друг от друга воспринимаются как единое целое; закон сходства - вещи, обладающие одинаковыми свойствами, обычно воспринимаются как нечто единое (цельное); закон включения В.Келера - тенденция воспринимать только большую фигуру, а не ту меньшую которую она включает; закон парсимонии - самый простой пример является самым лучшим, известен как принцип «бритвы Оккама»: «не нужно умножать сущности без необходимости».

На основании этого этих принципов в работе Gavrilova et al. 2005 были сформулированы критерии «хорошей» онтологии с точки зрения когнитивной эргономичности. Они могут быть представлены в виде следующей формулы:

«Гармония = концептуальный баланс + ясность»,

где концептуальный баланс подразумевает, что:

1. Понятия одного уровня иерархии связываются с родительским концептом одним и тем же типом отношения (например, «класс-подкласс» или «часть-целое»).

2. Глубина ветвей онтологического дерева должна быть примерно одинаковая (±2).

3. Общая картинка должна быть довольно симметричной.

4. Перекрестные ссылки должны быть по возможности исключены.

Ясность включает:

5. Минимизацию. Так максимальное число концептов одного уровня или глубина ветви не должна превышать знаменитое число Ингве-Миллера (7±2) Miller, 1956.

6. Прозрачность для чтения. Тип отношений должен быть по возможности очевиден, так чтобы не перегружать схему онтологии лишней информацией и опускать названия отношений.

Таким образом, гармония - это то, что делает онтологию «красивой» и когнитивно эргономичной для человека.

3. Оценка когнитивной эргономичности онтологий

Полученная в данной работе модель оценки качества онтологии основана на принципах, изложенных выше, и во многом является их формализацией. Целью применения модели является оценка сбалансированности и воспринимаемости онтологий пользователями. Предлагаемая модель оценки состоит из набора метрик, на основе измерения которых, можно сделать некоторые выводы о качестве онтологий. Полный список метрик подробно описан в работе Гаврилова и др., 2009. Процесс оценки онтологии этим методом состоит из нескольких шагов.

Этап анализа размера онтологии

На этом этапе вычисляются значения метрик размера онтологии. Большая онтология содержит больше информации и поэтому, как правило, ее сложнее хорошо структурировать. Таким образом, размер онтологии влияет на ее качество и метрики следующих этапов должны рассматриваться, принимая во внимание размер онтологии.

Этап анализа критических ошибок онтологии

Есть такие категории ошибок в онтологиях, при которых дальнейшую оценку проводить бессмысленно до их исправления. К такого рода ошибкам относится наличие циклов в онтологии и множественное наследование. Для выявления ошибок первого типа подсчитываются метрики циклов, во втором случае используются метрики запутанности.

Этап анализа метрик Ингве-Миллера

На этом этапе рассматриваются метрики, значения которых указывают на способность человека одновременно воспринимать узел онтологии вместе со всеми узлами, связанными с ним свойствами. Среди вычисляемых метрик - средняя степень узла, отношение количества вершин с нормальной степенью по отношению ко всем вершинам и несколько метрик оценки сбалансированности онтологий. Нормальной степенью вершины считается значение в пределах знаменитого числа Ингве-Миллера (7±2).

Этап анализа типов связей онтологии

Количество различных типов связей, присутствующих в онтологии, непосредственно влияет на ее восприятие, загромождая изображение онтологии. Также негативно отразиться на когнитивной эргономичности онтологии может большое количество концептов онтологий с разными типами исходящих связей. На данном этапе необходимо подсчитать значения двух групп метрик - метрики разнообразия типов связей концептов и метрики разнообразия количества связей.

Этап анализа метрик глубины

Если различные ветви дерева онтологии имеют разную длину, то это может негативным образом отразиться на воспринимаемости онтологий. С помощью метрик глубины можно понять, насколько равномерно проработана онтология в разных областях. При работе с онтологией обычно специалист удерживает в сознании одновременно либо одно понятие со всеми связанными с ним, либо отдельную ветку онтологии от листа до корня. Поэтому, если в этой ветке будет больше 9 объектов (9 вершин), онтология будет трудно поддаваться восприятию.

Этап анализа метрик ширины

Метрики ширины позволяют проанализировать сбалансированность онтологии на основании изучения различий между разными уровнями иерархии. Если на более низком уровне в онтологии меньше концептов, чем на предыдущем, то это может негативно повлиять на восприятие ее пользователями. Также важно изучить насколько равномерно онтология расширяется от одного уровня к другому

Этап анализа метрик ветвистости

Особое внимание при анализе различных уровней иерархии в дереве онтологии следует уделять последнему, наиболее детальному уровню. Часть метрик ветвистости использовалось на втором этапе методики для анализа критических ошибок онтологии. Оставшиеся метрики могли бы быть отнесены к метрикам ширины, так как изучают похожие свойства онтологии, но выделены в отдельный класс и используются на отдельном этапе анализа из-за большого влияния последнего уровня онтологии на восприятие онтологии. На этом этапе анализа можно выделить те вершины графа, у которых не достаточно проработан последний уровень иерархии.

Интегральный критерий

Интегральный критерий представляет собой единое число, вычисляемое на основе значений 10 наиболее показательных метрик, которые были выбраны из описанных выше метрик эмпирически путем. Если предположить, что зависимость интегрального критерия (I) от каждой метрики линейная, то его значение можно вычислить по формуле:

,

где - количество метрик, - вес метрики, - ранг онтологии по данной метрике. Веса отражают значимость метрик, для определения которой была взята обучающая выборка из 12 онтологий. Онтологии были оценены экспертами в области онтологического инжиниринга и упорядочены по степени их когнитивной эргономичности - от лучшей к худшей. Затем онтологии были упорядочены по значениям каждой метрики. После чего был посчитан коэффициент корреляции Пирсона (ККП) между двумя последовательностями метрик - упорядоченной экспертами и упорядоченной по значению какой-либо метрики. Чем большее значение ККП, тем ближе друг к другу две выборки. Затем, упорядочив метрики по значению ККП, им были присвоены соответствующие коэффициенты - чем больше корреляция по метрике, тем больший вклад она делает в значение интегрального критерия.

Проверка полученной формулы интегрального критерия осуществлялась на контрольной выборке из 5 онтологий. Онтологии также были оценены экспертами и упорядочены. Затем для каждой онтологии из рассматриваемого набора было подсчитано значение интегрального критерия с учетом весов, предложенных ранее. После чего по значениям интегрального критерия онтологии были упорядочены, и был подсчитан ККП между двумя наборами. Полученное значение равно 0,84 и говорит о том, что корреляция является довольно сильной, то есть результаты метода достаточно близки к результатам оценки экспертов.

4. Сравнение онтологий

Предлагаемый метод также может быть применен для сравнения онтологий. Подразумевается, что сравниваемые онтологии имеют одинаковый уровень представления предметной области, то есть семантически эквивалентны, что может быть проверено соответствующими методами оценки, например, Maedche el al., 2002 или Brewster et al., 2004. Чем меньше значение интегрального критерия, тем лучше онтология с точки зрения когнитивной эргономичности. Если же значения интегрального критерия у сравниваемых онтологий близки друг к другу, то эксперт может уже рассматривать отдельные значения метрик и принимать решение исходя из того, какие метрики в данном случае имеют для него больший вес, а какие - меньший.

Заключение

Оценка когнитивной эргономичности онтологий важна в случаях, когда онтология предназначена для обучения или для передачи знаний. При этом существующие на сегодняшний день модели оценки онтологий не позволяли в полной мере произвести их анализ с точки зрения качества и скорости ее восприятия людьми. Предлагаемая модель позволяет восполнить этот пробел.

Большая часть метрик, используемых в ее рамках, может рассчитываться автоматически, что существенно уменьшает нагрузку на эксперта, принимающего решение об итоговой оценке качества онтологии. Для этих целей авторами был разработан инструмент COAT (Cognitive Ontology AssessmenT), принцип работы и структура которого описана в работе Гаврилова и др. 2009.

Предложенная модель также позволяет разработчикам онтологий понимать, улучшается ли их онтология с точки зрения когнитивной эргономики, сравнивая последующие итерации с результатами предыдущих или выбирать лучшую онтологию из набора онтологий, описывающих одну предметную область. Описанные результаты могут эффективно применяться в системах управления знаниями на предприятиях и в образовательном процессе, и помогать специалистам и преподавателям создавать более качественные онтологии.

Благодарности. Работа выполнена при финансовой поддержке РФФИ (проект № 08-07-00062_a).

Список литературы

1.Вертгеймер, 1987 Вертгеймер М. Продуктивное мышление. М.: Прогресс, 1987.

2.Гаврилова и др. 2009 Гаврилова Т.А., Горовой В.А., Болотникова E.C. Оценка когнитивной эргономичности онтологии на основе анализа графа // Искусственный интеллект и принятие решений. 2009. №3.

3.Горовой, 2008 Горовой В.А. Модель классификации методов оценки онтологий // Материалы 2-й международной молодежной конференции «Искусственный интеллект: философия, методология, инновации». Санкт-Петербург, 15-17 ноября 2007.

4.Клещев и др., 2007 Клещев А.С., Шалфеева Е.А. Каталог свойств онтологий. принципы организации каталога: Препринт, 2007. Владивосток: ИАПУ ДВО РАН, 2007.

5.Словарь ОП Общая психология. Словарь / Под. ред. А.В. Петровского // Психологический лексикон. Энциклопедический словарь в шести томах/ Ред.-сост. Л.А.Карпенко. Под общ. ред. А.В. Петровского. - М.: ПЕР СЭ, 2005.

6.Brewster et al, 2004 Brewster C. et al. Data driven ontology evaluation. Proceedings of Int. Conf. on Language Resources and Evaluation, Lisbon, 2004.

7.Gangemi et al., 2005 Gangemi A., Catenacci C., Ciaramita M., Lehmann J. Ontology evaluation and validation. An integrated formal model for the quality diagnostic task. http://www.loa-cnr.it/Files/ OntoEval4OntoDev_Final.pdf

8.Gavrilova et al. 2005 Gavrilova T., Farzan R., Brusilovsky P. One Practical Algorithm of Creating Teaching Ontologies // 12th International Network-Based Education Conference NBE 2005, Rovaniemi, Finland, 2005.

9.Gavrilova et al., 2007 Gavrilova T., Gorovoy V. Technology for ontological engineering lifecycle support. //International Journal "Information Theories & Applications". 2007. Vol.14.

10.Guarino et al., 2002 Guarino N., Welty C., Evaluating ontological decisions with OntoClean. // Comm. of the ACM. 2002. № 45(2).

11.Jonassen, 1998 Jonassen, D.H. Designing constructivist learning environments. In Instructional design models and strategies. Reigeluth, C.M. (Ed), 2nd ed., Lawrence Eribaum, Mahwah, NJ, 1998.

12.Lozano-Tello et al., 2004 Lozano-Tello A., Gomez-Perez A., Ontometric: A method to choose the appropriate ontology. J. Datab. Mgmt., 2004. № 15(2)

13.Maedche et al., 2002 Maedche A., Staab S., Measuring similarity between ontologies. // Proc. CIKM 2002. LNAI vol. 2473.

14.Miller, 1956 Miller G. The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information. // The Psychological Review, 1956. № 63.

15.Porzel et al., 2004 Porzel R. and Malaka R. A Task-based Approach for Ontology Evaluation. // Proc. of ECAI 2004.

16.Spyns, 2005 Spyns P., EvaLexon: Assessing triples mined from texts. // Technical Report 09, STAR Lab, Brussels, Belgium, 2005.

Размещено на Allbest.ru