Методи та моделі семантичного анотування текстових документів з використанням штучних нейронних мереж

Во втором разделе получила дальнейшее развитие модель семантического аннотирования на основе бинарных выходов искусственной нейронной сети, которая отличается от моделей описания семантических аннотаций на основе RDF-структур использованием информации с выходов искусственной нейронной сети, что позволило учитывать ее при формировании семантических аннотаций текстовых документов.

Впервые предложена иерархическая радиально-базисная нейронная сеть с многослойной архитектурой, которая в каждом узле использует радиально-базисную нейронную сеть сниженной размерности, что позволяет сократить количество признаков, которые поступают на вход каждого слоя при ограниченной обучающей выборке для формирования семантических аннотаций текстовых документов. Метод семантического аннотирования на основе данной искусственной нейронной сети позволяет решить проблему извлечения знаний из текстовых источников с учетом максимального числа релевантных признаков для построения семантических аннотаций текстовых документов узкоспециализированной предметной области, предусматривает возможность обработки информации по мере ее поступления в последовательном режиме, характеризуется простотой реализации.

В третьем разделе впервые предложена вероятностная модель семантического аннотирования на основе моделей описания семантических аннотаций RDF-структур и вероятностных нейронных сетей специального вида, которая позволяет формировать метаданные текстовых документов с учетом вероятностей принадлежности текстового объекта к текущему концепту онтологии предметной области. Таким образом, проводится оценка вероятности принадлежности текстовых данных относительно текущей онтологии и формируется включение этих знаний в машинно-понятное описание.

Впервые предложены вероятностные нейронные сети специального вида, а именно: модифицированная и конкурентная, представляющие собой гибриды стандартной вероятностной и обобщенной регрессионной нейронных сетей, а также самоорганизующихся карт Кохонена. Разработанные специализированные искусственные нейронные сети позволяют определить вероятности принадлежности входного текстового объекта к каждому из возможных классов онтологии предметной области. Для автоматической настройки значения ширины активационной функции введены латеральные связи между группами классов в слое образов. Таким образом, становится возможным определить более точные значения вероятностей принадлежности входящего текстового объекта к каждому из потенциально возможных классов онтологии предметной области. Методы семантического аннотирования на основе предложенных вероятностных нейронных сетей позволяют обрабатывать текстовые документы в последовательном режиме по мере их поступления, а также обеспечивают простоту реализации и высокую скорость обработки информации.

Проведено экспериментальное моделирование по решению ряда практических задач, на основе которых показана эффективность использования предложенных моделей и методов семантического аннотирования текстовых документов, которые являются средством представления текстовой информации в машинно-понятном виде, а также основой для разработки и внедрения средств принятия решений. Они могут быть использованы не только в задаче семантического аннотирования текстовых документов, но и в других областях, где могут быть применены методы интеллектуального анализа данных.

Ключевые слова: семантическая аннотация, искусственные нейронные сети, методы обучения, вероятность принадлежности, многослойная архитектура.

ABSTRACT

Shubkina O.V. Semantic annotation of text documents' methods and models using artificial neural networks. - Manuscript.

The thesis for the candidate degree in technical sciences on the specialty 05.13.23 - systems and tools of artificial intelligence. - Kharkiv National University of Radio Electronics, Kharkiv, 2011.

The thesis is devoted to developing methods and models for semantic annotation of text documents using artificial neural networks.

The problem of semantic annotation for text documents, the main methods of text processing to form the semantic annotations, the main advantages and disadvantages of these approaches are investigated. Hierarchical radial-basis function neural network with a multilayered architecture, which uses the same type of each node in the radial basic function neural network, thus reducing the number of attributes that to the input of each layer with a limited training set to generate semantic annotation of text documents is developed.

Probabilistic neural networks, a special form, namely, modified and competition, are developed as a hybrid of the standard probabilistic and generalized regression neural networks, as well as self-organizing Kohonen maps. It can determine the probability of belonging for the input text object to each of the possible classes of the domain ontology, handle text documents in sequential mode, as they become available, and provide easy of implementation and speed of information processing. Binary and probabilistic semantic annotation models used information from the text processing by artificial neural networks are developed.

Experiments of range of real-world problems solving are carried out. Effectiveness of the proposed semantic annotation models and methods application is shown on their basis.

Key words: semantic annotation, artificial neural networks, learning methods, the probability belonging, multilayered architecture.

Размещено на Allbest.ru