РАЗРАБОТКА ПРИНЦИПОВ СОЗДАНИЯ ИНФОРМАЦИОННО-ПОИСКОВОЙ ИНТЕРНЕТ-СИСТЕМЫ В ОБЛАСТИ НАУК О ЗЕМЛЕ

2

На правах рукописи

РАЗРАБОТКА ПРИНЦИПОВ СОЗДАНИЯ ИНФОРМАЦИОННО-ПОИСКОВОЙ ИНТЕРНЕТ-СИСТЕМЫ В ОБЛАСТИ НАУК О ЗЕМЛЕ

Специальность: 25.00.35 - Геоинформатика

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Общая характеристика работы

Актуальность темы. Бурное развитие сети Интернет в последние годы в полной мере затронуло науки о Земле, повысило возможности исследователей, нуждающихся в информационных ресурсах для практической и научной работы. Интернет предоставил большим группам специалистов огромные массивы текстовых, графических и мультимедиа-данных. Но при этом обнажилась острая проблема: объем поставляемой в Сеть информации значительно превышает существующие возможности по ее надлежащей обработке.

В силу специфики информации в области наук о Земле, форм ее представления и размещения на веб-ресурсах, существующие инструменты поиска в Интернет не обеспечивают удовлетворение информационных потребностей специалистов с требуемым уровнем качества. Остро необходимы новые поисковые средства и системы, способные обеспечить эффективный поиск информации, требуемой специалистам для практической и научной работы.

Полноценные исследования этого вопроса не производились, а единичные решения носят половинчатый характер. Отсутствует как теория комплексного решения данной задачи, так и практические разработки.

Разработка принципов создания специализированной информационно-поисковой Интернет-системы, учитывающей специфику информации в области геоинформатики, геоинформационных систем (ГИС) и смежных областей, входящим в комплекс наук о Земле, и обеспечивающей эффективный поиск с максимальным покрытием информационных источников по заданной проблематике в сети Интернет и составляет цель диссертационной работы.

Для достижения поставленной цели в работе рассматривается достаточно широкий спектр задач:

1) анализ информации по геоинформационной тематике, размещенной в сети Интернет, и определение набора требований к эффективному поисковому инструменту, обеспечивающему поиск заданной информации;

2) разработка принципов, лежащих в основе создания системы; проектирование архитектуры системы, отвечающей совокупности этих принципов;

3) создание тематического каталога Интернет-ресурсов, освещающих вопросы геоинформатики и смежных областей;

4) создание тематической, автоматически пополняемой коллекции веб-документов (веб-страниц), содержащих релевантную информацию для специалиста в данной предметной области, унификация информации в коллекции, реализация поискового механизма по собранным данным;

5) поиск в сети Интернет файлов геопространственных данных;

6) предоставление пользователю возможности поиска информации в онлайн-библиотеках данных по геоинформационной и смежным тематикам;

7) снабжение специалиста оперативной новостной информацией, при помощи создания тематического новостного интегратора.

Научная новизна полученных результатов заключается в разработке методологической базы создания эффективной поисковой Интернет-системы в области геоинформатики и смежных областей, входящих в комплекс наук о Земле, при условии отсутствия аналогичных комплексных решений.

Практическое значение работы. Архитектурные компоненты системы позволяют предоставить специалисту в области геоинформатики и смежных научных областей средство оперативного доступа к качественной и актуальной информации, необходимой для работы. При этом в случае достижения поисковой системой промышленного уровня полнота и точность поисковых результатов будут выше результатов существующих многоцелевых Интернет-поисковых систем при поиске информации в области наук о Земле.

Практическая значимость диссертации подтверждается актом о внедрении результатов исследования на кафедре информационно-измерительных систем Московского Государственного Университета геодезии и картографии.

Представленные в работе результаты были реализованы в программном исполнении, в виде демонстрационной версии ИПС, расположенной на сервере МИИГАиК по адресу http://www.miigaik.ru/geoinfosearch/.

Основные защищаемые положения:

1) Эффективная поисковая Интернет-система для специалиста в области ГИС-технологий должна осуществлять одновременный поиск по следующим типам данных: интернет-ресурсам и веб-страницам по заданной проблематике, оперативной событийной информации по тематике, файлам геопространственных данных, тематическим онлайн-библиотекам данных, онлайн-картографическим сервисам.

2) Важным свойством системы является анализ геопространственного контекста веб-документов и возможность дополнения текстового поискового запроса пространственными ограничениями.

3) Экспериментальные исследования показали, что поисковые результаты от компонентов системы, реализованных в программных кодах (каталога интернет-ресурсов, тематической коллекции веб-документов, новостного интегратора, модуля поиска геопространственных данных), имеют высокую релевантность и ценность для специалистов в области геоинформатики и ГИС-технологий, что подтверждает выдвинутые теоретические положения.

Апробация работы и публикации. Основные положения и результаты работы докладывались на шестидесятой и шестьдесят первой научно-технических конференциях студентов, аспирантов и молодых ученых
МИИГАиК. По теме диссертации опубликованы 3 научные работы.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 98 наименований, и четырех приложений. Основная часть работы изложена на 144 страницах машинописного текста, содержит 16 рисунков, 35 формул и 22 таблицы.

Основное содержание работы

Во введении обоснована цель, актуальность и практическая значимость работы, определены задачи исследования, описано краткое содержание работы.

В первой главе проведен анализ текущего состояния информационного поиска в сети Интернет в области геоинформатики и ГИС-технологий.

На первом этапе были проанализированы виды и способы представления информации по указанной проблематике на Интернет-ресурсах и установлено, что информационные источники по геоинформационной тематике имеют следующую тематическую структуру:

· материалы по геоинформатике, ГИС-технологиям и смежным областям (материалы по проектам, образованию, стандартизации в области ГИС);

· программное обеспечение ГИС и геопространственные данные;

· базы данных, базы знаний по геоинформационной и смежным тематикам;

· картографические материалы и сервисы.

По типам представления данных информация размещается в виде следующих информационных потоков: описательного потока, событийного и дискуссионного потоков, справочного потока и потока интерактивных ресурсов.

Описательный поток - это традиционная форма представления информации в Интернете: на веб-страницах. Веб-страница всегда характеризуется конкретным URL адресом, по которому можно получить доступ к информации.

Событийный и дискуссионный потоки - это различного характера новости, анонсы конференций, семинаров, а также сообщения дискуссионных досок (форумов). Информация в данном потоке также размещается непосредственно на веб-страницах, но характеризуется очень высокой динамичностью, на порядок превышающей скорость изменений в описательном потоке.

Справочный поток - это различные базы и банки данных, имеющие веб-доступ. Отличаются тем, что содержащаяся в них информация не может быть напрямую считана с веб-страниц, поскольку для ее получения первоначально необходимо сформулировать поисковый запрос.

Интерактивные ресурсы - это особая форма представления информации. Это могут быть интерактивные электронные карты, веб-доступ к ГИС, демоверсии Интернет-приложений, различные Java-апплеты, системы расчетов и т.д.

Информация в области наук о Земле (в текстовом или других форматах) часто является геосоотнесенной, или имеет выраженный геопространственный контекст. Большинство данных содержат частые упоминания топонимов (географических названий), которые могут указать на конкретные регионы, о которых идет речь. Существуют и другие индикаторы контента, по которым возможно локализовать информацию, в том числе, специфичные для сети Интернет. Таким образом, в случае, если на этапе обработки информации выделять геопространственный контекст (создание геопространственного индекса), а на этапе поиска - использовать геопространственные ограничения для поискового запроса, то это позволит существенно повысить качество поиска.

Далее было выяснено, насколько полно существующие поисковые инструменты в сети Интернет позволяют индексировать различные типы информации в области геоинформационной тематики. Рассматривались:

· крупные специализированные порталы по ГИС-тематике;

· каталоги Интернет-ресурсов;

· многоцелевые интернет-поисковые системы.

Анализ показал, что перечисленные средства обладают принципиальными недостатками, которые не позволяют достичь поиска с требуемым уровнем качества, заключающимся в полноте охвата информационных ресурсов, достоверности и актуальности информации. Данные инструменты покрывают только описательный, событийный и дискуссионный потоки. Остальные типы информации не индексируются, поэтому выполнять поиск по ним невозможно.

Тематические порталы, по причине ручного способа пополнения, имеют недостаточный охват Интернет-ресурсов и обычно слабую поисковую функциональность. Каталоги Интернет-ресурсов также формируются вручную и не предоставляют возможности полнотекстового поиска по веб-ресурсам. Интернет-поисковые системы являются универсальными, стремятся покрыть всю информацию, размещенную в Интернет, и по этой причине недостаточно полно индексируют ресурсы, долго переиндексируют изменения. Они не учитывают особенности геоинформации: не выделяют геопространственный контекст веб-страниц, не индексируют файлы геоданных, онлайн-библиотеки, картографические онлайн-сервисы. Это связано и с большой нагрузкой на такие системы, по причине которой их разработчики вынуждены отказаться от сложных методов обработки данных, которые могли бы повысить качество поиска.

В результате было определено, что специализированная поисковая Интернет-система, предназначенная для специалиста в области геоинформатики и смежных областей, должна выполнять следующие функции:

· искать веб-страницы, относящиеся к данной предметной области;

· искать информацию, размещенную в тематических базах данных и библиотеках, снабженных веб-интерфейсом;

· осуществлять поиск и оперативный контроль новостной информации (и другой информации событийного типа);

· находить файлы геопространственных данных;

· содержать информацию о перечне доступных картографических интернет-сервисов, которыми может воспользоваться специалист;

· осуществлять геокодирование веб-документов, на основании анализа геопространственного контекста информации.

При этом достигается цель покрытия максимально полного количества информационных источников в Интернете и контроль качества информации.

Анализ предлагаемых на рынке программных средств не выявил продукта, обеспечивающего комплексное решение поставленных задач. Поэтому было обосновано создание качественно новой информационно-поисковой системы (ИПС) для специалиста, связанного с разработкой и эксплуатацией ГИС.

Во второй главе проведено проектирование архитектуры информационно-поисковой Интернет-системы, отвечающей принципам ее построения, выявленным по итогам анализа предметной области в первой главе.

Архитектура системы нацелена на решение следующих задач:

1) каталогизация известных веб-ресурсов по ГИС-проблематике, обеспечение навигационного способа доступа к информационным источникам;

2) формирование коллекции веб-документов, в которую входят веб-страницы, принадлежащие Интернет-ресурсам каталога, а также другие веб-страницы, относящиеся к предметной области, источник которых системе ранее был неизвестен.

3) определение геопространственного контекста веб-документов, помещаемых в коллекцию.

4) дополнение основного функционала специализированными сервисами: модулем интеграции оперативной новостной информации, модулем поиска файлов геопространственных данных, модулем доступа к электронным онлайн-библиотекам по тематике.

Разработанная архитектура системы изображена на рисунке 1.



Рис. 1. Архитектура информационно-поисковой Интернет-системы

Функции тематического каталога Интернет-ресурсов:

· подборка качественных интернет-ресурсов, посвященных вопросам геоинформатики и смежных областей;

· многоаспектная (фасетная) классификация ресурсов;

· наличие структурированных метаописаний веб-ресурсов, по которым можно осуществлять их поиск и отбор;

· рейтингование ресурсов.

По сути, каталог реализует навигационную парадигму поиска, когда пользователь, следуя рубрикатору, уточняет информационную потребность и ищет ресурс, который предположительно содержит нужную ему информацию.

Центральным компонентом системы является автоматически пополняемая коллекция веб-страниц по геоинформационной тематике. Ее целью является предоставление посетителю системы возможности полнотекстового поиска информации по веб-документам, имеющим отношение к геоинформационной и смежным тематикам. Пополнением коллекции занимаются интеллектуальные сетевые роботы (спайдеры) - специальные программные модули, которые посещают веб-ресурсы и скачивают размещенную на них информацию.

Первый тип спайдеров - «спайдеры каталога» посещают и помещают в коллекцию все веб-страницы с ресурсов, входящих в Интернет-каталог. Тем самым решается задача полнотекстового поиска по известным информационным источникам. Другой тип спайдеров - «поисковые спайдеры» путем последовательного рекурсивного обхода Интернет-адресов “обследуют” остальную, большую часть Сети, находя в ней веб-страницы, релевантные геоинформационной тематике. Таким образом, поисковая система охватывает информацию с ранее неизвестных Интернет-ресурсов (не включенных в каталог), но имеющую ценность для специалистов в рассматриваемых областях. Реализация «поисковых спайдеров» сложнее чем «спайдеров каталога», так как они определяют соответствие информации тематике, и имеют специализированную стратегию обхода Интернет-ресурсов, максимизирующую число релевантных веб-документов, обнаруживаемых в единицу времени.

После скачивания из сети Интернет, веб-страницы классифицируются согласно рубрикатору. Эту задачу решает модуль рубрицирования, который, анализируя текст веб-страницы, определяет рубрики, максимально близкие к ее содержанию. В режиме поиска пользователь может совмещать полнотекстовый поиск по запросу и фильтрацию поисковых результатов по конкретной рубрике.

Модуль анализа геопространственного контекста локализует веб-документ на основании его текста. Для этой цели применяются особые базы данных - электронные газеттиры, которые позволяют соотносить топонимы (географические названия) с областью на базовой карте. Находя в тексте топонимы и используя такой газеттир, модуль пытается определить геопространственный контекст, выражаемый некоторой совокупностью областей на базовой карте, с указанием точных географических координат.

Иными словами, модуль строит геопространственный индекс для коллекции, который дополняет традиционный текстовый индекс. В режиме поиска два индекса используются совместно, и результаты поиска соответствуют как текстовому, так и пространственному запросу.

Указание пространственного запроса может осуществляться как в текстовом виде (отдельная строка для ввода топонимов, как указателей на локализацию поиска), либо на электронной карте.

Модуль поиска файлов геопространственных данных является дополнительным сервисом, имеющим большую важность для ГИС-специалиста. Цель модуля состоит в том, чтобы во время посещения веб-страниц сетевыми роботами, пополняющими коллекцию, осуществлять обнаружение на этих страницах ссылки на файлы геоданных. Найденные файлы скачиваются, помещаются в хранилище системы и становятся доступными для поиска.

Обнаружение геоданных осуществляется по расширению файлов, на которые указывает URL гиперссылки, например http://server.ru/data/map.shp. Модуль производит сравнение с наиболее распространенными типами файлов ГИС: в первую очередь стандартизованных форматов GeoTIFF и ESRI Shapefile, а также с другими распространенными форматами (MapInfo, ArcGIS, ГИС «Панорама» и другими). Вследствие большого размера, файлы геоданных обычно размещают в виде архивов (zip, rar и др.). Этот факт также должен учитываться модулем, так как данные форматы широко распространены в Сети.

Новостной интегратор по геоинформационной тематике предназначен для предоставления специалисту в области ГИС технологий средства оперативного мониторинга и анализа событийного информационного потока. Под новостной информацией здесь понимаются как непосредственно новости, так и анонсы семинаров, конференций, проектов, программного обеспечения, то есть любая информация, обладающая схожими характеристиками.

Высокая степень изменчивости новостной информации требует постоянного контроля изменений информационных источников. Поэтому требуется механизм, который бы постоянно опрашивал зарегистрированные в системе новостные каналы, извлекал обновления и предоставлял их пользователям системы в виде интегрированной тематической новостной ленты.

В настоящее время в Интернете получил широкое распространение RSS-формат обмена анонсами новостной информации, основанный на стандарте XML. RSS - это стандарт на представление анонсов новостей в структурированном виде. Любой новостной источник может реализовать представление своей новостной ленты в формате RSS и, тем самым, позволить сторонним системам удобно работать с данной лентой.

Однако анализ веб-ресурсов по геоинформатике и смежным областям показал крайне малое количество ресурсов, поддерживающих RSS. В связи с этим задачей модуля является сбор новостной информации как из RSS каналов, так и непосредственно с новостных разделов веб-ресурсов (путем прямого чтения кода веб-страницы), ее обработку и представление пользователю.

В виду того, что новость также является веб-документом, она помещается в коллекцию наряду с другими веб-документами, проходя процедуры фильтрации и рубрицирования. После сохранения в коллекции полные тексты новостей становятся доступными для осуществления полнотекстового поиска.

Модуль поиска в онлайн-библиотеках предназначен для поиска в так называемой скрытой части Интернет (hidden web). Особенностью этого типа информации является то, что она не может быть непосредственно считана с веб-страницы, а выдается посетителю только в ответ на заранее сформированный поисковый запрос, с использованием интерфейса такой онлайн-библиотеки. Спайдеры не могут индексировать эту информацию, поскольку для этого требуется некоторым образом опрашивать данную БД.

Но в таких БД часто содержатся огромные массивы информации, важные для предметной области и специалистов. Перспективным является вариант метапоиска, когда поисковый запрос пользователя унифицируется и направляется на несколько таких онлайн-библиотек, а поисковые результаты от каждой из них объединяются и представляются пользователю единым списком.

Взаимодействие пользователя с информационно-поисковой системой осуществляется при помощи интегрированного поискового интерфейса. Сформулировав свою информационную потребность, пользователь запускает механизм поиска по всем типам данных: Интернет-каталогу, коллекции веб-документов, файлам геоданных, новостной информации. Такая портальная организация работы с системой позволяет одновременно познакомиться с различной информацией, отвечающей информационной потребности, не проводя несколько итераций поиска по разным типам данных.

Третья глава посвящена проектированию моделей и алгоритмов реализации компонентов специализированной информационно-поисковой системы.

В проектировании Интернет-каталога первоначально требовалось определить структуру рубрикатора информации. Для этого были проанализированы рубрикаторы крупных порталов по геоинформационной и смежным тематикам, а также анализ информационного поля, проведенный в главе 1. Каждый ресурс в каталоге может относиться к нескольким рубрикам.

Рубрики верхнего уровня выглядят следующим образом:

· ГИС · Геодезия · Землеустройство · Картография	· GPS · Образование и наука · Организации/власти/комитеты · Власть/комитеты

Была разработана карточка метаописания ресурса, в соответствии с требованиями стандарта на описание информационных источников - Dublin Core Metadata Set (DC). Основные поля метаописания: URL, наименование, аннотация, создатели/владельцы, доступ, авторские права, язык, доступность.

Разработаны процедуры регистрации ресурсов в каталоге: составление заявки на регистрацию, рассмотрение заявок администратором каталога, принятие решения по заявке. Для принятия решения по включению конкретного ресурса в каталог администратор оценивает качество ресурса, заключающегося в удовлетворении ряду требований качественного, количественного характера, эргономичности ресурса, подробно перечисленных в тексте диссертации.

Была произведена разработка интерфейса каталога, дающего возможность выполнения всех операций при работе с каталогом, как пользователям каталога, так и его администраторам.

Для рейтингования ресурсов в каталоге используется анализ их посещаемости, для чего на каждый веб-сайт предполагается устанавливать специальный html-код (счётчик). Рейтингование помогает пользователям в оценке авторитетности ресурса и, соответственно, качества получаемой информации.

Разработка коллекции веб-документов составила основу проектирования системы. Принципиальным вопросом явилась разработка модуля пополнения коллекции веб-страницами по указанной тематике, размещенными в Интернет.

Модуль пополнения должен обеспечивать:

· фильтрацию веб-страниц, нерелевантных предметной области, с целью формирования коллекции только из “полезных” страниц;

· сфокусированный обход Интернет-ресурсов, направленный на посещение в единицу времени максимального количества полезных страниц, поскольку, вследствие огромного размера Интернет, посещение всех веб-страниц не представляется возможным.

Для сканирования сети Интернет применяются специальные сетевые роботы (спайдеры). Это программы, которые путем рекурсивного обхода веб-ресурсов по гиперссылкам считывают содержимое веб-страниц, очищают их от разметки, выделяют чистый текст, гиперссылки на странице и сохраняют информацию в некую БД. Важный атрибут спайдера - это применяемая стратегия обхода, то есть критерий выбора следующего ресурса для посещения из множества уже обнаруженных роботом, но еще не посещенных ресурсов.

Критерий выбора определяется задачей робота. В нашем случае требуется спайдер, имеющий целью сбор в первую очередь тех страниц, которые относятся к геоинформационной тематике. Следовательно, ранжирование ссылок в очереди спайдера должно опираться на оценку потенциальной релевантности конкретного URL адреса для системы.

Перед поисковыми роботами стояли две задачи:

· индексирование веб-ресурсов каталога (известных системе ресурсов);

· индексирование веб-страниц на ресурсах вне каталога (неизвестных).

Первую задачу в модуле пополнения коллекции решает спайдер каталога, а вторую - поисковые спайдеры. Спайдер каталога, в качестве стартовых адресов, принимает адреса главных страниц веб-ресурсов из Интернет-каталога.

Спайдер каталога использует простейшую стратегию обхода «в глубину», ссылки посещаются в том порядке, в каком они были обнаружены на веб-страницах. Поскольку данные ресурсы считаются априорно релевантными, то и веб-страницы, принадлежащие им, также считаются “полезными” для системы. Таким образом, спайдер каталога не выполняет фильтрацию страниц и управление очередью, что повышает его производительность. Это позволяет чаще переиндексировать каталог и поддерживать актуальность индекса.

Поисковые спайдеры запускаются от каждой рубрики каталога, имеют задачу сбора веб-страниц, относящихся к своей рубрике, и в качестве стартовых URL принимают все внешние ссылки, найденные спайдерами каталога для веб-ресурсов из этой рубрики. Поисковый спайдер имеет специализированную стратегию обхода, основанную на том, что каждый URL в очереди непосещенных ссылок принимает оценку, заключающуюся в его потенциальной полезности для рубрики, в рамках которой работает робот. Оценки постоянно пересчитываются под влиянием новых документов, посещаемых спайдером, а очередь ранжируется в порядке убывания оценок. То есть, спайдер в первую очередь посещает страницы с максимальной оценкой релевантности для рубрики.

Рис. 2. Архитектура поискового сетевого робота (спайдера)

Поисковый спайдер выполняет грубую фильтрацию веб-документов, поскольку применение сложных фильтров существенно снизит производительность робота и всего модуля в целом. Окончательная фильтрация веб-страниц осуществляется рубрикатором на входе в коллекцию, а оценка робота рассматривается как рекомендация.

Оценка релевантности страницы основана на вычислении расстояний в рамках векторной модели информационного поиска. Робот получает тематический фильтр, а каждая посещаемая им веб-страница представляется профайлом. Тематический фильтр представляет собой вектор пар (t, Wt): термов t и их значимости в рамках рубрики, от которой запускается спайдер Wt. Профайл также представляется вектором пар (t, Ft,p): термов t и частот их использования на странице Ft,p. Оценка релевантности рассматриваемой веб-страницы к заданной рубрике определяется по формуле . Документ считается релевантным, если оценка превышает порог рекомендации L, т.е. .

Фильтр, которым обладает спайдер, может уточняться под влиянием более точных оценок, которые формирует рубрикатор на входе в коллекцию. Для этого применяется механизм обратной связи между коллекцией и спайдером.

Cтратегия обхода поискового спайдера основана на оценке потенциальной релеватности URL из очереди непосещенных ссылок, по отношению рубрике. Оценка базируется на особенностях ссылочной связи в сети Интернет.

· Механизм ссылочной связи ресурсов содержит тематическую связь. Если есть ссылка со страницы А на страницу В, то значит автор А рекомендует В на основании ее тематической близости и авторитетности;

· Если страница А имеет ссылку на страницы В и С, то тематика страниц В и С имеют тенденцию быть схожей, причем их схожесть обратно пропорциональна близости размещенных на них ссылок на странице А.

Таким образом, оценка URL зависит от релевантности страниц, имеющих с этим URL ссылочную связь. Очередь непосещенных ссылок постоянно модифицируется под влиянием информации, которую получает робот из новой посещенной веб-страницы. Модификация заключается в добавлении в очередь новых, ранее неизвестных роботу URL, а также пересчете оценок полезности других URL в очереди, имеющих связь с текущей страницей.

Рис. 3. Рубрикация на входе в коллекцию

Финальной частью проектирования коллекции явилась разработка модуля автоматической рубрикации веб-страниц. Для каждого попадающего в коллекцию веб-документа модуль определяет набор близких к его тематике рубрик. Рубрикация совмещена с фильтрацией. Документ, не отнесенный ни к одной рубрике, считается нерелевантным и в коллекцию не включается.

Был проведен анализ существующих методов машинной классификации текстов, и было принято решение об использовании вероятностного метода PrTFIDF, являющегося совершенствованием наивного байесовского классификатора. Байесовские классификаторы отличаются очень высокой производительностью, что дает возможность классифицировать поступающие в систему потоки документов “на лету”. PrTFIDF обеспечивает приемлемые результаты по точности, хотя и уступает ряду других, более сложных методов, требующих значительных вычислительных затрат. Также учитывалась необходимость фильтрации информации, что не позволяет использовать некоторые методы.

Суть метода заключается в предсказании апостериорной вероятности принадлежности конкретного документа (представляемого в виде вектора признаков - термов), на основании априорных вероятностей принадлежности документа к рубрикам и статистики термов, характерных для конкретной рубрики. Для определения апостериорной вероятности применяется формула Байеса. В алгоритме PrTFIDF применяются несколько отличные от метода Байеса способы аппроксимации вероятностей отношения документов к рубрикам:

.

где TF(w,d) - частота вхождения слова w в документ d,

|d| - общее количество слов в документе.

Вероятности рассчитываются отдельно для каждой категории, и принимается решение, принадлежит документ категории или нет (бинарная классификация). При этом множество рубрик С сокращается до двух - и , в которую входят все документы, не вошедшие в .Для вычисления вероятностей используется процесс обучения, во время которого анализируются заранее классифицированные документы и происходит вычисление априорных вероятностей, связанных со значимостью термов. Обучение представляет собой вычисление всех возможных на основе обучающей выборки документов.

В разработке модуля геопространственных данных ключевое значение имело решение вопроса распознавания файлов геоданных, размещенных в виде архивов. Для этого обнаружитель геоданных проверяет текстовую составляющую гиперссылки (текст якоря и текст “вблизи” ссылки). Если в ней встречаются слова: «карта», «снимок», «масштаб», «местности», указание формата геоданных, цифровое обозначение масштаба и ряд других индикаторов, то ссылка считается кандидатом в геоданные, а файл сохраняется на сервер.

Далее происходит разархивирование и определение формата файла(ов) в архиве. Если геоданных в архиве не обнаружено, карточка файла удаляется из системы. “Положительные” карточки сохраняются в системе и становятся доступными для поиска по аннотационной составляющей. Файлы геоданных скачиваются с удаленных серверов в специальную директорию системы. Дополнительно модуль содержит функционал обнаружения копий файлов геоданных, чтобы избежать их сохранения в системе в разных карточках.

Псевдокод алгоритма работы модуля выглядит следующим образом:

Алгоритм обнаружителя геоданных (в составе сетевых роботов) FOR по каждой гиперссылке, обнаруженной на веб-странице:

a. Ссылка указывает на файл геоданных? (по расширению файла);

GOTO (c);

b. Ссылка указывает на файл-архив (zip, rar)?

1. Получить текст якоря ссылки, текст ALT, текст абзаца, в котором расположена ссылка;

2. В указанных текстах обнаружены слова-индикаторы?

GOTO (с);

c. Создать карточку файла геоданных в БД.

Алгоритм загрузчика геоданных (отдельный модуль, работающий по расписанию)

FOR по каждой новой карточке, обнаруженной в БД;

a. Скачать файл, по ссылке указанный в карточке;

b. Карточка-кандидат (архивный файл)?

1. Распаковать архив;

2. Архив содержит файлы геоданных? (по расширению)

GOTO (c);

c. Такой файл уже есть в хранилище? (проверка на копию)

Удалить файл и карточку из БД; CONTINUE;

d. поместить файл(ы), связанный(е) с карточкой в хранилище;

e. включить в карточку информацию о файле;

f. проиндексировать текстовую составляющую карточки.

Разработка методик анализа геопространственного контекста информации и геокодирования веб-документов осталась за рамками диссертационного исследования, как по причине ограниченности времени, так и по причине сложности реализации методик. Как уже отмечалось, для проведения геокодирования нужны специальные базы данных: электронные газеттиры. Но в настоящее время отсутствует сколь либо полный электронный русскоязычный газеттир, хотя на Западе подобные БД существуют, причем некоторые из них - в открытом доступе. Во многом по этой причине в российской науке направление GIR (Geographic Information Retrieval) на сегодняшний день развито крайне недостаточно. Проблемы геокодирования подробно рассмотрены автором в работе [1] и являются предметом дальнейших комплексных исследований.

Следующим этапом явилась разработка новостного интегратора. Предложен механизм шаблонов, позволяющий выполнять сбор анонсов новостной информации как из RSS каналов, так и непосредственно путем чтения кода веб-страниц новостных разделов. В системе регистрируется набор новостных каналов, имеющих отношение к геоинформационной тематике, на каждый канал настраивается шаблон, определяющий формат представления данных в канале.

Пример шаблона выглядит следующим образом:

<channel>

<channel_url>http://www.gisa.ru/</channel_url>

<begin><?php &nbsp;&nbsp;Последние новости!<\/td>?></begin>

<end><?php &nbsp;&nbsp;&nbsp;&nbsp;Наши предложения <\/td>?></end>

<regexp><?php <A href=(.*?)><B>.*?<\/B> (.*?)<\/A><BR>?></regexp>

<number>10</number>

<order><?php url title?></order>

<addurl>http://www.gisa.ru/</addurl>

</channel>.

В данном примере шаблон настроен на получение новостей непосредственно с веб-страниц и содержит html-маски, отражающие начало и завершение новостного блока, а также непосредственно маску регулярного выражения, по которому будет производиться преобразование информации в структурированный вид. По аналогии, можно настроить подобный шаблон практически на любую веб-страницу с новостной лентой, или любой RSS канал, поскольку новостные ленты в обоих случаях характеризуются повторяемостью элементов.

Псевдокод алгоритма работы модуля выглядит следующим образом:

FOR по каждому зарегистрированному в системе новостному каналу:

a. Обратиться по адресу в <channel_url>;

b. Получить фрагмент кода веб-страницы между <begin> и <end>;

c. Осуществить парсинг фрагмента на основе регулярного выражения, построенного на выражении в <regexp>. Получить <number> элементов. Сохранить значения, соответствующие маске (.*?) в массив;

d. Связать значения массива (в порядке обнаружения) с типом данных, указанным в <order>;

e. Подсчитать md5sum для текста заголовка и анонса;

f. Новость с таким значением уже имеется? CONTINUE;

ELSE Сохранить анонс новости в таблицу анонсов;

g. Обратиться по URL с полным текстом новости, считать веб страницу и передать в коллекцию.

Распознанные анонсы новостей сохраняются в виде агрегированной новостной ленты, с которой могут работать пользователи системы. Для получения полных текстов новостей специальный новостной спайдер посещает веб-страницу с текстом новости, скачивает ее и помещает в веб-коллекцию, как обычный веб-документ, но с отметкой «новость». Такие веб-документы специалист может искать в специальном модуле системы - поиску по новостям.

Создание новостного интегратора обычно сопряжено с проблемами повторения новостей в различных новостных каналах. Для решения используют методики выделения новостных сюжетов (кластеризации новостей), аннотирования сюжетов, ранжирование новостей в сюжете. Но в виду узости геоинформационной тематики и сравнительно небольшого количества доступных новостных источников, проблема не является острой и поэтому не рассматривалась в ходе проектирования.

Разработка модуля поиска в онлайн-библиотеках не проводилась в данном диссертационном исследовании, в виду особой сложности решения задачи и ограниченности времени на проектирование. Исследования по индексированию «скрытого веб» продолжаются в настоящее время, и ученые сталкиваются со значительными трудностями в реализации.

В диссертационной работе принято решение ограничиться созданием специального раздела, в котором будут содержаться ссылки на такие онлайн-библиотеки вместе с описательной информацией. В случае необходимости, посетитель просто перейдет к нужной БД и осуществит поиск.

В четвертой главе представлены результаты экспериментальных исследований компонентов информационно-поисковой системы.

Для проведения экспериментов была осуществлена реализация ИПС в программных кодах. Аппаратной частью являлся сервер на базе ПК P4 3200МГЦ/1024Мб ОЗУ, с доступом в Интернет. В качестве программной платформы были выбраны: операционная система Linux Red Hat, веб-сервер Apache 1.3, СУБД MySQL и язык веб-программирования PHP. Отношение программного обеспечения к классу OpenSource позволяет снизить затраты на практическую реализацию системы.

Рис. 4. Поисковый интерфейс системы

Проведенные эксперименты показали соответствие полученных практических результатов разработанным моделям и алгоритмам модулей системы:

1. Функционал Интернет-каталога отвечал всем предъявляемым требованиям, позволяя эффективно использовать каталог и управлять им.

Оценка рейтинга ресурса путем анализа посещаемости также показала корректность получаемых данных для тестовых ресурсов, в сравнении с показаниями других внутренних и внешних систем статистики.

2. Целью эксперимента с модулем поиска геоданных явилось выявление на веб-страницах, собранных в коллекцию, ссылок на файлы геоданных. Модуль анализа успешно смог выделить геоданные с реальных Интернет-страниц: как размещенных в обычном виде, так и в виде архивов.

3. Эксперименты с новостным интегратором подтвердили работоспособность шаблонов новостных каналов, механизмов формирования новостной ленты, выделения новостей-дублей, скачивания полных текстов новостей.

4. Наиболее важным экспериментом системы являлось исследование качества фильтрации и классификации веб-документов.

Классификатор был обучен на наборе из 8020 заранее классифицированных веб-страниц. Классификации подверглась выборка из 5687 веб-страниц. Проверка результатов рубрицирования показала, что средняя ошибка по рубрикам составила порядка 22%, и было доказано, что точность классификации линейно возрастает с увеличением обучающей выборки. Таким образом, была установлена работоспособность метода для классификации, при условии его обучения на достаточном количестве документов.

5. Была произведена сравнительная оценка релевантности поисковых результатов, в сравнении с результатами поисковой системы Яндекс. Для эксперимента были подготовлены 25 тестовых запросов по тематике использования GPS в ГИС, и анализировались ответы поисковых систем (первые 10 результатов). Использовалась 4х ступенчатая градация оценки поисковых результатов (от 0 до 4) по степени релевантности запросу.

Использовались следующие критерии оценки: средняя точность результатов (Average Precision - AP) и обесцениваемая совокупная выгода (Discounted Cumulative Gain - DCG) от поисковых результатов. Данные оценки являются достаточно распространенными критериями оценки качества результатов информационного поиска. AP отражает долю релевантной информации по конкретной тематике (рубрике) в списке результатов, а DCG - насколько хорошие результаты вернула система (согласно 4м уровням оценки качества), и насколько качественно было проведено их ранжирование.

Для разработанной системы анализировались два варианта поиска: с ограничением поиска по конкретной рубрике (GPS), и без ограничения.

Несмотря на то, что наиболее высокие результаты были показаны системой Яндекс (AP = 0,38, DCG=0,59), качество поиска в разработанной системе было близким (AP=0,33, DCG=0,51). Полученная оценка обусловлена тем, что система работала в тестовом режиме, и в коллекцию было собрано сравнительно малое количество веб-документов (13236), что несопоставимо с размерами индекса крупной поисковой системы. Также было отмечено, что фильтрация результатов поиска конкретной рубрикой положительно влияет на качество поиска (AP=0,35, DCG=0,55), что доказывает верность теоретических предпосылок применения в системе автоматического рубрикатора.

В заключении подведены итоги проделанной работы, сформулированы основные результаты и направления дальнейших исследований.

Список опубликованных работ по теме диссертации

1. Рябинков А.И. Повышение эффективности поиска в сети Интернет путем анализа геопространственного контекста веб-страниц // Информационные технологии. - Москва, 2005. №11, стр. 11.

2. Рябинков А.И. Принципы создания специализированного информационно-поискового портала в сети Интернет в области геоинформатики и ГИС-технологий // Сборник трудов 61й научно-технической конференции МИИГАиК. - Москва, 2006, стр. 71 - 80.

3. Рябинков А.И. Принципы создания специализированного сервиса для поиска геопространственных данных в сети Интернет // «Известия высших учебных заведений. Геодезия и аэрофотосъемка», Москва, 2006. №6, стр. 177 - 187.