Разработка технологии целенаправленного поиска информативных ресурсов

Размещено на http://www.allbest.ru/

Министерство образования и науки Российской Федерации

Государственное образовательное учреждение

высшего профессионального образования

Московский Энергетический Институт

(технический университет)

Кафедра Вычислительные Машины, Системы и Сети

Курсовой проект

по дисциплине“Сети ЭВМ”

Тема: «Разработка технологии целенаправленного поиска

информативных ресурсов»

Выполнил: Пашинцев А.В.

группа А-07-08

Руководитель проекта: Дзегеленок И.И.

Москва, 2012

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

1. ОПИСАНИЕ ИНСТРУМЕНТОВ РАЗРАБОТКИ

1.1 Выбор языка программирования

1.2 Выбор системы управления базами данных

1.3 Выбор фреймворка

1.4 Описаниесистемы Google Custom Search

1.5 Описаниеструктуры поисковых запросов

2. РАЗРАБОТКА ПРОГРАММНОЙ ЧАСТИ

2.1 Разработка алгоритма поиска информативных ресурсов

2.2 Разработка алгоритма фильтрации информации

2.3 Программная реализация алгоритмов

ЗАКЛЮЧЕНИЕ

Список использованной литературы

Приложения

• ВВЕДЕНИЕ
• Целью курсового проекта является приобретение навыков разработки программного обеспечения на примере проектированияпрограммного комплекса, занимающегося извлечением информации из неструктурированных источников(в частности - из сети Internet). Техническое задание на проект приведено в Приложении А.
• Проектируемый программный комплекс позволяет пользователю задавать поисковые запросы для сети Internetи получить на них ответ в виде набора текстов той тематики, по которой был задан запрос. Соответственно, в программном комплексе предусмотрены средства для задания искомых параметров (тематика запроса и его дополнительные параметры) и форма, в которой результат может быть выведен пользователю.
• Программные средства, разработанные в курсовом проекте, реализуются с учетом возможности интеграции в существующую поисковую систему Google.
• Курсовой проект состоит из двух частей: описание инструментов разработки (описание системы GoogleCustomSearch,структуры запросов, языков программирования и т.д.) и разработка алгоритмов и программных модулей.
• 1. ОПИСАНИЕ ИНСТРУМЕНТОВ РАЗРАБОТКИ

1.1 Выбор языка программирования

Для разработки библиотеки функций выбран язык программирования PHP (HypertextPreprocessor)5ой версии. PHP-- скриптовый язык программирования общего назначения, интенсивно применяющийся для разработки веб-приложений.

В настоящее время поддерживается подавляющим большинством хостинг-провайдеров и является одним из лидеров среди языков программирования, применяющихся для создания динамических веб-сайтов.Так как поиск будет проводиться в сети Internet, разумно использовать средства, оптимизированные под работу с ней.

Язык программирования PHP является одним из популярнейших скриптовых языков (наряду с JSP, Perl и языками, используемыми в ASP.NET).

Основными преимуществами PHP являются:

· простота

· скорость выполнения

· богатая функциональность

· кроссплатформенность

· большой набор встроенных средств для разработки

Для более эффективногосозданияприложений и веб-сайтов существует множество программных фреймворков, в которыевключены вспомогательные программы, библиотеки кода, языки сценариев, облегчающие разработку и объединение разных компонентов большого программного проекта.

Для создания самого веб-приложения будем использовать фреймворкCodeIgniter, также написанный на PHP.

1.2 Выбор системы управления базами данных

Для оперирования информацией в фреймворкеCodeIgniter используется MySQL. MySQL -- свободнаясистема управления базами данных (СУБД).

MySQL является решением для малых и средних приложений. Входит вкомплекс серверного программного обеспечения LAMP, широко используемый во Всемирной паутине. Обычно MySQL используется в качестве сервера, к которому обращаются локальные или удалённые клиенты, однако в дистрибутив входит библиотека внутреннего сервера, позволяющая включать MySQL в автономные программы.

Гибкость СУБД MySQL обеспечивается поддержкой большого количества типов таблиц: пользователи могут выбрать как таблицы типа MyISAM, поддерживающие полнотекстовый поиск, так и таблицы InnoDB, поддерживающие транзакции на уровне отдельных записей. Более того, СУБД MySQL поставляется со специальным типом таблиц EXAMPLE, демонстрирующим принципы создания новых типов таблиц. Благодаря открытой архитектуре и GPL-лицензированию, в СУБД MySQL постоянно появляются новые типы таблиц.

К конкурентам MySQL, помимо прочих, относятся PostgreSQL, Microsoft SQL Server и Oracle.

Преимуществами СУБДMySQL являются следующие параметры:

· Производительность

· Свободное распространение

· Простота использования

· Кроссплатформенность

· Открытые исходные коды

1.3 Выбор фреймворка

Программный комплекс создаётся с помощью фреймворкаCodeIgniter. Фреймворк-- компьютерная программа или система, используемая для обеспечения и организации удобного программирования проектов разного рода за счёт использования заранее написанных библиотек функций, классов, а также это - предлагаемая разработчиками фреймворка система организации написанных программистом классов и методов. В данном случае фреймворк был использован для ускорения разработки в связи с отсутствием необходимости писать стандартные процедуры заново.

Фреймворк состоит из набора библиотек функций. Библиотеки функций, включенные в состав фреймворкаCodeIgniter, рассматриваются ниже.

Библиотека функций верстки

Библиотека версткивключает в себя функции выполняющие вывод HTML тэгов. Так как HTML является теговым языком разметки, то программное генерирование HTML кода вызывает сложности у программистов. Таким образом, чтобы стереть грань между программистами и верстальщиками, для упрощения процесса производства сайтов, были разработаны функции переопределяющие вывод HTML тэгов. Функциональное программирование на языке PHP позволяет решить эту задачу.

Функции для работы с базой данных.

Для выборки, хранения и изменения информации для сайтов используются системы управления базами данных. Так как сейчас много различных видов СУБД, то для обеспечения легкого перехода между ними используются функции-прокладки между функциями конкретной СУБД и программистом. Таким образом, способность поддерживания альтернативной СУБД добавляется дополнением фреймворка набором функций-прокладок, без изменения программного кода конкретного проекта.

этап разработки компьютерной программы, на котором обнаруживают, локализуют и устраняют ошибки. Чтобы понять, где возникла ошибка, приходится:узнавать текущие значения переменныхи выяснять, по какому пути выполнялась программа.Количество ошибок в программах заранее неизвестно, поэтому заранее неизвестна продолжительность отладки. Для сокращения времени отладки разработана библиотека функций отладки, которые предоставляют дополнительные инструменты отладки веб-приложений, написанных с использованием фреймворкаCodeIgniter.

1.4 ОписаниесистемыGoogle Custom Search

GoogleCustomSearch (или CustomSearchEngine; CSEздесь и далее) -программная надстройка над поисковой системой Google, позволяющая с большей степенью свободы настраивать параметры поисковых запросов к этой системе. Её работа основана на создании контекста поиска, уникального для каждого запроса (или единого для многих запросов). CSEимеет два различных формата общения с ней. Первый - через панель управления, доступную любому пользователю, зарегистрированному на google.com. Второй - через CustomSearchAPI, т.е. с помощью обращения к функциям и сервисам этой системы с помощью программных средств, минуя панель управления. В курсовой работе используется второй вариант работы с системой, т.к. стандартных элементов интерфейса CSEне хватает для достижения поставленных целей.

Общение с CustomSearchAPIпредставляет собой обмен обычными http-запросами (http-hypertexttransferprotocol, протокол передачи гипертекста, стандартный язык разметки для страниц сети Internet), соответствующий некоторым правилам.

1. Для общения используются XML-пакеты (XML - eXtensibleMarkupLanguage, расширяемый язык разметки). Структура XML-пакетов описана ниже;

2. Каждое сообщение должно иметь в себе раздел Authorization (авторизации), который будет содержать в себе ключ аутентификации (о том, как его получить, написано ниже);

3. Сервер отвечает на посланные запросы стандартными кодами статуса HTTP (т.е. ответ «200» означает успешное прохождение запроса, а ответ «400» - неудачу запроса).

Для работы с CSEнеобходимо выполнить несколько предварительных этапов.

Первый этап - заведение аккаунта в системе Google. Сделать это можно на сайте google.com. Все сервисы Googleтак или иначе используют данные вашего аккаунта и требуют авторизации для использования расширенных возможностей.

Второй этап - создание контекста поиска (или поисковой машины, если пользоваться терминами CSE). Контекст поиска представляет собой XML-документ, содержащий в себе разделы, описанные в Таблице 1.

алгоритм поиск фильтрация программирование

Таблица 1

Описание разделов контекста поиска

Название раздела	Описание раздела
CustomSearchEngine	Обязательный раздел. Содержит в себе основную информацию о поисковой машине и является корнем XML-структуры. Атрибуты этого раздела: keywords - ключевые слова, ассоциируемые с контекстом поиска; language-язык интерфейса (не выдачи страниц; изменяются только интерфейсные элементы); visible-доступность поисковой машины для сторонних сервисов Google (если к поисковой машине происходят частые обращения, она становится популярной по меркам Googleи начинает возникать в некоторых их сервисах); encoding-кодировка выдаваемых результатов;и некоторые другие.
Title	Название поисковой машины.
Description	Описание поисковой машины.
Context	Информация о сайтах, по которым производится поиск, а также о сайтах, которые необходимо исключить из результатов поиска.
LookAndFeel	Флаг, указывающий, будет ли появляться стандартная реклама Googleв выдаче.
ImageSearchSettings	Флаг, указывающий, необходимо ли искать изображения по заданному запросу.



Большая часть разделов содержит информацию, необходимую для заполнения интерфейсных элементов CSE, использование которых в программе не предусмотрено. Однако механизм CSEтребует наличия этих элементов, и они должны быть предусмотрены в программном комплексе.

Пример XML-файла с описанием контекста поиска:

<CustomSearchEngine

keywords="climate &quot;globalwarming&quot; &quot;greenhousegases&quot;"

language="en"

visible="false"

encoding="UTF-8">

<Title>RealClimate</Title>

<Description>Science behind global warming and climate change.</Description>

<Context>

<BackgroundLabels>

<Label name="_cse_hwbuiarvsbo" mode="FILTER"/>

<Label name="_cse_exclude_hwbuiarvsbo" mode="ELIMINATE"/> </BackgroundLabels>

</Context> <LookAndFeel nonprofit="false"/>

<ImageSearchSettings enable="true" layout="1" />

</CustomSearchEngine>

Чтобы не заполнять каждый раз заново эти параметры, в программном комплексе предусмотрено сохранение контекстов поиска в базе данных. Описание полей таблицы SearchContextбазы данных программного комплекса приведено в Таблице 2.

Таблица 2

Описание полей таблицы SearchContext

Название раздела	Описание раздела
Id	Числовой атрибут; уникальный номер поисковой машины внутри системы.
CustomSearchEngine	Строковый атрибут, содержит атрибуты поля CustomSearchEngine.
Title	Строковый атрибут, содержит раздел Title.
Description	Строковый атрибут, содержит раздел Description.
Search	Строковый атрибут, содержит разрешённые сайты из раздела Context.
NoSearch	Строковый атрибут, содержит запрещённые сайты из раздела Context.

По правилам работы с CSE, если пользователь не принадлежит к зарегистрированной в Googleорганизации, гарантированно использующей CSEв некоммерческих целях, то реклама выдаётся всегда. В программном продукте предусмотрены средства для её эффективного отсечения.

Поиск изображений выходит за рамки тематики курсовой работы и не предусмотрен, поэтому этот элемент поискового контекста всегда будет равен false (что означает отсутствие поиска картинок по запросу).

Третий этап - создание файла аннотаций. Файл аннотаций - документ в формате XML, содержащий информацию о сайтах, предназначенных к выдаче в запросе. В разделе Contextфайла с параметрами контекста поиска мы задаём названия меток, в файле аннотаций мы определяем, что с данными метками делать. В программном комплексе названия меток строятся по следующей схеме: «_cse_<номер поискового контекста>_vanda» для добавления сайта в запрос и «_cse_exclude_<номер поискового контекста>_vanda»для исключения сайта из выдачи.Первая часть названий регламентирована правилами пользования CSE, вторая часть обеспечивает уникальность меток внутри профиля в системе.

Пример XML-файла с описанием аннотаций:

<Annotations> <Annotation about="www.cancer.gov/cancertopics/types/liver/*">

<Label name="_cse_12_vanda"/>

</Annotation>

<Annotation about="www.medicinenet.com/liver_cancer/">

<Label name="_cse_exclude_12_vanda"/>

</Annotation>

</Annotations>

Четвёртый этап - получение ключа аутентификации. Он необходим для доступа к CSE. Т.к. ключ с течением времени теряет достоверность, его необходимо периодически получать заново. Процедура авторизации в системе Googleпредусматривает несколько шагов, каждый из них реализован в программном комплексе.

Шаг 1. Пользователь предоставляет системе свои логин и пароль. Система отвечает картинкой типа CAPTCHA, предоставленной сервером Google (тест для различия людей от компьютеров; используется для предотвращения автоматизированных потоков запросов к системе, характерных для попытки взлома пароля перебором).

Шаг 2. Пользователь предоставляет ответ на картинку. Система отправляет ответ на сервер.

Шаг 3. В случае верного ответа на картинку пользователь получает ключ аутентификации.

Пятый (и заключительный) этап - отправка на сервер авторизованных (подтверждённых ключом аутентификации) запросов, содержащих файл с контекстом поиска и файл аннотаций.

После проведения всех этих этапов пользователь может начинать работу с CSE. В программном комплексе автоматизированы все этапы, кроме ввода личной информации пользователя и распознавания символов на картинке. Заполнение информации о контексте поиска возможно путём загрузки уже существующего контекста из базы данных, потому тоже считается автоматизированным.

1.5 Описание структуры поисковых запросов

Внутри программного комплекса общение с созданным контекстом поиска происходит посредством запросов, передаваемых ему.Запрос - это древовидная структура, корнем которого является тематика запроса (основной и единственный обязательный элемент; то, что мы ищем), а ветвями - известные нам параметры тематики запроса (дополнительные сведения, которые нас интересуют в контексте выбранной тематики). Эти запросы хранятся в таблице Queriesбазы данных. Описание её полей приведено в Таблице 3.

Таблица 3

Описание полей таблицы Queries

Название раздела	Описание раздела
Id	Числовой атрибут; уникальный номер запроса внутри системы.
Root	Строковый атрибут; корневой элемент запроса - его основную тематику.
Synonyms	Строковый атрибут; синонимы тематики
Branches	Строковый атрибут; ветви - дополнительные параметры запроса.

Соответственно, при работе с системой возможно обращение к уже созданным запросам для их корректировки. Дополнительным параметром запроса являются синонимы тематики запроса.

2. РАЗРАБОТКА ПРОГРАММНОЙ ЧАСТИ

2.1 Разработка алгоритмапоиска информативных ресурсов

Т.к. в качестве поисковой системы (т.е. системы, обрабатывающей запросы пользователя) выбрана поисковая машина Google, то алгоритм поиска самих информативных ресурсов сводится к алгоритму оптимизации поисковых запросов на основе уже имеющейся модели запроса. Т.к. в заявленной выше структуре предусмотрены корень запроса и дополнительные параметры, логичным представляется следующий алгоритм:

Шаг 1. Проверка на наличие дополнительных параметров запроса. В случае их отсутствия - переход к шагу 2, иначе - к шагу 3.

Шаг 2. Обращение к поисковой машине с помощью запроса, состоящего из корневого элемента. Формирование списка страниц (взятие первых страниц из списка выдачи до исчерпания лимита, по умолчанию - сто страниц). Переход к шагу 5.

Шаг 3. Последовательное создание подзапросов вида «корень - параметр» и отправка их поисковой машине. Переход к шагу 4.

Шаг 4. Формирование единого списка выданных страниц из выданных поисковой машиной на разные запросы по простому мажоритарно-приоритетному алгоритму: страницы, встретившиеся в выдаче наибольшее число раз, включаются в итоговой список первыми, затем включаются страницы, оказавшиеся первыми в каждом списке. Добавление страниц в итоговый список происходит до исчерпания лимита (по умолчанию - сто страниц). Переход к шагу 5.

Шаг 5. Выдача итогового списка информативных ресурсов.

Блоксхема алгоритма приведена в Приложении Б.

2.2 Разработка алгоритма фильтрации информации

Полученный список информативных ресурсов нельзя считать полноценным информационным ресурсом. Причина - наличие на каждой из содержащихся в нём веб-страниц дополнительных элементов, не несущих важной для нас смысловой/информационной нагрузки. К таким элементам относятся рекламные баннеры, интерфейсные блоки (меню, «шапка» и «подвал» страницы), а также служебные блоки. Соответственно, чтобы достичь назначенной цели, необходимо ненужную информацию отсекать. Более того, в связи с распространением рекламных сайтов, пробивающихся в верхние позиции выдачи разных поисковых систем благодаря грамотно подобранным «рекламным словам», необходимо после фильтрации каждую страницу проверить на наличие в ней ключевых слов пользовательского запроса. В связи с этим получается следующий алгоритм (распишем его относительно одной веб-страницы; алгоритм для всего списка является многократным применением нижеописанного алгоритма):

Шаг 1. Открытие веб-страницы и представление её в виде DOM (DocumentObjectModel-объектная модель документа; иерархическое представление веб-страницы, позволяющее определять отношение разных элементов разметки друг к другу из принципа «родительский элемент - дочерний элемент»). Переход к шагу 2.

Шаг 2. Базовая фильтрация. Отбрасывание из DOMэлемента <head>как элемента, содержащего ненужную для нас информацию. Отсечение всех элементов <script>как элементов, содержащих логику обращения с пользователем/необрабатываемую программным комплексом информацию. Переход к шагу 3.

Шаг 3. Отсечение элементов, имеющих в своих атрибутах свойства nameили id, содержащие стандартные для интерфейсных и рекламных блоков названия (вида «menu», «ads», проч.). Переход к шагу 4.

Шаг 4. Исключение (но не отсечение всей дочерней информации) тегов, отвечающих за форматирование текста (например, <h4>, <b>, <style>). Переход к шагу 5.

Шаг 5. Преобразование всех таблиц (тег <table>) в структуру с разделителями для строк и колонок. Отсечение элементов <table>, имеющих одну строку (элемент <tr>) или одну колонку (<td>) в каждом элементе <tr>.Такие элементы, как правило, являются интерфейсными (альтернативный способ создания боковых и верхних меню). Переход к шагу 6.

Шаг 6. Последовательный рекурсивный перебор оставшихся блоков на предмет наличия в них информации. Пояснение: среди оставшихся блоков всё ещё могут быть интерфейсные элементы, однако они, как правило, не содержат полезной информации и могут быть отсечены по этому правилу. Таблицы с полезной информацией уже переведены к этому моменту в формат, который не будет отсечён из выдачи. Переход к шагу 7.

Шаг 7. Проверка на наличие среди оставшейся информации ключевых слов (их синонимов, указанных в запросе). Выдача страницы без тегов, но с разделителями для таблиц и абзацев, в качестве информационного ресурса, если проверка нашла на ней искомые слова. Исключение страницы из результирующего списка, если проверка дала отрицательный результат.

Под отсечением/отбрасыванием элементов в алгоритме подразумевается полное удаление найденного элемента из DOM, включая все дочерние. Под исключением подразумевается удаление самого тега с целью облегчения дальнейшей работы с DOM.

Блоксхема алгоритма приведена в Приложении В.

2.3 Программная реализация алгоритмов

Программный комплекс содержит в себе несколько модулей, каждый из которых отвечает за конкретную часть программы.

Модуль SearchEngine содержит методы и интерфейсную часть, сопряжённые с CSE. Модуль отвечает за такие функции, как подключение к CSE, создание контекста и аннотации поиска, аутентификация пользователя в системе Googleи обработка пользовательских запросов.

Модуль Filteringотвечает за фильтрацию полученных результатов запроса и формирование списка информационных ресурсов. Он предусматривает выдачу в формате, пригодном для использования в других программных комплексах (в частности, в программном комплексе, разработанном Юрьевым В.К. в его курсовом проекте).

Содержимое программных модулей приведено в Приложении Г.

ЗАКЛЮЧЕНИЕ

В результате исследования был разработан программный комплекс для целенаправленного поиска информативных ресурсов. Программный комплекс обладает простотой в использовании, реализует два разработанных алгоритма и обладает всеми преимуществами такой мощной поисковой системы, как Google. К прочим преимуществам программного комплекса относятся возможность последующей обработки полученной информации сторонними средствами, высокая степень достоверности полученных ресурсов и отсутствие всякой служебной информации в них.

Разработанный программный комплекс отвечает базовым требованиям программирования на языке высокого уровня, отличается быстрой работой и относительной кроссплатформенностью. Более того, программный продукт может быть запущен в качестве веб-сервиса на удалённом компьютере, что позволит обращаться к его средствам при наличии подключения к сети Internetиз любой точки мира без установки дополнительного программного обеспечения, за исключением средства для просмотра веб-страниц.

Список использованной литературы

1. Аргерих Л.И др. Профессиональное РНР программирование, 2-е издание. - Пер. с англ. - СПб.: Символ-Плюс, 2005. - 1048 с., ил.

2. Селсо Дж. SQL для профессионалов. Программирование. -М.: Лори, 2000. - 442 с.

3. Рей Э. Изучаем XML. М.: Символ, 2001.

4. Документация по PHP (англ.). - URL: http://www.php.net/manual/en/.

5. Тоби Сегаран. Программируем коллективный разум. -М.: Изд-во Символ-Плюс, 2008. -386 с.

6. ОписаниеGoogle Custom Search (англ.).- URL: https://developers.google.com/custom-search/docs

Размещено на Allbest.ru