Информационно-поисковые системы

Проблема, связанная с индексированием, заключается в том, что приписывание поискового образа документу или информационному ресурсу опирается на представление о словаре, из которого эти термины выбираются, как о фиксированной совокупности терминов. В традиционных системах существовало разбиение на системы с контролируемым словарем и системы со свободным словарем. Контролируемый словарь предполагал ведение некоторой лексической базы данных, добавление терминов в которую производилось администратором системы. Таким образом, все новые документы могли быть заиндексированы только теми терминами, которые были в этой базе данных. Свободный словарь пополнялся автоматически по мере появления новых документов. Однако, на момент актуализации словарь также фиксировался. Актуализация предполагала полную перезагрузку базы данных. В момент этого обновления перегружались сами документы и обновлялся словарь, а после его обновления производилась переиндексация документов. Процедура актуализации занимала достаточно много времени и доступ к системе в момент ее актуализации закрывался.

Теперь представим себе возможность такой процедуры в анархичном Internet, где ресурсы появляются и исчезают ежедневно. При создании программы Veronica для GopherSpace предполагалось, что все серверы должны быть зарегистрированы и таким образом велся учет наличия или отсутствия ресурса. Veronica раз в месяц проверяла наличие документов Gopher и обновляла свою базу данных ПОД'ов документов Gopher. В World Wide Web ничего подобного нет. Для решения этой задачи используются программы сканирования сети или роботы-индексировщики. Разработка роботов - это довольно нетривиальная задача, т.к. существует опасность зацикливания робота или попадания на виртуальные страницы. Все системы имеют своего робота. Робот просматривает сеть, находит новые ресурсы, приписывает им термины и помещает в базу данных индекса. Главный вопрос заключается в том, какие термины приписывать документам, откуда их брать, ведь ряд ресурсов вообще не является текстом. В настоящее время различные роботы используют для индексирования следующие источники для пополнения своих виртуальных словарей: гипертекстовые ссылки, заголовки (title), заглавия (H1, H2 и т.п.), аннотации, списки ключевых слов и полные тексты документов, сообщения администраторов о своих Web-страницах. Для индексирования telnet, gopher, ftp, нетекстовой информации используются главным образом URL, для новостей Usenet и почтовых списков - поля Subject и Keywords. Наибольший простор для построения ПОД'ов дают HTML-документы. Однако не следует думать, что все термины из перечисленных выше элементов документов попадают в их поисковые образы. Очень активно используются списки запрещенных слов (stop-words), которые не могут быть использованы для индексирования, общих слов (предлоги, союзы и т.п.), а также часто производится нормализация лексики. Таким образом, даже то, что в OpenText, например, называется полнотекстовым индексированием реально является выбором слов из текста документа и сравнением с целым набором различных словарей, после которого термин попадает в поисковый образ документа, а потом и в индекс системы. Для того, чтобы не раздувать словарей и индексов, применяется такое понятие как "вес" термина.

После того, как ресурсы заиндексированы, т.е. система составила массив поисковых образов документов, начинается построение поискового аппарата системы. Совершенно очевидно, что лобовой просмотр файла или файлов ПОД'ов займет много времени, что абсолютно не приемлемо для интерактивной системы, которой является Web. Для того, чтобы можно было быстро находить информацию в базе данных ПОД'ов строится индекс. Индекс в большинстве систем - система связанных между собой файлов, которая нацелена на быстрый поиск данных по запросу пользователя. Структура и состав индексов различных систем могут отличаться друг от друга и зависят от многих факторов. К этим факторам можно отнести и размер массива поисковых образов, и информационно-поисковый язык системы, и размещения различных компонентов системы и т.п. Рассмотрим структуру индекса на примере системы. Этот проект выбран потому, что он позволяет реализовывать не только примитивный булевый поиск, но и контекстный поиск, взвешенный поиск и ряд других возможностей, которые отсутствуют во многих поисковых системах, например Internet, Yahoo.

Индекс рассматриваемой системы состоит из таблицы идентификаторов страниц (page-ID), таблицы ключевых слов (Keyword-ID), таблицы модификации страниц, таблицы заголовков, таблицы гипертекстовых связей, инвертированного списка (IL) и прямого списка (FL).

Page-ID отображает идентификаторы станиц в URL этих страниц, Keyword-ID отображает каждое ключевое слов в уникальный идентификатор этого слова, таблица заголовков отображает идентификатор страницы в заголовок страницы, таблица гипертекстовых ссылок отображает идентификатор страниц в гипертекстовую ссылку на эту страницу. Инвертированный список ставит в соответствие каждому ключевому слову список пар (номер документа, идентификатор страницы, позиция слова в странице), а прямой список - это массив поисковых образов страниц. Все эти файлы так или иначе используются при поиске, но главным среди них, безусловно, является файл инвертированного списка. Результат поиска в этом файле - это объединение и/или пересечение списков идентификаторов страниц. Результирующий список, который преобразовывается в список заголовков, снабженных гипертекстовыми ссылками, возвращается пользователю в его программу просмотра Web. Для того, чтобы быстро искать записи инвертированного списка, над ним надстраивается еще несколько файлов, например, файл буквенных пар с указанием записей инвертированного списка, с этих пар начинающихся, а также применяется механизм прямого доступа к данным - хеширование.

Для обновления индекса применяется комбинация двух подходов. Первый можно назвать коррекцией индекса "на ходу". Для этого служит таблица модификации страниц. Суть такого решения довольно проста: старая запись индекса ссылается на новую, которая и используется при поиске. Когда число таких ссылок становится достаточным для того, чтобы ощутить это при поиске, то происходит полное обновление индекса, т.е. его перезагрузка.

Вопрос 14. Информационный поиск в сети Интернет

Переход к информационному обществу XXI века породил беспрецедентный рост объемов и концентрации информации в глобальных компьютерных сетях. Это резко обострило проблему создания информационно-поисковых систем (ИПС) и их эффективного использования.

История автоматизированных информационно-поисковых систем исчисляется полувеком. Типичная ИПС первых лет - это человеко-машинная система, где анализ и описание содержания документов (индексирование) выполняется вручную, а поиски проводятся машиной. Первоначально основу ИПС составляли информационно-поисковые языки (ИПЯ), основным элементом которых являются дескрипторные словари и тезаурусы. Сегодня, однако, большинство работающих ИПС относится к классу вербальных систем бестезаурусного типа, когда индексационные термины выбираются непосредственно из текстов документов. Лавинообразный рост объемов электронной документальной информации, ее видовое, тематическое и языковое разнообразие являются как причиной кризиса современного информационного поиска, так и стимулом его совершенствования.

Проблема поиска ресурсов в сети Интернет была осознана достаточно скоро, и в ответ появились различные системы и программные инструменты для поиска, среди которых следует назвать системы Gopher, Archie, Veronica, WAIS, WHOIS и др. В последнее время на смену этим инструментам пришли «клиенты» и «серверы» всемирной паутины WWW.

Если попытаться дать классификацию ИПС сети Интернет, то можно выделить следующие основные типы:

1. ИПС вербального типа (поисковые системы - search engines)

2. Классификационные ИПС (каталоги - directories)

3. Электронные справочники («желтые» страницы и т.п.)

4. Специализированные ИПС по отдельным видам ресурсов

5. Интеллектуальные агенты.

Глобальный учет всех ресурсов Интернета обеспечивается вербальными и отчасти классификационными системами.

Классификационные ИПС реализуют навигацию в веб-пространстве на основе специальных указателей, представляющих собой тематические «деревья», строящиеся на основе классификаций. Схемы классификации ресурсов в Интернете - это, как правило, древесные структуры, узлы которых названы словами естественного языка. Различные классификационные схемы отличаются друг от друга по объему и методологии их составления. Одним из недостатков универсальных иерархических классификаций является то, что они консервативны и отстают от развития науки, техники и жизни вообще. Главная проблема классификационных поисковых служб - это автоматизация классификации. До сих пор задача автоматической классификации удовлетворительного решения не нашла. Регистрация веб-сайтов и веб-страниц в каталогах, как правило, осуществляется людьми - индексаторами и модераторами данной системы. И поэтому объем базы данных систем классификационного типа сравнительно невелик по сравнению с информационной емкостью всего Интернета.

Для решения проблемы максимального охвата ресурсов Интернета создаются системы, называемые метапоисковыми (metasearch engines). Они не имеют собственных поисковых баз данных, не содержат никаких индексов и при поиске используют ресурсы других поисковых систем. За счет этого вероятность нахождения нужной информации возрастает. Для передачи запроса к поисковой системе используется специальный метапоисковый агент, который отвечает за процесс ретрансляции запроса в другие системы. После обработки полученного запроса каждая система возвращает метапоисковому агенту множество описаний и ссылок на документы, которые считает релевантными данному запросу. При всей привлекательности метапоисковых систем следует помнить и об их минусах и недостатках. Прежде всего, отсутствие единого стандарта языка запросов не позволяет метасистемам добиваться от поисковых систем, выполняющих запросы метапоисковых систем, такого же результата, какого может добиться опытный пользователь при работе с каждой машиной в отдельности.

Основным средством поиска информации в сети сегодня следует считать глобальные ИПС вербального типа (search engines), индексирующие (по крайней мере, претендующие на это) все Интернет-пространство. К числу главных поисковых систем этого типа (в первую очередь, по объему базы данных) можно отнести Google, Fast (AlltheWeb), AltaVista, HotBot, Inktomi, Teoma, WiseNut, MSN Search. Среди российских систем главными являются три: Яндекс (Yandex), Рамблер (Rambler), Google и Апорт! (Aport). Полнота поисковой базы и оперативность индексирования веб-сайтов является главной проблемой всех ИПС в Интернете. Как правило, системы с бульшим объемом базы дают в результате поиска и большее количество документов. Большая, как лингвистическая, так и программная проблема - многоязычие информационного пространства Интернета и многообразие форматов представления данных. Тем не менее, основные глобальные системы с этими проблемами справляются.

Особенность современных систем - полнотекстовый поиск. Многие вербальные ИПС сети Интернет вычисляют релевантность документов запросам путем сопоставления элементов запроса с полными текстами документов, размещенных в сети. Что касается информационно-поискового языка, то, как правило, в качестве поисковых элементов выступают обычные слова естественных языков. Запросы формулируются через специальный интерфейс, реализуемый в виде экранных форм в программах-браузерах.

Полезно представлять, как эти системы устроены. В составе любой поисковой системы можно выделить три основные части.

Робот - подсистема, обеспечивающая просмотр (сканирование) Интернета и поддержание инвертированного файла (индексной базы данных) в актуальном состоянии. Этот программный комплекс является основным средством сбора информации о наличии и состоянии информационных ресурсов сети.

Поисковая база данных - так называемый индекс - специальным образом организованная база (англ. index database), включающая, прежде всего, инвертированный файл, который состоит из лексических единиц, взятых из проиндексированных веб-документов, и содержит разнообразную информацию о них (в частности, их позиции в документах), а также о самих документах и сайтах в целом.

Поисковая система - подсистема поиска, обеспечивающая обработку запроса (поискового предписания) пользователя, поиск в базе данных и выдачу результатов поиска пользователю. Поисковая система общается с пользователем через пользовательские интерфейсы - экранные формы программ-броузеров: интерфейс формирования запросов и интерфейс просмотра результатов поиска.

Индексный файл (или просто индекс) представляет собой набор связанных между собой файлов, ориентированных на быстрый поиск данных по запросу. В основе индекса всегда лежит инвертированный файл. Инвертированная (инверсная) схема организации поискового массива основана на принципе обеспечения доступа к документам через их идентификаторы содержания (поисковые признаки: дескрипторы, ключевые слова, термины, другие признаки). Такую схему получают путем обработки последовательного массива документов с целью создания специальных вспомогательных инвертированных файлов - точек доступа.

Каждая запись такого вспомогательного массива идентифицирована соответствующим идентификатором содержания (дескриптор, ключевое слово, просто термин, имя автора, название организации и т.п.) и содержит имена (адреса хранения) всех документов, в поисковых образах которых он содержится. Для каждого идентификатора содержания (поискового элемента данных) в инвертированном массиве вместе с адресом (номером, именем) документа может храниться (и обычно хранится) дополнительная информация, как-то: имя поля, номер предложения, в составе которых данный элемент встретился в данном документе, номер слова в предложении и т.д. Фиксация положения слова в тексте с точностью до номера предложения и номера этого слова в предложении позволяет построить гибкий язык запросов, позволяющий задавать расстояние между словами и предложениями в документе. Позиционные характеристики также используются при вычислении коэффициента релевантности и ранжировании документов в выдаче.

Нахождение необходимых документов через инвертированный файл осуществляется не сплошным просмотром всего массива, а просмотром лишь тех идентификаторов содержания в инвертированном файле, которые заданы в поисковом предписании, т.е. число операций сравнения слов при поиске пропорционально числу терминов поискового предписания. Такой способ работы систем снижает время на поиск и позволяет обслуживать потребителей информации в реальном масштабе времени.

Поиск в индексе - это операции над списками идентификаторов поисковых элементов в соответствии с моделью поиска и критерием соответствия. Результирующий список релевантных документов (в современной терминологии «отклик»), который преобразуется в ранжированный список кратких описаний документов, снабженных гипертекстовыми ссылками и другими характеристиками, возвращается пользователю в его клиентскую программу-броузер. Щелчок мышью по названию документа в его кратком описании (по гиперссылке) запрашивает этот документ либо непосредственно с того сервера, на котором он находится, либо через базу данных поисковой системы.

Важным компонентом современных ИПС являются так называемые интерфейсные веб-страницы, т.е. экранные формы, через которые пользователь общается с поисковой системой. Различают два основных типа интерфейсных страниц: страницы запросов и страницы результатов поиска.

Содержательная проблема при индексировании веб-сайтов заключается в том, какие термины приписываются документам, откуда они берутся. Особенности построения и структура индекса напрямую связаны с языком запросов и возможностями поисковых систем. Наиболее важными с точки зрения пользователя представляются следующие особенности ИПС:

? индексирование полных текстов возможно большего числа сайтов;

? «грамотная» работа со словоформами - способность ИПС отождествлять разные словоформы одной и той же лексемы, по-другому, порождать каноническую форму - лемму, и возможность выделять среди множества словоформ конкретную форму;

? поиск слов с заданным или произвольным усечением, как правым, так и левым;

? работа со словосочетаниями - учет расстояния между словами в словосочетаниях и порядка их следования;

? эффективные алгоритмы вычисления коэффициента смысловой релевантности и ранжирования результатов поиска.

Также важно, какую информацию и в каком виде можно извлечь из выходных интерфейсов ИПС. Интерфейс выдачи (форма представления результатов) у разных систем включает такие параметры: статистика слов из запроса, количество найденных документов, количество сайтов, средства управления сортировкой документов в выдаче, краткое описание документов и др. Описание каждого документа, в свою очередь, может содержать в своем составе: заглавие документа, URL (адрес в сети), объем документа, дату создания, название кодировки, аннотацию, шрифтовое выделение в аннотации слов из запроса, указание на другие релевантные веб-страницы того же сайта, ссылка на рубрику каталога, к которой относится найденный документ или сайт, коэффициент релевантности, другие возможности поиска (поиск похожих документов, поиск в найденном). Большой интерес представляют также частотные характеристики - сведения о количестве найденных документов и отождествленных языковых единиц. Некоторые системы ведут журнал запросов с возможностью повторных поисков и выдачей статистики по запросам. Полезной и интересной возможностью является также отнесение документов к тематическим классам.

Покажем особенности разных систем, наиболее популярных и обладающих наиболее развитым лингвистическим обеспечением. В первую очередь, это российские ИПС Яндекс, Рамблер и Апорт. Возможно, наиболее мощный лингвистический аппарат имеет ИПС «Артефакт» (фирма «Интегрум-ТЕХНО», г. Москва), однако эта система является коммерческой и ее база данных по составу заметно отличается от других. Из западных систем, в большинстве своем не обладающих развитыми лингвистическими средствами анализа текстового материала, возьмем хорошо известные ИПС Google и AltaVista. Кратко охарактеризуем особенности этих систем (наличие или отсутствие соответствующих возможностей помечено знаками «+» и «-»).

«Поиск по лексемам» означает, что результат сравнения слов документов и запросов признается положительным при наличии в документе любой формы слова из запроса, что обеспечивается механизмом автоматической лемматизации.

«Поиск по словоформам» означает, что результат сравнения документов и запросов признается положительным при наличии в документе словоформы, точно совпадающей со словом из запроса, что происходит при отсутствии автоматической лемматизации или обеспечивается особым механизмом учета словоформ.

«Частота подокументная» означает, что в результате поиска выдается сообщение о количестве релевантных документов, т. е. документов, содержащих данное слово (словоформу) или словосочетание.

«Частота пословная» означает, что в результате поиска дополнительно выдаются сведения об общем количестве словоупотреблений данной лексемы или конкретной словоформы в поисковой базе данных (индексе).

Вопрос 15. Архитектура современных информационно-поисковых систем World Wide Web

Прежде чем описать проблемы построения информационно-поисковых систем Web и пути их решения рассмотрим типовую схему такой системы. В различных публикациях, посвященных конкретным системам, например, приводятся схемы, которые отличаются друг от друга только способом применения конкретных программных решений, а не принципом организации различных компонентов системы. Поэтому рассмотрим эту схему на примере, взятом из работы (рис. 1).

Client (клиент) на этой схеме - это программа просмотра конкретного информационного ресурса. Наиболее популярны сегодня мультипротокольные программы типа Netscape Navigator. Такая программа обеспечивает просмотр документов WWW, Gopher, Wais, FTP-архивов, почтовых списков рассылки и групп новостей Usenet. В свою очередь все эти информационные ресурсы являются объектом поиска информационно-поисковой системы.

User interface (пользовательский интерфейс) - это не просто программа просмотра, в случае информационно-поисковой системы под этим словосочетанием понимают также способ общения пользователя с поисковым аппаратом: системой формирования запросов и просмотров результатов поиска.

Search engine (поисковая машина) - служит для трансляции запроса на информационно-поисковом языке (ИПЯ), в формальный запрос системы, поиска ссылок на информационные ресурсы Сети и выдачи результатов этого поиска пользователю.

Index database (индекс базы данных) - индекс, который является основным массивом данных ИПС и служит для поиска адреса информационного ресурса. Архитектура индекса устроена таким образом, чтобы поиск происходил максимально быстро и при этом можно было бы оценить ценность каждого из найденных информационных ресурсов сети.

Queries (запросы пользователя) - сохраняются в его (пользователя) личной базе данных. На отладку каждого запроса уходит достаточно много времени, и поэтому чрезвычайно важно запоминать запросы, на которые система дает хорошие ответы.

Index robot (робот-индексировщик) - служит для сканирования Internet и поддержания базы данных индекса в актуальном состоянии. Эта программа является основным источником информации о состоянии информационных ресурсов сети.

WWW sites - это весь Internet или точнее - информационные ресурсы, просмотр которых обеспечивается программами просмотра.

Рассмотрим теперь назначение и принципу построения каждого из этих компонентов более подробно и определим, в чем отличие данной системы от традиционной ИПС локального типа.

Вопрос 16. Ранжирование результатов поиска. Проблемы ранжирования документов в выдаче. Способы управления ранжированием

Релевантность - это соответствие выдачи поисковика нашим ожиданиям.

Ранжирование - это порядок выдачи найденных сайтов.

"Формула" релевантности держится в строгом секрете и постоянно совершенствуется, путем добавления того или иного фактора ранжирования в алгоритм поиска.

Еще одним немаловажным является "авторитетность" страницы. Этот фактор учитывает количество и качество входящих и исходящих ссылок на сайт.

Первым ссылочный ранг страницы (PR - Page Rank) применили Сергей Брин и Ларри Пэйдж - создатели Google.

Суть идеи можно описать так:

Если ваша страница содержит ценную и уникальную информацию, то очень вероятно, что на нее будут ссылаться другие сайты. Ценность подобных ссылок будет тем выше, чем авторитетнее, ссылающиеся сайты. Также она будет выше, чем меньше количество ссылок с ссылающегося сайта. Дополнительный вес придает сходство тематики ссылающегося сайта.

Скажем, ваш сайт посвящен поиску работы. Ссылка на ваш ресурс, расположенная на сайте job.ru с небольшим количеством исходящих ссылок даст гораздо больший вес ("авторитет") вашему сайту, чем ссылка из какого-нибудь заштатного каталога.

С другой стороны, когда вы ссылаетесь на какой-нибудь сторонний сайт, ссылающаяся страница "делится" своим PR с этим сайтом.

Если представить вашу страницу в виде бочки с водой, то ссылки с других сайтов наполняют бочку (придают "вес" странице). Причем, струя воды тем больше, чем авторитетнее ссылающийся сайт. А ссылки с вашей страницы на другие сайты - это своего рода "дыры" в бочке, через которые уходит вода (теряется "вес" страницы). Безусловно, пример сильно утрирован, но, в общем, помогает понять принцип ссылочного ранжирования. И еще: не бойтесь ссылаться на "хорошие" тематические сайты. Это лучше, чем не ссылаться вообще.

Надо сказать, что подобный расчет PR требует огромных вычислительных мощностей. Поэтому, его пересчет производится всего несколько раз в год. Стоит сказать еще об одном важном моменте - это непосредственный текст ссылки. Обратите внимание, в результатах поиска на Яндексе зачастую страница помечена как "найдено по ссылке" - это значит, что текст ссылки с другого сайта попал в поиск. Таким образом, ссылающийся на вас сайт "привел" к вам пользователя, благодаря тексту тематической ссылки.

Из всего вышесказанного понятно, насколько важно понятие ранга страницы для вебмастера. Поскольку, манипулируя входящими и исходящими ссылками можно влиять на положение сайта в выдаче поисковика - отсюда, изменять количество посетителей на своем сайте, а, следовательно, величину дохода.

Задача поисковика - при выдаче результатов поиска обеспечить максимальное совпадение слов в поисковом запросе со словами, найденными на той или иной веб-странице или в тексте ссылок, ведущих на неё.

Ранжирование в результатах поиска по большей части зависит от индексирования текста на страницах сайтов, текста ссылок, ведущих на эти страницы, а также от степени важности сайта, вычисленной на основе количества ссылающихся страниц.

Однако перед тем, как быть показанными в результатах поиска, сайты могут быть переставлены в зависимости от того или иного фактора. Вот некоторые из них:

1. Фильтрация дублирующегося (или близкого к этому) контента

Поисковики не любят, чтобы страницы с одинаковым контентом переполняли результаты поиска, поэтому похожие страницы могут быть отфильтрованы.

2. Удаление из результатов поиска нескольких релевантных страниц с одного и того же сайта

Не так уж редко случается так, что релевантными поисковому запросу оказываются сразу несколько страниц одного сайта. В таком случае поисковик может показать ссылку на другую страницу с того же сайта сразу после ссылки на самую релевантную страницу либо просто выдаст дополнительно ссылку "Ещё результаты с этого сайта". Бывает, что дополнительные результаты вообще не отображаются.

3. Персональные интересы пользователя

Поисковик может перестраивать результаты поиска в зависимости от прошлых результатов и другой активности в интернете того или иного пользователя. Этот вид изменения ранжирования используется в так называемом "персонализированном поиске".

4. Взаимосвязанность сайтов

Поисковик может перестраивать сайты в зависимости от количества и качества ссылок между ними.

5. Сортировка в зависимости от дислокации пользователя

Вполне возможно, что пользователь предпочтёт увидеть в результатах поиска те сайты, которые расположены в его регионе проживания. Иногда пользователи сами включают опцию поиска сайтов только из определённой страны, иногда поисковик пытается самостоятельно определить дислокацию пользователя на основе его IP.

6. Язык запроса

Опции ограничения по языкам могут быть установлены пользователем в браузере либо через настройки поисковика; иногда поисковик сам выбирает язык результатов поиска в зависимости от поискового запроса, настроек либо характеристик результатов поиска.

7. Демографические характеристики

При использовании этого метода для ранжирования результатов поисковик может учитывать такие параметры, как дислокация, демографическая информация, информация о группах, к которым относится пользователь.

8. Хронологические данные

Сайты могут быть рассортированы в зависимости от времени создания и изменения страниц, возраста ссылок на них и многих других временнЫх параметров.

9. Тематическая схожесть

Учитываются заголовки, стоп-слова и другие связанные с текстом параметры.

10. Заинтересованность пользователя в коммерческой информации

К примеру, Yahoo! Mindset позволяет пользователю самостоятельно отсортировать результаты поиска в зависимости от того, хочет он видеть информацию коммерческого или более информативного, некоммерческого характера.

11. Наличие у сайта версии для мобильных устройств

Поиск от Microsoft может отфильтровать те сайты, которые не могут быть отображены на мобильных устройствах (например, КПК).

12. Доступность людям с ограниченными возможностями

Google не так давно запустил специализированный поиск, который ранжирует сайты в зависимости от их доступности людям с ограниченными возможностями.

13. Отношение пользователей

Google умеет сортировать страницы в зависимости от того, нравятся они пользователям или нет.

14. Дополнительные параметры поиска и схожесть текста

Google умеет ранжировать результаты поиска по новостям, основываясь на обработке и автоматическом добавлении дополнительных параметров к поисковому запросу, а также на схожести документов.

15. Поведение пользователя

16. Одобрение сообществом

Метод основывается на мнении социальных групп, пользователей социальных сетей и т.п.

17. Избыток информации

Отфильтровывается избыточная информация, засоряющая результаты поиска.

18. Новостные сюжеты

Методика от IBM позволяет преобразовывать результаты поиска в сюжеты новостей, которые будут раскрываться на сайтах, выдаваемых в результатах поиска.

19. Оценка актуальности на основе сообщений в блогах, новостях и т.п.

Результат поиска ставится в зависимость от того, куда именно ссылаются блоги и форумы в данный период времени. Приоритет получает сайт, имеющий наиболее актуальную на данный момент информацию.

20. Актуальность (временнОй фактор) и использование

Этот метод близок к сочетанию двух предыдущих. Он предполагает группировку понятий с учётом того, как они развивались во времени и как люди влияли на эти изменения.

Вывод

Помните, что результаты поиска, которые видите Вы, не всегда аналогичны тем, которые видят другие пользователи.

Конечно же, это не полный список методов изменения ранжирования сайтов в результатах поиска, но автор старался сделать его максимально представительным. Некоторые методы уже используются, некоторые находятся в стадии разработки, некоторые будут использованы в будущем, некоторые - никогда не будут реализованы.

Есть ли возможности убедиться, что Ваш сайт удерживает хорошие позиции, даже когда пользователям выдаются по-разному отсортированные результаты поиска? Сможете ли Вы проверить свои позиции при использовании поисковиками всех методов?!

Вопрос 17. Средства поиска в WWW. Каталоги WWW. Поисковые машины

Для того, чтобы просмотреть HTML-страницу, достаточно просто ввести ее URL-адрес в строке адреса Web-браузера, а затем следовать по гиперссылкам. Но именно в этом и заключается основная проблема - как узнать адрес страницы? Чаще всего бывает так, что известно то, что необходимо найти, но неизвестно где именно искать. Для решения этой проблемы существуют специальные поисковые системы. С точки зрения пользователя, поисковая система - это обычный сайт на главной странице которого находятся разбитые по рубрикам («Спорт», «Бизнес», «Компьютеры» и т.п.) ссылки на другие сайты. Кроме того, поисковая система позволяет пользователю ввести несколько ключевых слов и возвращает ссылки на страницы, содержащие эти ключевые слова. Важно отметить, что поиск не происходит в момент запроса пользователя. Отдельные серверы заранее и постоянно «исследуют» Internet и составляют базу данных по результатам поиска, а при поступлении запроса пользователя информация просто извлекается из этой базы данных. Из этой схемы имеется одно следствие: разные поисковые системы могут «исследовать» разные «области» Internet, поэтому если информация не найдена одной поисковой системой, то ее возможно найдет другая поисковая система. Кроме того, разные поисковые системы проводят поиск с разной эффективностью и на разную глубину. Самыми известными поисковыми системами по русским ресурсам Internet являются www.aport.ru, www.yandex.ru, www.rambler.ru. Наиболее известные поисковые системы по англоязычным ресурсам -www.altavista.com, www.yahoo.com, infoseek.go.com. Стоит также выделить поисковую систему www.google.com, которая достаточно быстро и качественно осуществляет поиск как по русским, так и по англоязычным ресурсам.

Как уже указывалось выше, все поисковые системы предусматривают поиск по ключевым словам. Очень важно правильно составить запрос на поиск. Необходимо употреблять ключевые слова, комбинация которых не является широко распространенной. Если в ответ на запрос было найдено 7 321 сайт, то стоит попробовать другую комбинацию ключевых слов, т.к. просто времени не хватит просмотреть все сайты, большинство из которых не относится к делу. Практически в каждой поисковой системе имеется «расширенный поиск» (advanced search), который позволяет при помощи удобных форм и логических условий «и», «или» и шаблонов поиска организовать достаточно сложный поиск. Кроме того, каждая поисковая система имеет свой собственный язык запросов. К сожалению, единого стандарта не существует, поэтому просто приведем примеры поисковых запросов поисковой системы www.aprot.ru:

Язык запросов поисковой системы www.aport.ru

Запрос

Результат поиска

мировые ресурсы

Страницы, содержащие слово «мировые» и слово «ресурсы». Для простых русских слов Aport также будет искать различные формы слов: ресурс, ресурсов, мировой, мировых и т.д.

(мировые) or (ресурсы)

Страницы, содержащие слово «мировые» или слово «ресурсы».

«(мировые) or (ресурсы)»

Страницы, содержащие слово «(мировые)» и слово «or» и слово «(ресурсы)». Условие or и другие специальные слова в кавычках игнорируются и считаются простым текстом.

((NOT из*) and (!яблоко)) or (шампунь))

Скобки означают порядок применения операторов «or» и «and». Звездочка означает любое количество произвольных символов, т.е. из* соответствует словам «изморозь», «известковый» и т.д. NOT - документ не должен содержать слово, следующее за этим оператором, т.е. (NOT из*) означает, что в странице не должны содержаться слова, начинающиеся на «из». Восклицательный знак означает «только эта форма слова», т.е. не будут учитываться слова «яблоки», «яблокам» и т.д.

сл7(выбирать грабли)

в найденных страницах, между словами «выбирать» и «грабли» должно быть не более 7 слов.

пр2(выбирать грабли)

в найденных страницах, слова «выбирать» и «грабли» должны находится в пределах 2-х предложений.

(пингвин) and (url=www.microsoft.com)

будут найдены все страницы на сервере www.microsoft.com, содержащие слово «пингвин»

(пингвин) and (url= *.ru/arktika/*)

будут найдены все страницы со словом «пингвин», при условии, что на некотором сервере из домена .ru, в основном каталоге web-сервера имеется подкаталог arktika.

(пингвин) and (date=O 1/01/98-01/02/99)

страницы, содержащие слово «пингвин» и созданные между 01.01.98 и 01.02.99

(пингвин) and (date :<01/02/99)

страницы, содержащие слово «пингвин» и созданные до 01.02.99

Помимо поисковых систем можно воспользоваться некоторыми специализированными каталогами. Так для поиска программного обеспечения можно обратиться к сайтам www.listsoft.ru, www.tucows.ru, www.shareware.com. Для поиска художественной литературы можно порекомендовать библиотеку Максима Мошкова www.lib.ru.

Вопрос 18. Средства поиска в WWW. Метапоисковые машины. Программы ускоренного поиска (поисковые агенты)

Не является секретом тот факт, что Интернет представляет собой постоянно растущий огромными темпами массив информации. Для того, чтобы каким-то образом упорядочить этот непрерывный поток данных и, самое главное, иметь возможность находить в этом потоке необходимую информацию, были созданы знакомые нам поисковые машины. Каждый такой поисковик имеет свой индекс, который несет служебную информацию о содержимом проиндексированных страниц и документов.

Каждый обычный (назовем его "традиционным") поисковик имеет только свой собственный, ограниченный своими ресурсами перечень (индекс) документов, которые доступны для поиска. Ни одна из подобных систем не может охватить всех ресурсов, которые существуют в Интернет. Поэтому, может возникнуть ситуация, когда пользователя не удовлетворяют результаты поисковой выдачи. Обычно, в этом случае, пользователь переходит на другой поисковик и пытается найти то, что ему нужно, там.

Зачем нужны метапоисковые системы?

Теперь представим себе ситуацию, когда количество проиндексированных сайтов различными поисковыми системами растет в геометрической прогрессии, но доля непроиндексированного, так называемого "невидимого" Интернета для каждой поисковой системы (даже для такой мощной, как Gooogle) возрастает с каждым месяцем.

Происходит это потому, что разные поисковые машины используют различные алгоритмы поиска и уделяют свое внимание разным участкам Сети, к которым они наиболее адаптированы. Логичным решением, в таком случае, является поиск не одним, а несколькими поисковиками, для получения более релевантного результата. Именно такую возможность и предлагают метапоисковые системы.

Как работают метапоисковые системы.

Следует иметь в виду, что метапоисковые машины не имеют собственных поисковых баз данных (исключение - nigma.ru), не содержат никаких индексов и для поиска используют базы данных других поисковых систем. Принцип работы метапоисковика заключается в следующем: запрос пользователя преобразуется в запросы, отформатированные синтаксически и логически в конструкции, оптимальные для каждого отдельного, "традиционного" поисковика, т. е. из одного запроса метапоисковый механизм делает ряд запросов, которые адресуются нескольким "обычным" поискам.

Таким образом, метапоисковые системы объединяют для достижения результатов индексы поисковых серверов различных специализаций. В рамках одной метапоисковой системы можно осуществлять поиск информации различного типа. Метапоисковые системы не предназначены для индексирования и накопления данных, их назначение - чистый поиск и обработка результатов поиска. Все метапоисковые системы сортируют результаты поиска таким образом, чтобы избежать дублей и одинаковых страниц в выдаче, найденных различными поисковыми системами. Рассмотрим два метапоисковых механизма - один западный, другой "наш".

Vivisimo

Vivisimo представляет собой метапоисковую систему, которая собирает данные, используя индексы нескольких поисковых машин одновременно. При более детальном рассмотрении можно говорить, что Vivisimo обладает набором уникальных, нигде больше не встречающихся функций.

Дело в том, что большинство метапоисковых систем отсылают запрос пользователя в несколько поисковиков одновременно, а затем результаты, попавшие в начало списков, выводят в качестве ответа на запрос. Vivisimo работает таким же образом, но кроме этого, система сортирует результаты поиска по группам со схожим смыслом. Особенно полезно это бывает, когда существуют разные варианты вводимых ключевых слов. Результаты поиска объединяются в список все более узких подразделов, что делает возможным обходиться без дополнительных поисковых запросов.

Еще одна интересная функция Vivisimo заключается в возможности предварительного просмотра содержания страницы по найденным ссылкам. При этом пользователь может открыть окно просмотра прямо посреди страницы с поисковой выдачей, что позволяет быстро просматривать результаты поиска.

Но это еще не все возможности Vivisimo, достойные внимания. Если зайти на страницу расширенного поиска advanced search, можно найти много полезных инструментов для нашего дела. К примеру, пользователь может задать поиск по новостным сайтам (CNN, USA Today, Reuters, BBC и др.) или воспользоваться специализированными поисковыми машинами, такими как поисковик официального сайта правительства США FirstGov, Business.com, Энциклопедии Британника, аукциона eBay или системой поиска патентов Delphion. Поиск Vivisimo в расширенном режиме выдает 200 результатов. Если этого недостаточно, то можно настроить машину на вывод 300 или 500 результатов.

В своей работе Vivisimo использует результаты поиска следующих машин и каталогов: MSN, Lycos, Looksmart, Wisenut, Open Directory, Overture. Сервис может корректно работать и с контентом на русском - но, к сожалению, русскоязычных сайтов, проиндексированных приведенными выше системами, не так уж и много, поэтому результаты поиска для страниц на русском оставляют желать лучшего.

NIGMA.RU

Поисковый сервис nigma.ru позиционирует себя как "интеллектуальная поисковая система". Чтобы составить начальное представление о поисковике, обратимся к его странице в Википедии. Из описания становится понятно, что nigma.ru - универсальная поисковая машина, одновременно использующая несколько популярных поисковых движков, которые можно включать/отключать по желанию (главная стр. вкладка "поисковики").

Принцип действия NIGMA аналогичен поиску Vivisimo: поисковая выдача группируется по различным критериям, что позволяет быстро произвести уточняющий поиск. Например, вбиваем в строку поиска запрос по нашей теме [поисковые системы].

Получаем привычные нам ссылки на сайты, но... с левой стороны страницы мы видим фильтр сервиса, благодаря которому можно исключить/добавить различные смысловые (контекстные) значения понятия "поисковые системы".

Поставив галочку на линке, например, "новости" и нажав кнопку "применить фильтр", мы получим в следующей выдаче только новости на тему поисковых систем (см. скриншот). Аналогично можно находить/отсеивать форумы, статьи, ресурсы и др. по любому поисковому запросу. По-моему, очень удобно и практично. Идем дальше...

Производит впечатление автозаполнение строки поиска и система подсказок сервиса. Мало того, что NIGMA предлагает разные варианты запросов по рейтингу их популярности на сервисе, она еще дает краткую справку (из Википедии) по теме возможного варианта. Да, такого пока нет даже в Google...

Можно и дальше перечислять и описывать различные "фишки" и способности системы (нет, это действительно интересно!), например, в области химии или математики. Думаю заинтересованный читатель сам с удовольствием разберется в тонкостях работы данного сервиса. Хочу сказать о том, что меня действительно приятно удивило в nigma.ru - поиск музыки. Совершенно потрясная вещь!

Над строкой поиска главной страницы можно видеть вкладки, определяющие результаты наших запросов. Жмем на вкладку "музыка" и вписываем в строку ключевые слова - название музыкального произведения, слова из песни, имя автора и т. п. Кроме того, что NIGMA выдает вполне достаточное количество ссылок, любую композицию можно прослушать здесь же, на странице поисковой выдачи!

Рядом может быть линк на скачивание и текст песни. Просто подарок для меломана! Ну и, судя по тому, откуда (с каких поисковиков) nigma.ru черпает информацию, смею предположить, что сервис так же хорошо обрабатывает запросы на латинице, как и на русском языке.

Конечно, приведенные выше два примера метапоисковых машин не единственные в своем роде. Существует много подобных систем и, возможно, они не хуже приведенных здесь. Ниже даны ссылки на некоторые из них.

Debriefing

Мощная метапоисковая система Dogpile использует для метапоиска не только поисковые системы, но и FTP-серверы, а также новостные сайты, котировки фондовых бирж и даже "желтые страницы" Интернета. Дополнительные услуги, предоставляемые сервисом, дают возможность получать подробные прогнозы погоды и топографические карты интересующей местности.

Mamma

Канадская система метапоиска Mamma Systems обеспечивает стандартный пакет услуг, принятый для подобных сервисов. Используя базы данных популярных поисковых машин, сервис Mamma отличается качественным поиском нужной информации.

MetaCrawler

MetaCrawler, как и многие подобные системы, первоначально производит поиск необходимой информации в базах данных других поисковых сервисов. Затем запускает свой алгоритм и анализирует полученную информацию: сортирует ссылки, ищет дубликаты и, учитывая рейтинги найденных ссылок, выдает их пользователю. Система адаптирована только для англоязычного сегмента Сети.

Exactus

Метапоисковая система Exactus - проект Института Системного Анализа РАН. Поиск информации осуществляется с учетом морфологического, синтаксического и семантического анализа поисковых запросов. Сервис использует индекс поисковых машин Google, Yandex, Rambler, Ask, MNS и Yahoo. Отличается точной выдачей ответов на конкретные завершенные фразы и вопросы.

Metabot.ru

Сервис, который использует не только индексы ведущих поисковиков, но и базы данных многих каталогов, новостных и FTP серверов. Мощнейший российский метапоисковый сервис. Расположен на серверах хостинг-оператора в США.

Вопрос 19. Поиск источников информации в WWW

Информация или услугу в WWW, их надо, прежде всего, разыскать, а поиск информации - непростая задача. По состоянию на начало 2000 г. ресурсы Web оцениваются более чем в 850 миллионов Web-страниц.

Для поиска информации в Сети используются специальные поисковые службы. Обычно поисковая служба - это компания, имеющая свой сервер, на котором работает некая поисковая система. Услуги абсолютного большинства поисковых служб бесплатны, но, тем не менее, по темпам роста сегодня это самый эффективный бизнес в мире.

Все поисковые системы WWW основаны на гиперссылках. Обращаясь к поисковой службе, мы формулируем запрос, в котором формально описываем то, что хотим найти. Проведя нужные операции, служба формирует Web-документ, состоящий из гиперссылок, ведущих к ресурсам WWW, соответствующим нашему запросу. Какой из этих гиперссылок м ы воспользуемся - дело наше.

Поисковые каталоги

Поисковые каталоги похожи на предметные каталоги общественных библиотек. На начальной странице поискового каталога мы выбираем тему, которая нас интересует, затем в рамках темы выбираем категорию, потом подкатегорию, и так далее, пока не получим конкретный список Web-ресурсов, рекомендованных для просмотра.

Основное отличие поисковых указателей от поисковых каталогов состоит is полной автоматизации всех этапов работы. Здесь отсутствует «человеческий фактор», и потому количество Web-страниц, к которым ведет поисковый указатель, намного больше.

Приемы простого поиска информации в WWW

Каждая поисковая система предоставляет свои методы поиска и имеет свои особенности в правилах записи комбинации ключевых слов. Однако есть общие элементы, одинаково справедливые для большинства поисковых систем.

Прежде всего, надо заметить, что чем точнее сформулировано задание на поиск, тем точнее будут и результаты. Например, если вы хотите найти документы с описанием замеченных ошибок Windows 98, то так и надо формулировать запрос: ошибки Windows 98, а не просто Windows. На англоязычных серверах очень часто срабатывает простое человеческое описание проблемы: printer works incorrectly (принтер работает неправильно).

Ловушка для начинающих

Обычно наша задача состоит в том, чтобы выделить в пространстве Web самые нужные документы, однако многие начинающие ловятся на один и тот же крючок. Например, если вы хотите найти информацию о компьютерных играх (computer games), то кажется, что так и надо оформить запрос:

computer games

Увы, для большинства поисковых систем этот запрос будет ошибочным. При таком запросе система будет искать все Web-страницы, в которых встречается либо слово computer, либо слово games, либо оба вместе. В WWW полно страниц, на которых упоминаются компьютеры и нет ни слова про игры. Точно так же там полно страниц со спортивными, настольными и другими играми, которые нам не интересны. Вот всю эту массу и надо как-то отсеять, а мы наоборот ее запрашиваем.

Вот список поисковых систем, которые рассматривают группу слов, введенных через пробел, как задание на поиск любого из этих слов:

AltaVista Excite GoTo

Infoseek LookSmart Netscape Search

Snap WebCrawler Yahoo!

Следующие системы тоже способны выполнять поиск по любому из слов группы, но для этого надо либо установить соответствующий флажок, либо выбрать соответствующий пункт в меню:

Сложение наоборот

Если нам надо, чтобы поисковая система нашла страницы, на которых одно временно присутствуют все использованные ключевые слова, то перед каждым из них надо поставить знак «+». Предположим, вы хотите узнать, не 'было ли в жизни известного лица каких-нибудь щекотливых ситуаций. В этом случае в условии поиска надо указать:

+Клинтон +скандал

'Поисковая система выдаст список страниц, на которых встречаются оба слова, хотя, конечно, не исключено, что между ними нет прямой связи. Список слов может быть больше - тогда результаты поиска будут точнее, например:

+свет +оптика +линза

Использование знака «+» особенно полезно, если вы провели поиск по распространенному слову, но в ответ получили так много ссылок, что не знаeтe, как с ними поступить. Используя знак «+», мы сужаем круг поиска и уменьшаем количество возможных ссылок.

Знак «+» понимают все основные поисковые системы, за исключением LookSmart. А следующие системы выполняют такой поиск по умолчанию, даже если знак «+» не указан:

Имеет отличия и российская система Яndex. Если слова разделены пробелами, то система ищет одновременное появление этих слов, но только в пределах одного предложения. Если же требуется одновременность в пределах всего документа, надо использовать знак «+».Интересную особенность имеет и российская система Rambler. В ней знак«+» можно использовать для управления весовым коэффициентом при рейтинговании результатов. Так, например, поставив несколько знаков «+» перед каким-либо словом, можно форсировать отображение страниц, содержащих его, в вершине результирующего списка.

Арифметика вычитания

Интересно, что сужать круг поиска можно не только знаком «+», но и знаком «-».Допустим, вам надо написать для детского сада реферат о деятельности президента Клинтона, но при этом не хочется вникать в его историю с Моникой Ленински. Исключить Ленински из рассмотрения можно знаком «минус», например так.

Клинтон -Левински

Если, к примеру, нам надо написать реферат по оптике, но только по геометрической, а не по волновой, то поиск может быть таким:

+свет -оптика -волна

Последняя команда разыщет все страницы, где присутствуют слова свет и оптика, но покажет только ссылки на страницы, не содержащие слова волна.

Знак «-» понимают практически все основные поисковые системы.

Применим джокера

Возьмем следующее предложение:

В геометрической оптике световой луч рассматривается как прямая линия.

Интересно отметить, что поиск по команде +свет +оптика может его и но найти, хотя это самая настоящая геометрическая оптика. Мы дали команду искать слово свет, а в документе написано: световой. Мы дали команду искать слово оптика, а в документе написано: оптике. Разумеется, многие поисковые системы производят нормализацию слов, но не все и не всегда, так что не стоит на это полагаться, а следует использовать подстановочный символ «*». Как джокер в карточной колоде может заменить любую карту, так этот символ может заменить любой другой символ или набор любых символов до конца слова. Если бы мы сформировали свой запрос так:

+свет* +оптик* -волн* то наверное его результаты были бы шире без особой потери точности.

Контекстный поиск

А почему бы нам сразу не искать то, что надо?

+геометрическая +оптика

Может быть, это и было бы хорошим решением, но такой поиск выдаст ссылки на страницы, где упоминаются оба эти слова, причем совсем не Необязательно, что вместе. То есть, слово геометрическая может быть в одном конце текста, а слово оптика - совсем в другом. Если же мы хотим объедить оба эти слова в одно сочетание, то надо применить кавычки: