Информационные поисковые системы

2

17

Введение

Интернет сегодня - это не только огромное количество компьютеров, но и невероятное количество людей, для которых сеть является принципиально новым способом общения, почти не имеющим аналогов в материальном мире. Человек - существо социальное, и общение с себе подобными - одна из первейших его потребностей. До сих пор еще ни одно техническое изобретение (не считая телефона) не производило такого переворота в этом древнем занятии - общении человека с человеком.

В начале 70-х годов Министерство обороны США приступило к разработке системы связи, которая должна была соединить между собой компьютеры всех центров противоракетной обороны страны. К надежности системы предъявлялись высокие требования: выход из строя любых ее составляющих (то есть компьютеров и линий связи) не должен был сказаться на качестве и скорости связи между остальными участниками информационного обмена. На протяжении почти десяти лет развитие сетевых технологий шло малозаметно для широкой публики: услугами сети пользовались в основном программисты и военные. Но затем, опираясь на их опыт, многие организации стали создавать системы компьютерной связи между своими подразделениями, предприятиями, разнесенными на большие расстояния. К примеру, в конце 80-х годов Национальный научный фонд США организовал 5 вычислительных центров, базирующихся на супер-ЭВМ, и сотням научных лабораторий и университетов, которым потребовался доступ к этим компьютерам, пришлось объединиться в одну сеть.

"Интернет" не является отдельной сетью: на самом деле это сообщество сетей - “сеть сетей”, в которую сейчас входит более 2 миллионов компьютеров во всем мире. Достаточно просто быть подключенным к части Сети, чтобы иметь доступ к ресурсам любого компьютера.

“Интернет”- не говоря уже о том, что его появление ознаменовало новую эпоху в развитии коммуникации, - позволило человечеству бесконечно расширить свои познания в любой, даже самой немыслимой, сфере деятельности или исследований. А так как развитию “Интернета”, с одной стороны способствовали коммерческие организации, фирмы, использующие сеть для обмена деловой информации и публикации рекламы, с другой - студенты, помещающие на всеобщее обозрение множество материалов развлекательного характера, то здесь много полезного найдут себе и бизнесмены, и просто любители со вкусом отдохнуть. К настоящему моменту спектр возможностей Сети растет с каждым годом.

Интернет - всемирная компьютерная сеть, представляющая собой единую информационную среду и позволяющая получить информацию в любое время. Но с другой стороны в Интернете храниться очень много полезной информации, но для поиска её требуется затрачивать много времени. Эта проблема послужила поводом к появлению поисковых машин.

1. Развитие поисковых систем

Рассмотрим исторические предпосылки развития поисковых систем. Обратимся к истории возникновения сети интернет, которая была создана в связи с возникшей необходимостью совместного использования информационных ресурсов, распределенных между различными компьютерными системами. Большинство первых приложенийбыли разработаны исключительно для обмена данными между хост-компьютерами интернет. Другие приложения, создавались для того, чтобы пользователь получил возможность доступа не только к информации, но и к рабочим ресурсам удаленной системы. По мере развития интернет (увеличения пользователей и хост-компьютеров) прежние методы обмена данными перестали отвечать возросшим потребностям пользователей. Возникла необходимость разработки новых способов поиска сетевых ресурсов и доступа к ним, которые позволяли бы использовать информацию независимо от ее формата и расположения. Для удовлетворения таких потребностей сначала были созданы поисковая система Archie, решающая задачу локализации ресурсов на FTP-сервере, и система Gopher, упрощающая доступ к различным сетевым ресурсам. Затем были разработаны сетевые информационные системы WWW и WAIS, предлагающие абсолютно новые методы получения информации. Принципы работы этих систем позволяют легко ориентироваться в огромном количестве информационных ресурсов без необходимости предоставления механизмов работы самой сети интернет. Такой подход позволяет говорить уже не просто о ресурсах взаимосвязанных компьютерных систем, а об особых информационных пространствах сети. Система Archie представляет собой комплекс программных средств, работающих со специальными базами данных. В этих базах данных содержится постоянно пополняющаяся информация о файлах, к которым можно получить доступ через сервис. Пользуясь услугами системы Archie, можно осуществить поиск файла по шаблону его имени. При этом пользователь получит список файлов с точным указанием места их хранения в сети, а также с информацией о типе, времени создания и размере файлов. Доступ к информационно-поисковой системе Archie может осуществляться различными путями, начиная от запросов по электронной почте и с помощью сервиса Telnet и заканчивая использованием графических Archie-клиентов. Система Gopher была разработана для упрощения процесса локализации ресурсов интернет и для более удобного представления сведений о содержании хранящихся на серверах файлов. Система Gopher дает возможность в удобной форме (в виде меню) представлять пользователям об имеющихся файлах и их содержании. Меню Gopher-серверов могут содержать ссылки на другие серверы. Таким образом, пользователь получает возможность “путешествовать" по интернет, не обращая внимания на местонахождение интересующих его ресурсов, и получать доступ к этим ресурсам. Под информационной системой в дальнейшем понимается - организованная совокупность программно-технических и других вспомогательных средств, технологических процессов и функционально-определённых групп работников, обеспечивающих сбор, представление и накопление информационных ресурсов в определённой предметной области, поиск и выдачу сведений, необходимых для удовлетворения информационных потребностей установленного контингента пользователей - абонентов системы.

Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» -- бот, разработанный Мэтью Грэем из Массачусетского технологического института в 1993 г. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой (то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994 г. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице -- с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 г. был запущен «Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины Rambler и Aport. 23 сентября 1997 г. была открыта поисковая машина Яндекс.

1.1 Задачи поиска

Автоматизированная поисковая система - система, состоящая из персонала и комплекса средств автоматизации его деятельности, реализующая информационную технологию выполнения установленных функций.

Опыт и практика создания систем в различных сферах деятельности позволяет дать более широкое и универсальное определение, которое полнее отражает все аспекты их сущности.

Под информационной системой в дальнейшем понимается - организованная совокупность программно-технических и других вспомогательных средств, технологических процессов и функционально-определённых групп работников, обеспечивающих сбор, представление и накопление информационных ресурсов в определённой предметной области, поиск и выдачу сведений, необходимых для удовлетворения информационных потребностей установленного контингента пользователей - абонентов системы.

Рассмотрим постановку задачи поиска в общем виде. Для этого нам необходимо ответить на три вопроса: что искать, то есть, какие источники информации, где искать (места размещение этих источников) и как искать (какие инструменты для этого использовать).

Каковы основные источники информации, представленные в Интернете? Это документы WWW, статьи в группах новостей и списках рассылки, файлы в библиотеках файлов, справочники адресной информации организаций и людей (электронная почта, адрес, телефон), статьи в тематических базах данных, энциклопедиях.

Это такие популярные ресурсы Интернет, как WWW, группы новостей, списки рассылки.

Безусловно, можно искать нужные источники информации вручную, узнавать адреса из специализированных журналов по информатике и Интернету, использовать специальные бумажные справочники с классифицированными по категориям адресами. Однако для такого изменчивого пространства как Интернет необходимо научиться пользоваться специальными инструментами, цель которых - собирать данные об информационных ресурсах и предоставлять пользователям услугу быстрого поиска.

ИПС (информационно-поисковая система) - это система, обеспечивающая поиск и отбор необходимых данных в специальной базе с описаниями источников информации (индексе) на основе информационно-поискового языка и соответствующих правил поиска.

Главной задачей любой ИПС является поиск информации релевантной информационным потребностям пользователя. Очень важно в результате проведенного поиска ничего не потерять, то есть найти все документы, относящиеся к запросу, и не найти ничего лишнего. Поэтому вводится качественная характеристика процедуры поиска - релевантность.

Релевантность - это соответствие результатов поиска сформулированному запросу.

Далее мы будем, в основном, рассматривать ИПС для всемирной паутины (WWW). Основными показателями ИПС для WWW являются пространственный масштаб и специализация. По пространственному масштабу ИПС можно разделить на локальные, глобальные, региональные и специализированные. Локальные поисковые системы могут быть разработаны для быстрого поиска страниц в масштабе отдельного сервера. Региональные ИПС описывают информационные ресурсы определенного региона, например, русскоязычные страницы в Интернете. Глобальные поисковые системы в отличие от локальных стремятся объять необъятное - по возможности наиболее полно описать ресурсы всего информационного пространства сети Интернет.

В общем случае, можно выделить следующие поисковые инструменты для WWW: каталоги, поисковые системы, метапоисковые системы.

Следует отметить, что при выполнении запроса поисковая система не ищет документ непосредственно в Интернете. Она обращается к своей базе данных, где в компактном виде собраны данные об информации в Интернете. Возможно, что реальное состояние Интернета несколько отличается оттого, что храниться в базе данных. Поисковые системы постоянно пополняют и обновляют свои базы данных, чтобы минимизировать такое несовпадение. Существует два способа пополнения информации в базы данных поисковых машин:

- Разработчик Web-страницы самостоятельно добавляет ссылку на неё в поисковую систему. Большинство систем позволяют это сделать совершенно бесплатно.

- Специальная программа, называемая роботом, находит ссылку на новую страницу во Всемирной паутине. Роботы запускаются поисковой системой, что бы проверить, существуют ли ранее найденные документы и не появились ли новые.

1.2 Каталог и метапоисковая машина

Каталог - поисковая система с классифицированным по темам списком аннотаций со ссылками на web-ресурсы. Классификация, как правило, проводится людьми.

Поиск в каталоге очень удобен и проводится посредством последовательного уточнения тем. Тем не менее, каталоги поддерживают возможность быстрого поиска определенной категории или страницы по ключевым словам с помощью локальной поисковой машины. База данных ссылок (индекс) каталога обычно имеет ограниченный объем, заполняется вручную персоналом каталога. Некоторые каталоги используют автоматическое обновление индекса.

Результат поиска в каталоге представляется в виде списка, состоящего из краткого описания (аннотации) документов с гипертекстовой ссылкой на первоисточник.

Отличие каталогов от поисковых систем заключается в том, что каталоги не посылают никаких роботов, чтобы индексировать вашу страницу или веб-сайт. Наиболее известным каталогом является Yahoo.com. Для регистрации в каталоге вам необходимо найти раздел, в который вы хотите поместить свою страницу, послать краткое описание сайта и список ключевых слов для поиска вашей страницы в каталоге. Затем эта информация просматривается и оценивается людьми, которые решают, стоит ли включать ваш информацию в каталог или нет. Поисковые системы используют для индексирования сайтов так называемых "поисковых роботов", спайдеров (от английского слова "spider", что значит "паук"). Робот - это небольшая программа, которая ходит по ссылкам на сайте и индексирует (собирает и запоминает) встреченную на пути информацию.

Принцип работы поисковых роботов приблизительно следующий: вы предоставляете поисковой системе точный адрес страницы, которую нужно зарегистрировать. Поисковая система проверяет, существует ли по этому адресу страница, и если да, то страничка вносится в "график посещения". Между временем, когда вы зарегистрировали страницу в поисковой системе и временем, когда вашу страничку посетит поисковый робот может пройти от нескольких минут до нескольких недель. Так что не спешите сразу же проверять наличие вашей страницы или сайта в поисковой системе.

Метапоисковая система. Обратите внимание на то, что различные поисковые системы описывают разное количество источников информации в Интернет. Поэтому нельзя ограничиваться поиском только в одной из указанных поисковых системах. Теперь познакомимся с инструментами поиска, которые не формируют собственный индекс, но умеют использовать возможности других поисковых систем. Это метапоисковые системы (поисковые службы) - системы, способные послать запросы пользователя одновременно нескольким поисковым серверам, затем объединить полученные результаты и представить их пользователю в виде документа со ссылками.

Преимущества мета поиска. Лучшие стороны многих ведущих поисковых систем. Базы данных традиционных поисковиков. Мета поиск может сделать сайт более заметным для пользователей. Его преимущество - в том, что в рамках одного поиска используются лучшие стороны многих ведущих поисковых систем, таких, к примеру, как Google, Yahoo! и AllTheWeb. Вы не сможете включить ваш сайт в индекс мета поисковых систем: у них просто нет своих баз данных. Вам нужно сперва правильно зарегистрироваться в обычных поисковых системах, а мета поисковики используют их результаты поиска при обработке своих запросов.

До недавнего времени каждая отдельная традиционная поисковая система индексировала несравненно меньший объем данных, чем тот, который учитывался при осуществлении мета поиска. Сейчас, с появлением поисковиков с (глубокой индексацией Web; Google, AllTheWeb и других), ситуация постепенно меняется.

Но все же используя мета поисковые системы вы существенно расширяете зону поиска, так как они опрашивают множество баз данных.

Большинство поисковых систем перешло на четырехэтапную структуру работы. Первые три этапа почти для всех поисковых систем одинаковы. Сначала поисковая система индексирует (собирает) информацию и заносит их в базу данных, потом, с учетом морфологии, разрезает все слова страниц на составляющие. Если человек обращается к поисковому процессору, то в действие вступает третий и четвертый этапы работы поисковой системы, она выбирает из базы абсолютно все документы, соответствующие данному запросу, а потом уже выводит их в зависимости от того, какая страница имеет больший поисковый вес, точность вхождения поисковой фразы, дату обновления и т.д.

Такая выборка, на основе многих параметров, называется ранжированием результатов поиска. Первые механизмы ранжирования документов строились на основе точности вхождения самого текста в поисковый запрос. Но это оказалось неактуальным, потому что степень вхождения поисковой фразы, расположение ее в теле документа или список ключевых слов не давал полного представления о документе.

Самый известный класс формул для вычисления веса документа по отношению к запросу называется TF*IDF. TF*IDF -- численная мера соответствия слова и документа; она тем больше, чем относительно чаще (TF -- частота термина в документе) слово встретилось в документе и относительно реже (IDF -- редкость слова; величина, обратная частоте слова в коллекции) в коллекции. Именно механизмы ранжирования отличают поисковые системы одну от другой. Сейчас каждая поисковая система старается предложить свои механизмы ранжирования документов, чтобы занять лидирующее положение на поисковом рынке. Во многих поисковых системах на результаты поиска влияет около 200-300 факторов, которые тщательно скрываются от конкурентов. Именно они (совместно со скоростью индексации и объемами указателей) и помогли в свое время Гуглу опередить некогда лидирующую АльтаВисту.

Качество результатов поиска мета поисковыми системами напрямую зависит от качества поиска традиционных поисковиков. Но возможности мета поисковиков постоянно расширяются, они становятся более популярными, и, соответственно, будет расти число их пользователей. Согласно исследованию, в октябре 2001 года 23,4 миллиона уникальных посетителей использовали мета поисковые системы при поиске информации в сети.

2. Принцип работы поисковых систем

Поисковая система -- веб-сайт, предоставляющий возможность поиска информации в Интернете. Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на серверах, товары в интернет-магазинах, а также информацию в группах новостей.

В большинстве случаев информационная потребность возникает после изучения какой-либо новой информации, полученной пользователем.

Основатели и разработчики первых поисковых систем воспользовались методом поиска книг в библиотеках. Они создали тематические каталоги, в категориях которых и располагались нужные сайты. Человек заходил в каталог, выбирал нужную рубрику и получал несколько сайтов по тематике, к ней относящихся. По началу, когда сайтов было не много, все было прекрасно, а потом стало все сложней и сложней отыскать нужный ресурс. Рубрик становилось все больше и больше, вложенность категорий все росла и росла. В конеце концов приходилось проделывать путь в множество подкатегорий, а если в какой-то категории «свернуть» не туда, то можно было просто ничего не найти.

Потом постепенно все поисковые системы начали переходить на «поисковые указатели». В отличие от каталогов, поисковые указатели формируют связки «Запрос -- ответ», и к «ответам» могли приписываться несколько разных ресурсов. Но впоследствии выяснилось, что это трудно не только для людей, но и для поисковых машин, потому что на любой распространенный запрос «высыпались» сотни тысяч ответов, в которых просто невозможно было разобраться. И именно поэтому возможность выбора поисковиком из этой «горы» информации полезных двадцати-тридцати ссылок и стала определяющей на поисковом рынке.

Как правило, основной частью поисковой системы является поискоовая машиина (поискоовый движоок) -- комплекс программ, обеспечивающий функциональность поисковой системы. Основными критериями качества работы поисковой машины являются релевантность (степень соответствия запроса и найденного, то есть уместность результата), полнота базы, учёт морфологии языка. Индексация информации осуществляется специальными поисковыми роботами. В последнее время появился новый тип поисковых движков, основанных на технологии RSS, а также среди XML-данных разного типа.

Поисковые cистемы обычно состоят из трех компонентов:

1. агент (паук или кроулер), который перемещается по Сети и собирает информацию;

2. база данных, которая содержит всю информацию, собираемую пауками;

3. поисковый механизм, который люди используют как интерфейс для взаимодействия с базой данных.

2.1 Популярные и необычные поисковые системы

1. Google (34,4 % Русскоязычного сегмента).

2. Bing (0,9 % Русскоязычного сегмента).

3. Yahoo! (0,2 % Рунета) и принадлежащие этой компании поисковые машины: Inktomi, AltaVista, Alltheweb.

Англоязычные и международные: AskJeeves (механизм Teoma).

Рейтинг российских поисковых систем. Основные поисковые системы:

1. http://www.yandex.ru/ -- 54.8267%

2. http://www.rambler.ru/ -- 21.7645%

3. http://www.google.com/ -- 15.6207%

4. http://www.mail.ru/ -- 4.5466%

5. http://www.aport.ru/ -- 1.5788%

Необычные поисковые системы. Русскоязычные - большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках -- украинском, белорусском, английском и др. Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык или другими способами ограничивают своих роботов русскоязычными сайтами.