Сьогодні користувач Інтернет виявляється в тій же ситуації, що й читач великої бібліотеки. Чим більше фонди бібліотеки, тим сутужніше знайти саме ту книгу, що зараз потрібна. Для спрощення пошуку в бібліотеці існують каталоги: систематичний, алфавітний, предметний і інші. Існують і спеціалізовані каталоги, наприклад каталоги нових надходжень.

У Інтернет пошук забезпечують спеціальні пошукові служби. Уміння користуватися ними, власне кажучи, і становить уміння користуватися Інтернетом. Всі пошукові системи Internet засновані на гіперпосиланнях. Звертаючись до пошукової служби, ми формулюємо запит, у якому формально описуємо те, що хочемо знайти. Провівши потрібні операції, служба формує Web-документ, що складається з гіперпосилань, що ведуть до ресурсів Internet, що відповідають нашому запиту. Яким із цих гіперпосилань ми скористаємося - справа наша.

Незважаючи на те, що результат завжди єдиний (клієнт одержує список рекомендованих гіперпосилань), принцип дії в різних пошукових служб може бути різним. Нижче ми розглянемо, як класифікуються пошукові служби по типах надаваних послуг, а також по способах формування своїх ресурсів. Останнє дуже важливо для ефективної роботи не тільки користувачів, але й Web-майстрів. Користувачі повинні враховувати спосіб формування баз даних, щоб знати, на що вони можуть розраховувати при пошуку інформації, а Web-майстри повинні це знати, щоб домогтися найкращого подання своїх ресурсів в основних пошукових службах миру.

Пошукові каталоги схожі на предметні каталоги суспільних бібліотек. На початковій сторінці пошукового каталогу ми вибираємо тему, що нас цікавить, потім у рамках теми вибираємо категорію, потім підкатегорію, і так далі, поки не одержимо конкретний список Web-ресурсів, рекомендованих для перегляду. Найбільшим пошуковим каталогом миру сьогодні вважається пошукова система Yahoo! (www.yahoo.com) Вона надає приблизно 1 млн. посилань до ресурсів Internet, тобто охоплює ледве більше тисячної частки всього Web-простору.

Основним недоліком і, у той же час, достоїнством пошукових каталогів є «людський фактор». Дані, які заносяться в каталог, проходять «ручну обробку». Сьогодні на Yahoo! працюють до 150 редакторів, що щодня переглядають Web-простір у пошуках найцінніших ресурсів по темах, що викликає суспільний інтерес. Крім власних редакторів служба використає й інформацію, що поставляє Web-майстрами. Так, наприклад, теоретично будь-який власник Web-сторінки може самостійно заповнити покладену анкету й направити її на адресу служби. Правда, гарантії, що сторінка буде включена в каталог Yahoo!, це не дає, оскільки служба не засмічує свої каталоги посиланнями на сторінки-одноденки. Клієнтів служби завжди дратують посилання, що вказують на давно неіснуючі ресурси. Щоб не мати особливий головного болю по перевірці актуальності посилань, що зберігаються, служба Yahoo! воліє скрупульозно підходити до формування своїх каталогів. Старанність у підборі інформації забезпечує високу репутацію Yahoo!, незважаючи на те, що сукупний обсяг її ресурсів украй малий.

Інший підхід до формування каталогу демонструє пошукова служба Open Directory (dmoz.org). Як джерело для своїх ресурсів вона залучає користувачів Internet, які на добровільній основі можуть обдивлятися Web-сторінки, що сподобалися їм, каталогізувати їх і розміщати посилання на них на центральному сервері служби. Оскільки число добровільних помічників може бути дуже більшим, у цієї служби є всі шанси перекрити успіх Yahoo!. Але принцип добровільності не гарантує якісної роботи, тому каталоги, рівні Yahoo по якості, очевидно, з'являться ще не швидко.

Принцип дії пошукового покажчика схожий на принцип дії предметного каталогу бібліотеки. Користувач формує запит за допомогою ключових слів, що виражають об'єкт його пошуку, а пошукова система видає йому список посилань на Web-сторінки, що містять дані ключові слова. Якщо ми хочемо знайти інформацію, присвячену взаєминам А. Вольта з Н. Бонапартом, можна задати пошук документів, у яких одночасно зустрічаються слова Вольта й Бонапарт, наприклад так:

+Вольта +Бонапарт

або так:

Вольта AND Бонапарт

Основна відмінність пошукових покажчиків від пошукових каталогів складається з повної автоматизації всіх етапів роботи. Тут відсутній «людський фактор», і тому кількість Web-сторінок, до яких веде пошуковий покажчик, набагато більше. Улітку 1999 р. найбільші пошукові покажчики перебороли 200-мільйонний рубіж і, як повідомляють, що випливає рубіж (300-мільйонний) буде взятий в 2000 р.

Пошукові покажчики працюють у три етапи. Створення пошукової системи починається з розробки спеціальної агентської програми, що здатна подорожувати по Web-вузлах Інтернету, переглядати Web-сторінки й копіювати їхній зміст на центральний сервер пошукової системи. Такі агентські програми називають «черв'яками», «павуками», «пошуковими роботами» (скорочено «ботами»), «пошуковими машинами», «краулерами» і т.п. Різноманіття назв пов'язане з тим, що кожна пошукова система створює свою власну, неповторну програму й дає їй своє ім'я, що згодом стає загальним. Більшість сучасних пошукових систем починалися з того, що в 1993-94 роках в університетських лабораторіях були розроблені експериментальні програми для моніторингу Мережі.

Якщо при читанні Web-сторінки пошуковий робот знаходить на ній посилання на інші сторінки того ж Web-вузла, він переходить по цих посиланнях, читає їхній зміст і так далі. Як черв'як, він проникає в самі віддалені завулки Internet.

Другий етап роботи пошукової системи -- індексація. Зібрати на центральному сервері образи сотень мільйонів Web-сторінок -- це одна справа, а зуміти вибрати ті з них, які потрібні клієнтові, що сформував запит, -- зовсім інше. Відповідати треба дуже швидко, а для цього дані треба зберігати не як потрапило, а у вигляді спеціальних структур. Процес перетворення даних з тієї форми, у якій вони зберігаються на Web-сторінках, в інші форми, зручні для швидких переглядів, називається індексацією. У результаті індексації й утвориться база даних, що називають пошуковим покажчиком (індексом).

У кожної пошукової системи свої прийоми й методи індексації. Зокрема, перед індексацією більшість систем очищають документ від зарезервованих слів (stop-words), до яких ставляться артиклі, приводи, союзи, займенники й інші слова, що мають менш 4 символів. Однак не тільки короткі слова можуть бути зарезервованими. Дуже розповсюджені слова, такі як Computer і Internet теж резервуються. Шукати щось по них даремно, тому що вони зустрічаються повсюдно.

Спеціалізовані пошукові служби можуть використати й інші слова в якості зарезервованих. Наприклад, якщо служба займається пошуком книг (books), те слово book для неї може вважатися зарезервованим.

На етапі підготовки до індексації може відбуватися нормалізація слів (stemming) за рахунок відкидання суфіксів і закінчень. Після такої «зачищення» фраза типу «Ми із братом любимо ловити рибу» перетворюється в щось схоже на «брат люб лов риб». Вихідний документ може бути знайдений при пошуку по ключових словах «брат», «любов», «ловити», «риба», але ніколи за словами «ми» або «з».

Деякі системи роблять нормалізацію завжди. Ряд систем, що базуються на службі Inktomi (див. нижче) можуть діяти як тим образом, так і іншим. Служба Alta Vista не робить нормалізацію ніколи, і це її унікальна особливість, що, як буде показано нижче, активно використається для контекстного пошуку.

На основі «зачищеного» документа готується індекс. Індекс -- це особлива база даних, створена спеціальним образом, щоб прискорити пошук. Існує безліч методів індексації. Зрозуміло, вони не розголошуються. Як і пошуковий робот, алгоритм індексації становить комерційну таємницю пошукової служби, тому як приклад ми приведемо лише найпростіший тип індексу -- так званий зворотний файл.

Суть зворотного файлу полягає в тому, що складається словник із всіх слів, зустрінутих у всіх документах, зібраних пошуковим роботом, а потім для кожного слова записується група чисел, що вказують на те, у яких документах воно зустрічається, наскільки часто, а також деяка службова інформація.

Третій етап - відповідь на запит клієнта. Кращі пошукові системи у відповідь на запит переглядають свої індекси за десяті частки секунди й негайно повертають списки посилань, що ведуть до викликаних ресурсів. Робота відбувається в такий спосіб.

Система аналізує ключові слова, які клієнт використав у запиті. З ними виробляються ті ж операції звільнення від зарезервованих слів і нормалізації, після чого виконується пошук збігів із умістом пошукових індексів. Ці операції в більшості пошукових систем відбуваються приблизно однаково, але сама остання операція, коли по знайдених збігах формується підсумковий список посилань, завжди розрізняється. У кожної пошукової системи своя політика формування результуючого списку.

Якщо знайдено дуже багато посилань на ресурси, що задовольняють запиту, то встає проблема їхнього впорядкування. Тут важливо, які посилання дати на початку списку, а які - наприкінці, тобто, треба вводити якийсь рейтинг. Різні пошукові системи мають різні рейтингові системи. При вирахуванні рейтингу враховується безліч параметрів. За деяких нараховуються позитивні бали, а за деяких - навпаки штрафні. Позитивний рейтинг нараховується, зокрема, при наступних обставинах:

Ш якщо розшукувані слова зустрічаються на Web-сторінці неодноразово (але не занадто часто, і не підряд);

Ш якщо вони розташовані близько до початку сторінки;

Ш якщо ці слова присутні в заголовку сторінки;

Ш якщо Web-сторінка має ілюстрацію, альтернативний текст якої теж містить слова, уведені користувачем.

2. Рейтингування у пошукових системах

Коефіцієнт охоплення показує, наскільки база даних пошукової системи відбиває щиру кількість інформації, наявної по даній темі у світі. Тут спереду пошукові покажчики. Самі зроблені з hiix мають коефіцієнт охоплення порядку 25%. Пошукові каталоги, навпаки, не охоплюють і одного відсотка всіх наявних ресурсів.

3. Якість пошуку інформації в мережі Інтернет

4. Основні пошукові системи

1. AltaVista (http://www.altavista.com/).По кількості індексованих Web-сторінок Alta-Vista - одна з найбільших (але не сама велика, як це іноді вважається) пошукових систем миру. Величезний обсяг охоплення Web-простору й потужний набір пошукових команд роблять цю систему улюбленим засобом пошуку для більшості користувачів. Система була запущена в експлуатацію в грудні 1995 р. і довгий час уважалася молодий, але бурхливо розвивається. Для початківців система має спрощену службу, що називається Ask Alta Vista. У своїй роботі ця служба залучає іншу пошукову службу - Ask Jeeves (див. нижче). Незважаючи на те, що сьогодні Alta Vista уже не є самим зручним засобом пошуку й володіє не самим більшим індексом, її популярність як і раніше вище, ніж у служб, які перевершили її за багатьма показниками, що пов'язане з устояними звичками мільйонів користувачів.

2. FAST Search (http://www.alltheweb.com/).Ця система, що належить норвезької компанії, раніше називалася All TheWeb. Незважаючи на те, що вона була запущена зовсім недавно (у травні 1999 р.), перед нею ставиться завдання обігнати конкурентів у повноті колекцій посилань; на Web-сторінки. Здається, їй це вдається. Улітку 1999 р. FAST Search перше переступила 200-мільйонний рубіж проіндексованих Web-документів. Крім системи FAST Search та ж компанія контролює підрозділ системи Lycos, що займається пошуком музичних файлів у форматі МРЗ.

3. Go/Infoseek (http://www.go.com/).Go/lhfoseek--це сполучення відомої в минулому пошукової системи Infoseek (була заснована в 1995 р.) і сучасного порталу Go (створений в 1999 р. і належить відомої Walt Disney Co). Крім пошукових можливостей Infoseek портал представляє зареєстрованим користувачам можливість персонального настроювання середовища, безкоштовну електронну пошту й інші корисні cepвисы. Користувачі цієї системи відзначають високу якість посилань, що повертають системою, що пояснюється спеціальним «фірмовим» алгоритмом! пошуку. Крім автоматизованого покажчика система має також великий каталог Web-вузлів, що становить вручну.

4. Google (http://www.google.com/).Служба Google відома тим, що при генерації списку посилань у першу чергу видає посилання на ті Web-сторінки, до яких з інших документів веде найбільшу кількість посилань. Це дає дуже цікавий ефект. На більшості пошукових систем зовсім даремно шукати інформацію з таких тривіальних слів як Cars (Автомобілі), Internet, Internet, Games (Гри). Пошук по цих словах поверне стільки посилань, що серед них неможливо знайти самі корисні. Служба Google при проведенні пошуку по тривіальних словах дає відмінні результати, оскільки керується думкою інших користувачів, що раніше здійснювали подібний пошук.

5. MSN Search (http://search.msn.com/).Служба MSN Search, що належить компанії Microsoft була створена в 1998 р. і є порталом, на якому представлені й інші пошукові служби. В основу результатів пошуку, видаваних службою, покладений покажчик, що поставляє системою Inktomi.

6. Yahoo! (http://www.yahoo.com/) . Yahoo - одна з найстарших і найбільш популярних пошукових служб. Її каталог був запущений в експлуатацію ще в 1994 р. Секрет успіху Yahoo в «людському факторі». На службу працюють близько 150 редакторів, що невпинно поліпшують і поповнюють безліч тематичних розділів величезного каталогу. У каталозі втримуються дані по одному мільйоні Web-вузлів. Якщо пошук по власному каталозі не дає результату, залучаються ресурси пошукового покажчика Inktomi.

З більшим задоволенням ми повинні відзначити, що сектор Інтернету розвивається дуже бурхливо. Сьогодні ситуація така, що навіть якщо західний сектор за якимись причинами «накаже довго жити», наш сектор досить автономний, щоб розвиватися самостійно й гідно обслуговувати вітчизняних клієнтів.

Важливу роль у становленні й розвитку вітчизняного сектора Інтернету зіграли вітчизняні пошукові служби. Не знаємо, чи змогли вони до сьогоднішнього дня підійти до самооплатності, але в перші роки без сумніву працювали на ентузіазмі, добрій волі своїх співробітників і вірі в майбутнє. Є як універсальні, так і спеціалізовані пошукові служби.

7. Aport (http://www.aport.ru/). «Апорт» - один з перших пошукових покажчиків російського Інтернету. У минулому служба надавала традиційні загальноприйняті засоби пошуку, але потім впровадила нову систему й зробила великий крок уперед, особливо в тім, що стосується подання результатів пошуку. Вище ми вже відзначали, що сьогодні володіння самим більшим проіндексованим простором Web уже не є самоціллю. Головне - щонайкраще забезпечити потреби користувача, По способі подання результатів пошуку служба «Апорт 2000" у цей час є однієї із самих передових не тільки в Росії, але й у світі. Сторінка результатів пошуку доставляє естетичне задоволення, хоча й вимагає дозволу екрана не менш, ніж 600^х800 крапок

8. Rambler (http://www.rambler.ru/).Rambler--це рейтингова система, що володіє всіма основними функціями пошукових покажчиків. Як пошуковий покажчик, служба володіє одним з найбільших індексів у Росії, але їй явно бракує швидкодії й сучасних алгоритмів рейтингування результатів пошуку. Втім, це не дуже істотно, адже основну популярність служба придбала в першу чергу як рейтингова система. Вона дозволяє швидко виявити коло Web-вузлів, що поставляють інформацію на задану тему й оцінити їхня популярність по кількості відвідувань за останню добу. Ми вже говорили про те, що ця характеристика якості Web-ресурсу є відносної, але в тих випадках, коли мова йде про тему, що має суспільний інтерес, їй можна довіряти.

9. Яndех (http://www.yandex.ru/). Яndex - потужна пошукова служба, заснована на покажчику, що володіє як великою й представницькою базою даних по вітчизняних Web-ресурсах, так і витонченою системою індексації. Функціонування служби забезпечує компанія CompTek (http://www.comptek.ru/).

На основній сторінці служби сказано, що «пошук - це мистецтво». Однак це не означає, що для роботи з нею треба бути особливо митецьким. Просто для тих, хто воліє підходити до пошуку творчо й прагне розвивати своя майстерність, Яndех надає унікальні у своєму роді інструменти, зосереджені в розділі розширеного пошуку. Можливо, він навіть трохи випереджають свій час і прикрасили б західну пошукову службу, що має справу із сотнями мільйонів проіндексованих документів. А в російському секторі, де поки проіндексовано лише 10-20 млн документів, ми нерідко обходимося засобами простого пошуку.

Але й в області простого пошуку служба Яndех має ряд технологічних досягнень, насамперед інтелектуальний механізм морфологічного розбору слів, що особливо важливо для російської мови.

Цікава нова послуга, надавана службою. Для корпоративних клієнтів вона безкоштовно надає «полегшену» версію програми Яndeх.site, що виконує індексацію вмісту Web-вузла. Це зручно тим власникам Web-вузлів, які хотіли б організувати локальну систему для пошуку інформації в межах власного вузла. У той час як більшість пошукових служб зберігають свої засоби індексації як «зіницю ока», цей крок компанії CompTek виглядає вдалим маркетинговим ходом, що сприяє росту популярності служби.

Узагальнюючи все сказане вище, можна дати наступні рекомендації:

Ш для реферативного пошуку користуйтеся пошуковими каталогами;

Ш для поглибленого пошуку користуйтеся пошуковими покажчиками;

Ш для спеціального пошуку попередньо розшукайте персональні списки посилань, складені колегами;

Ш для пошуку «скомпрометованої інформації», наприклад хаккерської, користуйтеся рейтинговими системами;

Ш при виборі служби для контекстного пошуку краще зупинитися на «Яndех», а за рубежем альтернатив мало - найкраще використати пошукову службу Alta Vista.

Вибір засобу пошуку залежить від завдання. Є завдання, для яких підходять найбільші пошукові системи, але є завдання, для яких невеликий список на парі сотень посилань буде набагато корисніше. Правда, його теж треба ще розшукати, але це вже простіше, оскільки якщо він існує не один рік, те напевно добре відомий пошуковим системам.

Років п'ять назад кращої вважалася та служба, що володіла найбільшим індексом. Поки Web-сторінок було небагато, у результатах пошуку можна було орієнтуватися відносно легко. Тоді перевірити незнайому службу було дуже просто - треба було набрати досить розповсюджене слово, наприклад Pentium, і зрівняти, скільки посилань на нього дають різні пошукові системи.

Сьогодні величина індексу вже не має того значення, як його якість, хоча принцип перевірки залишається тим же самим. Уведіть просте й зрозуміле слово й подивитеся, наскільки знайдені Web-сторінки відповідають вашим очікуванням. Якщо, наприклад, при пошуку по слову Шахи пошукова система в якості першої (найважливішої!) посилання видає Web-сторінку, присвячену скульптурі, то цій системі потрібно ще якийсь час на адаптацію, перш ніж нею можна буде користуватися

Передбачається, що вам задана тема, яку треба освітити, але по ній немає ніякої інформації. Так звичайно буває, коли треба написати реферат, підготувати виступ, статтю, звіт, довідку й т.п. Часто реферат роблять не за завданням, а «для себе», у порядку підготовки до іншої, більшій роботі, наприклад до написання дисертації або книги.

У цьому випадку починати дослідження теми треба з пошукового каталогу. Це нічого, що в ньому відбитий тільки один мільйон сторінок - нам і цього багато. Двох-трьох сторінок зі змістовною інформацією звичайно буває досить, щоб зробити своя справа. До того ж ці сторінки теж мають корисні посилання. Ви можете бути впевнені в тім, що краща частина мережної інформації в таких каталогах, як Yahoo! обов'язково є присутнім.

Наприклад, ваш собака занедужав демодекозом. Ви чули, що хвороба ця невиліковна, але цікаво перевірити, що із цього приводу говорять світові світила. Ви можете одержати сотні посилань за допомогою пошукового покажчика типу Alta Vista. Серед них, звичайно ж, будуть посилання на найкращого фахівця у світі по даному питанню, але як їх угадати? З допомогою Yahoo! ви набагато швидше знайдете його Web-вузол.

Поглиблений пошук припускає, що загальне знайомство з питанням уже ость, але потрібні якісь дрібні деталі й тонкі нюанси. Пошуковий каталог тут може не допомогти -- занадто поверхово його знання про ресурси WWW. У цьому випадку треба використати пошуковий покажчик, а краще -- не один. Однак для того щоб відфільтрувати інформацію й звузити результати пошуку, треба застосовувати спеціальні засоби, зокрема засобу розширеного пошуку (див. вище). Методи простого пошуку можуть дати занадто багато побічної інформації.

Кожний, хто є фахівцем у якійсь області, знає ключові слова, характерні для неї, а вміння грамотно сформулювати завдання на пошук досягається методом проб і помилок. Допустимо, ви вважаєте себе фахівцем в області стратегічних ігор реального часу й з основними досягненнями в цій області вже знайомі. Допустимо, ви хочете знайти нову для себе інформацію. Навряд чи Yahoo! дасть те, чого ви не знаєте - все це ви вже читали. Спробуйте за допомогою системи Alta Vista зробити пошук по ключових словах:

( realtime NEAR strategy) AND computer AND game

Це приклад розширеного пошуку. Він поверне посилання на документи, у яких присутні всі ці слова й, більше того, слово realtime перебуває поруч (NEAR) зі словом strategy. У відповідь на такий запит ви одержите чимало посилань. Але ви ж фахівець! Ви вже знаєте основні ресурси й зумієте в цьому довгому списку виділити ті посилання, які ведуть до раніше невідомих ресурсів.

Спеціальний пошук важкий і в пошукових каталогах, і в пошукових покажчиках. Якщо, наприклад, ви займаєтеся фізикою лазерів, то потонете в посиланнях, що ведуть до науково-фантастичних романів, у яких згадуються лазери. Як фахівцеві, вам найкраще користуватися списками посилань, складеними іншими фахівцями або невеликими пошуковими системами наукових установ. А щоб вийти на них, варто починати з пошукового каталогу. інтернет пошукова система yahoo яndех

Практична частина