О. А. Бойченко

Размещено на http://www.allbest.ru/

Про створення системи пошуку інформації в глобальній комп'ютерній мережі

О.А. Бойченко, Інститут проблем реєстрації інформації НАН України

Анотація

інформація комп'ютерний мережа пошуковий

Дана стаття присвячена проблемі збереження та пошуку інформації в глобальних комп'ютерних мережах. В ній розглядаються існуючі пошукові системи, аналізуються їх недоліки та пропонується нова розподілена система, яка дозволить підвищити ефективність пошуку різних типів інформації.

Ключові слова: пошук інформації, глобальні комп'ютерні мережі

Вступ

У зв'язку з бурхливим розвитком телекомунікаційних технологій і, зокрема, мережі Internet, надзвичайної актуальності набуває задача створення ефективних систем пошуку інформації. Крім того, з кожним роком зростає частка мультимедійної інформації в загальному інформаційному середовищі та її значення для користувачів. Це призводить до необхідності розробки стратегій, які б дозволяли вирішити проблему забезпечення користувачів глобальних мереж ефективним доступом до мультимедійних ресурсів. В даній статті розглядаються існуючі пошукові системи, аналізуються їх недоліки і пропонується рішення, яке здатне забезпечити високу ефективність пошуку інформації у територіально-розподіленій мережі. Система складається з кількох рівнів і дозволить працювати не лише з текстовими, але й мультимедійними даними.

Існуючі системи пошуку

Стрімке розростання глобальних комп'ютерних мереж і, відповідно, збільшення обсягу інформації, яка розміщується в них, призвели до появи систем, які виконують перегляд об'єднаних у мережу інформаційних ресурсів, їх індексацію та задоволення запитів користувачів. На даний момент в мережі Internet існує чимало таких пошукових систем. Можна назвати, зокрема, глобальні сервери: Alta Vista, Excite, GoTo.com, Infoseek, LookSmart, Lycos, російськомовні: Rambler, Яndex, Апорт, з'являються і українські системи, наприклад, Мета. Існуючі системи пошуку можна поділити на глобальні -- тобто такі, що намагаються охопити всю мережу (рис.1.) та локальні -- такі, що індексують окремий регіон.

Традиційна пошукова система базується на програмах-роботах (ПР), які переглядають документи в мережі сторінку за сторінкою, використовуючи взаємні посилання між документами [1, 2, 3]. Такі програми призначені для роботи з гіпертекстовими документами, що відповідають вимогам стандарту HTML.

Документи, виконані за протоколом HTTP, зберігаються на Web-серверах. Індексний сервер обробляє знайдені документи, заносячи посилання на них до бази індексів. Користувачі звертаються до індексних серверів, звичайно використовуючи Web-браузери, для отримання адреси документів, що містять потрібну їм інформацію.

Існуючі системи пошуку мають ряд відомих недоліків [2, 4]:

О. А. Бойченко

Размещено на http://www.allbest.ru/

Рис.1. Традиційна пошукова система.

1) глобальні пошукові системи не можуть своєчасно проіндексувати всю мережу, оскільки кількість документів зростає надто швидко; документи, що знаходяться на серверах постійно змінюються;

2) локальні пошукові системи охоплюють лише якусь обмежену область мережі і не можуть дати відповідь на запит стосовно інформації, що міститься поза межами даної області;

3) пошук може проводитися лише по словах, або переглядом рубрик в існуючих каталогах;

4) існуючі пошукові системи не індексують ніяких видів інформації крім текстової;

5) програми-роботи в процесі індексації викликають значне зростання трафіку, так як індексація нової сторінки передбачає її пересилку на індексний сервер.

Рішення, що пропонується

Для подолання виявлених недоліків пошукових систем, пропонується створити додатковий рівень обробки інформації, який би забезпечував зв'язок окремих індексних серверів між собою та користувачами. В результаті утворюється система, яка складається з кількох рівнів (рис.2.).

О. А. Бойченко

Размещено на http://www.allbest.ru/

Рис.2. Рівні системи пошуку

На рівні даних знаходяться інформаційні сервери, на яких розміщуються бази даних та файлові сховища. Файли можуть бути різних типів: гіпертекстові, мультимедійні, архівні та ін. Web-сервер -- це будь-який базований на HTML сервер, наприклад FastTrack або Enterprise Server компанії Netscape, Internet Information Server компанії Microsoft. Опишемо структуру звичайного інформаційного сервера [2,4].

На рівні індексів розміщуються індексні сервери, що забезпечують індексацію інформації, яка розміщується на рівні даних. Кожен сервер охоплює певну область рівня даних. Такі області можуть перетинатися.

На рівні областей розміщуються метаіндексні сервери, які забезпечують взаємодію між сервером індексів та запитами користувачів. Метаіндексний сервер володіє інформацією про всі індексні сервери та відповідні ним області даних. Це дозволяє йому для відповіді на запит користувача використовувати інформацію про весь рівень даних.

На рівні клієнтів знаходяться користувачі, які виконують запити на пошук необхідної їм інформації, використовуючи для цього стандартні засоби перегляду. Клієнтом звичайно є Web-браузер, такий як Netscape Navigator або Microsoft Internet Explorer. Також, на цьому рівні знаходяться прикладні програми, які можуть формувати запити на отримання даних з мережі.

Взаємодія рівнів при індексації

При створенні (інсталяції) індексного сервера визначається інформаційна область, яку буде обслуговувати даний сервер. Для цього використовуються критерії поділу інформаційного простору, що будуть визначені далі. Якщо визначена область вже частково чи повністю охоплюється іншими індексними серверами, то новий сервер може наповнюватись за рахунок готових індексних баз цих серверів. Для формування власної індексної бази і підтримання її у актуальному стані, тобто такому, що відтворює реальний стан відповідної області, індексний сервер виконує індексацію серверів даних, що лежать в межах цієї області.

Індексація інформації виконується за нижченаведеним алгоритмом:

1) вибрати адресу документу з поточної бази адрес;

2) отримати з сервера даних документ;

3) якщо дата модифікації документу не змінилася, перейти до п.9;

4) видалити записи про даний документ з бази індексів;

5) на основі інформації в документі створити стек розпізнаних об'єктів;

6) занести адресу документу до нової бази адрес;

7) вибрати зі стеку об'єктів адреси і занести їх до нової бази адрес;

8) вибрати зі стеку об'єктів слова і занести їх до бази індексів;

9) перейти до наступного запису в поточній базі адрес.

Взаємодія індексних та метаіндексних серверів зображена на рис.3. Метаіндексний сервер при інсталяції отримує інформацію про існуючі області від інших метаіндексних серверів. Після цього він може формувати додаткові індексні області (1), інформація про які стає доступною іншим. Індексний сервер при інсталяції звертається до метаіндексного (2) за отриманням області для індексації. Метаіндексний сервер виділяє йому деякі з визначених областей (3).

О. А. Бойченко

Размещено на http://www.allbest.ru/

Рис.3. Взаємодія індексного та метаіндексного серверів

Після інсталяції індексний сервер розпочинає перегляд виділеної йому множини областей, використовуючи перегляд документів та оброблюючи гіпертекстові посилання в документах.

Обробка в системі мультимедійних даних

Оскільки частка мультимедійної інформації буде зростати, необхідною є реалізація ефективних механізмів роботи віддалених користувачів з такою інформацією. Для забезпечення швидкодії пропонується формування текстових індексів до мультимедійних даних.

При внесенні файлу до бази даних, формується множина слів, яка описує даний файл. Опис може виконуватись в автоматичному, ручному або змішаному режимі.

В автоматичному режимі файл мультимедії аналізується спеціальною програмою розпізнавання, яка намагається знайти у ньому якийсь базовий образ. Для виконання такої роботи планується використати програмне забезпечення фірми Informix, що використовує технологію Illastra [5].

В ручному режимі опис формується оператором. Тобто, наприклад, деякий файл буде описаний таким чином: «фото, запуск космічного корабля, старт».

При змішаному режимі, індекси, попередньо сформовані програмою-розпізнавачем, переглядаються і, в разі необхідності, правляться людиною.

Обробка запитів користувачів

Схема проходження запитів через систему та обробка цих запитів наведена на рис.4.

О. А. Бойченко

Размещено на http://www.allbest.ru/

Рис. 4. Проходження запитів через систему пошуку.

1. Запит користувача до метаіндексного сервера.

2. Запит метаіндексного сервера до індексних серверів.

3. Відповіді індексних серверів на отриманий від метаіндексного сервера запит.

4. Відповідь метаіндексного сервера на запит клієнта.

5. Запит користувача до сервера даних.

6. Відповідь сервера даних на запит клієнта.

Обслуговування запитів користувачів відбувається наступним чином:

1) для того, щоб отримати інформацію, яка міститься на серверах в мережі, клієнт з'єднується з деяким метаіндексним сервером і, використовуючи інтерфейс останнього, формує свій запит (1);

2) метаіндексний сервер обробляє отриманий запит і, відповідно до параметрів запиту, формує запити до окремих індексних серверів (2);

3) індексний сервер, отримавши запит, виконує пошук в своїй індексній базі і формує відповідь, яку пересилає метаіндексному серверу (3);

4) метаіндексний сервер, отримавши відповіді від індексних серверів компонує файл зі знайденими заголовками і пересилає їх клієнту (4);

5) клієнт аналізує отримані заголовки і вибирає дані, які його найбільш задовольняють. Після цього, клієнт з'єднується з серверами (5) і отримує необхідні файли (6).

Висновки

Дана система позбавлена таких недоліків існуючих пошукових систем як обмеженість області пошуку та неактуальність інформації. Крім того, вона дозволить провадити індексацію мультимедійних ресурсів та пошук в них. Використання даної системи пошуку інформації забезпечить ефективний доступ клієнтів до найбільш актуальної інформації, яка знаходиться як в базах даних (БД), так і на серверах Internet. Локалізація індексних серверів забезпечує зменшення трафіку, породжуваного програмами-роботами. У кінцевому рахунку, застосування описаного підходу дозволить оптимізувати процеси зберігання, індексації та пошуку даних і в результаті -- покращити якість обслуговування користувачів.

Література

1. Левчик В. А. Поисковые ресурсы в Интернете. http://www.riis.ru/windows/INTERNET/levchik.html. 1996.

2. Пустовалов Д. Архитектура программных систем сбора данных и управления // Открытые Системы. -- 1997. -- №5. -- С. 20-28.

3. Храмцов П. Моделирование и анализ работы информационно-поисковых систем Internet // Открытые Системы. -- 1996. -- №6. -- С. 38-41.

4. Gonzalves, P. F.; Salgado, A. C.; Meira, S. R. L. Digital Neighbourhoods: Partitioning the Web for Information Indexing and Searching. Accepted for publication in CAiSEґ97 -- The Ninth Conference on Advanced Information Systems Engineering. Barcelona, Catalonia, Spain, 16-20 June 1997, http://www.di.ufpe.br/~pfg/artigos/caise97.ps.gz.

5. Иван Коваль. Технология Universal Web Connect компании Informix // Сети. -- 1997. -- №9. -- С. 12-15.

Размещено на Allbest.ru