Организация информационно-поисковых систем в Интернете

При работе с WAIS пользователям не нужно тратить много времени, чтобы найти необходимые им материалы.

В сети Internet существует более 300 WAIS - библиотек. Но поскольку информация представляется преимущественно сотрудниками академических организаций на добровольных началах, большая часть материалов относится к области исследований и компьютерных наук.

WWW

WWW - система для работы с гипертекстом. Потенциально она является наиболее мощным средством поиска. Гипертекст соединяет различные документы на основе заранее заданного набора слов. Например, когда в тексте встречается новое слово или понятие, система, работающая с гипертекстом, дает возможность перейти к другому документу, в котором это слово или понятие рассматривается более подробно, часто используется в качестве интерфейса к базам данных WAIS. Но отсутствие гипертекстовых связей ограничивает возможности WWW до простого просмотра, как у Gopher.

Пользователь со своей стороны может задействовать возможность WWW работать с гипертекстом для связи между своими данными и данными WAIS и WWW таким образом, чтобы собственные записи пользователя как бы интегрировались в информацию для общего доступа. На самом деле этого, конечно, не происходит, но воспринимается именно так.

Но А.Ю. Келина [16] пишет, что есть так же и четвертая справочно-поисковая система сети Интернет, которая не менее важна, чем три названные. Это- AltaVista.

AltaVista

Индексирование в этой системе осуществляется при помощи робота.

Наиболее интересная возможность AltaVista - это расширенный поиск. Здесь стоит сразу оговориться, что, в отличие от многих других систем AltaVista поддерживает одноместный оператор NOT. Кроме этого, имеется еще и оператор NEAR, который реализует возможность контекстного поиска, когда термины должны располагаться рядом в тексте документа. AltaVista разрешает поиск по ключевым фразам, при этом она имеет довольно большой фразеологический словарь. Кроме всего прочего, при поиске в AltaVista можно задать имя поля, где должно встретиться слово. К сожалению, подробно процедура ранжирования в документации по системе не описана, но видно, что ранжирование применяется как при простом поиске, так и при расширенном запросе. Реально эту систему можно отнести к системе с расширенным булевым поиском.

Далее следует рассмотреть некоторые из современных ИПС, основываясь на книге И.С, Ашманова [1].

Rambler

Поисковая система Рамблер начала свое существование с 1996 года. На сегодняшний день она является одной из самых популярных в РуНете, уступая лишь Яндексу (по популярности). По оценкам SpyLog на Рамблер приходится 20-25% от всех поисковых запросов РуНета.

Поисковая система Рамблер при поиске учитывает морфологию русского языка, что дает больше возможностей для эффективного поиска информации. Реализована также система так называемых "перевязок", которая позволяет выдавать в результатах поиска не только страницы, содержащие запрос, но и слова, которые являются синонимами запроса. Еще одной функцией «перевязок» является выдача контекстной рекламы не только по конкретному запросу, но и по запросам, которые тесно связаны с исходным, это позволяет перекрыть большее количество целевой аудитории.

Компания Рамблер по праву считается первой крупной рекламной площадкой российского Интернета и стоит у истоков классического сетевого рекламного бизнеса.

Yandex

На сегодняшний день имеет самую большую базу данных, которая размещена на нескольких серверах.

В 1996 году компанией CompTek, созданной со стопроцентным американским участием, на выставке Internetcom было официально объявлено о существовании "Яндекса". Это была морфологическая приставка к "Альтависте", которую отличало быстродействие и умение строить гипотезы. Пословный индекс для незнакомых слов организован также, как и для словарных - этим "Яндекс" отличается от других поисковиков.

В сентябре 1997 года "Яндекс" стал интернет-проектом. Релевантность документов вычислялась в зависимости от частотных характеристик искомых слов, веса слова или выражения, близости искомых слов в тексте документа друг к другу и так далее. И главное нововведение этой поисковой системы, которое потребовало неизбежной перестройки ядра, - ранжирование по ссылкам. Другие нововведения относятся, главным образом, к переформулированию системой запросов пользователя: "что такое предмет" преобразуется в "предмет - это.", а если запрос начинается на слово "как", то в результатах в первую очередь пытаются выдать FAQ или иной справочный документ. Новый "Яндекс" стал "понимать" альтернативную лексику, которая входит в 5 процентов запросов. Только в последней версии Яндекса индекс цитируемости стал непосредственно использоваться поисковой машиной.

В настоящее время "Яндекс" обладает самой полной базой документов среди русских веб-ИПС, а также самой узнаваемой маркой.

Н.А. Чурсин [30] приводит еще некоторые уточняющие сведения по данной ИПС:

Поисковая система "Яндекс" (также "Яндекс. Поиск") является четвёртой среди поисковых систем мира по количеству обработанных поисковых запросов. Доля на рынке Рунета составляет 60,5 %.

Поиск Яндекса позволяет искать документы на русском, татарском, украинском, белорусском, казахском, турецком, английском, немецком и французском языках с учётом морфологии этих языков и близости слов в предложении.

Помимо веб-страниц в формате HTML, Яндекс индексирует документы в форматах PDF (Adobe Acrobat), Rich Text Format (RTF), двоичных форматах Word (. doc), Excel (. xls), PowerPoint (. ppt), RSS (блоги и форумы). Поисковая система способна также индексировать текст внутри объектов Shockwave Flash (если текст не помещен на само изображение), если эти элементы передаются отдельной страницей, имеющей MIME-тип application/x-shockwave-flash, и файлы с расширением. swf.

Отличительная особенность Яндекса - возможность точной настройки поискового запроса. Стоит отметить, что язык менее гибкий, но более простой в отличие от языка запросов Google.

И.С. Ашманов [1] так же пишет, что в рунете существует еще одна действенная ИПС- Aport.

Aport

Поисковая машина "Апорт" была впервые продемонстрирована в феврале 1996 года на пресс-конференции "Агамы" по поводу открытия "Русского клуба". Тогда она искала только по сайту russia.agama.com. Создателем системы выступила компания "Агама" - разработчик программного обеспечения для платформы Windows, главным из которых являлся корректор орфографии "Пропись". Лингвистические разработки "Агамы" использовались при создании поисковой машины, в которой, скажем, в отличие от "Рамблера", изначально учитывалась морфология слов и осуществлялась по желанию клиента проверка орфографии запроса.

Важнейшими свойствами первой версии "Апорта" являлся перевод запроса и результатов поиска на английский язык и обратно, а также реконструкция всех проидексированных страниц из собственной базы (что означает возможность просмотра страниц, уже несуществующих в оригинале).

"Апорт 2000" стал первым русским поисковиком, построенным на основе выдачи результатов по отдельно взятым сайтам. Для разделения ресурсов на сайты используется информация, которую "Апорту" предоставляет каталог AtRus или сведения, введенные в "Апорт" владельцами ресурсов. На худой конец, приходится опираться на алгоритм, который позволяет по некоторым формальным признакам выделить отдельные сайты.

Пользователи "Апорта" (в отличие завсегдатаев "Яндекса") мало пользуются расширенным поиском (на 8000 загрузок простой страницы приходится 300 вызовов страницы "Расширенный поиск").

Googlе

Поисковая система Google была создана в качестве учебного проекта студентов Стэнфордского университета Ларри Пейджа и Сергея Брина. Они в 1996 году работали над поисковой системой BackRub, а в 1998 году на её основе создали поисковую систему Google. Корпорация была основана 4 сентября 1998 года, а домен Google.com зарегистрирован 15 сентября 1997 года. Название Google произошло от неправильного написания слова Гугол (Googol) Сергеем Брином, которое означает десять в сотой степени - 10100. Первая по популярности система (79,65 %), обрабатывает 41 млрд 345 млн запросов в месяц (доля рынка 62,4 %), индексирует более 25 млрд веб-страниц, может находить информацию на 195 языках. Например, если вы ищите немецкий сайт, то вы можете вводить запрос на немецком языке, и все вспомогательные надписи интерфейса будут на немецком языке.

Очень удобной функцией является "cache". Благодаря этой функцией пользователь может просмотреть проиндексированную страницу даже если эта страница удалена или сервер, на котором расположена страница недоступен. Вы также можете использовать эту функцию для исследования ваших конкурентов, это также помогает лучше понять принцип индексирования страницы поисковым пауком (роботом).

Из книги А.А. Варфоломеева [2] можно выяснить, что, говоря о Google, нельзя не упомянуть о так называемом Googlebot`е, фирменном поисковом роботе Google.

Поисковый робот Google - Googlebot, является основным роботом, сканирующим содержание страницы для поискового индекса. Также существует робот для сканирования страниц, предназначенных для мобильных устройств (Googlebot-Mobile). Робот соблюдает стандартные Интернет-приёмы для запросов, такие как использование файлов robot. txt, Sitemap, и т.д. Поддерживает поиск в документах форматов PDF, RTF, PostScript, Microsoft Word, Microsoft Excel, Microsoft PowerPoint и других.

Существует возможность выполнения в интерфейсе сложных запросов на внутреннем языке, что также позволяет использовать поисковую систему как сканер уязвимостей.

Yahoo

Удивительно, но эта невероятно популярная система, обслуживающая миллионы запросов ежедневно, зародилась как простая коллекция закладок, которую пополняли всего 2 человека - Дэвид Фило и Джерри Янг. На сегодняшний день Yahoo, это уже не просто каталог, это целая группа разнообразных сервисов, среди которых такие как каталог Yahooligans - Yahoo для детей, система персональных каналов My Yahoo, бесплатный E-mail сервис, система "Shop with Yahoo" (покупайте с Yahoo), совместный с MTV проект MTV unfURLed и многое другое. Среди всех рассмотренных систем, Yahoo - единственная чисто каталоговая, на Yahoo нет собственной поисковой машины. Зато список категорий на Yahoo является наиболее полным и простым. Заглавная страница Yahoo грузится очень быстро - хотя на ней очень много ссылок, но все они текстовые. Центральная часть страницы, конечно, занята окном поиска и списком категорий. Ссылки вверху страницы (графические) обеспечивают доступ к такой информации, как "что нового", "что хорошего", "More Yahoos". Последнюю ссылку рекомендуется посетить - она приводит на страницу с огромным количеством ссылок на разнообразные Yahoo-каталоги и сервисы. При задании критериев поиска для Yahoo нужно помнить, что Yahoo ищет эти слова только в названии и описании страницы, поскольку полнотекстового индекса на Yahoo нет. Поэтому не следует указывать при поиске слишком много терминов или синонимов - количество результатов с Yahoo снизится или даже будет нулевым. Количество результатов поиска на Yahoo, естественно, невелико, зато большинство из них являются релевантными. Для расширенного поиска Yahoo предлагает не очень большой, но очень полезный набор инструметов. Чтобы попасть на страничку расширенного поиска, надо перейти по ссылке "options" с основной страницы Yahoo.

Подводя итоги стоит сравнить поисковые возможности двух главных ИПС в Рунете- Яндекс и Google.

Опираясь на данных из книги Н.А. Ашманова [30], можно выяснить следующее:

Возможности поисковой системы Google

Интерфейс Google содержит довольно сложный язык запросов, позволяющий ограничить область поиска отдельными доменами, языками, типами файлов и т.д. Например, поиск "intitle: Google site: wikipedia.org" выведет все статьи Википедии на всех языках, в заголовке которых встречается слово Google. Мощный язык запросов в руках хакеров может быть использован для исследования веб-сайтов на уязвимости.

Для некоторых результатов поиска Google ранее предоставлял повторное поле для поиска, которое позволяет пользователю найти то, что он ищет внутри конкретного веб-сайта. Эта идея возникла из того, как пользователи использовали поиск. "Телепортирование" в сети - это как раз то, что помогает пользователям Google завершить свой поиск. Google развил эту концепцию на шаг вперёд, и вместо просто "телепортирования", что значит для поиска нужного сайта пользователю достаточно ввести часть имени веб-сайта в Google (необязательно помнить весь адрес), пользователи могут вводить ключевые слова для поиска внутри выбранного сайта. Оказалось, что пользователям часто нелегко найти то, что они ищут внутри корпоративного сайта. С 2011 года эта опция недоступна, что весьма отрицательно сказалось на удобстве, популярности, и востребованности Google.

Несмотря на то, что пользователям в новинку этот поисковый инструмент, он вызвал разногласия среди некоторых издательств и дистрибьюторов. На страницах результатов поиска Google отображаются платные (pay per click) рекламные объявления конкурирующих компаний, которые основывают рекламные объявления на брендах.

Поисковая технология, позволяющая пользователю настраивать результаты выдачи по поисковым запросам. Пользователь может удалять результаты из списка и поднимать вверх списка. Технология была запущена компанией Google весной 2009 года и проработала до осени. Другие поисковые системы подобной функциональности пока не предоставляли.

22 сентября 2010 года компания запустила голосовой поиск в России. Чтобы осуществить поиск, необходимо нажать в телефоне кнопку рядом со строкой поиска и произнести свой запрос, телефон отправит ваш голос на сервер и браузер выдаст строку с распознанным вашим запросом и результатами поиска по нему.

По случаю праздника или круглой даты какой-нибудь широко известной личности, стандартный логотип Google у региональных доменов может меняться на праздничный, имеющий определённую тематику, смысл.

С осени 2014 года, голосовой поиск в Google можно вести, не нажимая дополнительных кнопок, а лишь произнеся в микрофон вашего устройства команду «Окей, Google…».

Возможности поисковой системы Яндекс

Яндекс (Yandex) появился в 1997 году, и на сегодняшний день это одна из самых востребованных поисковых систем в рунете. Поиск Яндекса позволяет искать документы на русском, татарском, украинском, белорусском, казахском, английском, немецком и французском языках с учётом морфологии этих языков и близости слов в предложении.

Отличительная особенность Яндекса - возможность точной настройки поискового запроса. Это реализовано за счёт гибкого языка запросов. Так, например, для операции исключения можно указать область действия: запрос A ~~ B найдёт документы (страницы), в которых присутствует А, но не присутствует В, а запрос А ~ Б - документы, где слово Б не присутствует со словом А в одном предложении. Аналогично, оператор & ищет сочетания ключевых слов в предложении, а && - во всём документе.

Оператор «!» позволяет отключить морфологию для конкретного слова, а «!!» позволяет указать нормальную форму, что позволяет обойти некоторые проблемы, связанные с омонимией. Например, запрос «!! Иванов» будет находить Иванова и Иваномвых, но не Ивана.

По умолчанию Яндекс выводит по 10 ссылок на каждой странице выдачи результатов, в настройках результатов поиска можно увеличить размер страницы до 20, 30 или 50 найденных документов. Иногда порядок сайтов на этих страницах может отличаться, так как обновление баз для этих результатов происходит не одновременно.

Если по запросу найдено очень много ссылок, страница результатов предлагает ограничить диапазон поиска - по региону (то есть по диапазону IP) или по дате. Если по какому-либо слову или словам ничего не найдено, предлагается заменить его/их на похожие (поскольку предлагаемые варианты зависят от частоты нахождения похожих слов). Также, предлагается исправить слова, набранные не в той раскладке клавиатуры.

Время от времени алгоритмы Яндекса, отвечающие за релевантность выдачи, меняются, что приводит к изменениям в результатах поисковых запросов. В частности, эти изменения направлены против поискового спама, приводящего к нерелевантным результатам по некоторым запросам (реже - по целым семействам запросов).

Сравнение поисковых систем Яндекс и Google с точки зрения полезности

Достоверно известно, что алгоритмы Яндекса и Google различаются кардинально. Яндекс строит свои позиции исходя из уникальности текстов на сайтах, а Google - исходя из количества ссылок, которые ведут на рассматриваемый сайт.

За многие годы работы с этими поисковыми системами можно констатировать тот факт, что с Google работать гораздо проще.

Плохие с точки зрения посетителей сайты он быстро вычисляет, накладывает на них самые разнообразные штрафные санкции (фильтры), а то и вовсе исключает их из поисковой выдачи (отправляет в бан). Работать с ним нелегко, продвижение сайтов в топ-10 Google - дело очень трудное, но несравнимое с Яндексом.

Для Яндекса можно сделать прекрасный сайт, с наличием самого разнообразного контента, поставить на сайт ссылки с самых посещаемых сайтов - и всё равно это не гарантия того, что ваш сайт будет отображаться в топе поиска.

Другое дело - Google. Сделав полезный для посетителей сайт, но поместив в него позаимствованный с других сайтов контент, можно запросто добиться попадания в топ-10, не по всем запросам, но по очень многим низкоконкурентным.

Для этого надо брать ключевые фразы по выбранной теме, которые являются так называемыми "низкочастотными". Но зато таких фраз должно быть много. Дублироваться на каждой странице они должны не менее 5 раз. Чем больше страница, тем больше на ней поместится таких фраз. Естественно, при этом нельзя забывать и про посетителей.

Так же, опираясь на книгу И.С. Ашманова [1], можно выявить, что для Google комфорт и удобство посетителей стоят на одном из первых мест. Для Яндекса, конечно, тоже, но это не так явно заметно.

Так и насчёт ключевых фраз - их плотность может зашкаливать, но если Google видит, что посетители на вашем сайте "сидят" довольно продолжительное время, то этот положительный фактор перекрывает многие отрицательные. Google готов даже закрыть глаза на обман своих поисковых роботов, если посетителю сайт нравится.

Критерий	Яндекс	Google
Глубина индексации	95,13%	114,25%
Частота индексации	раз в два дня	раз в три дня

Подведя итог можно сказать, что Яндекс более полезен, если вам необходим больший функционал в плане поиска, но вы готовы отбирать необходимую информацию из огромного количества «информационного шума», а Google- если для вас скорость поиска и удобство на первом месте. Так же, для веб-дизайнеров Google может оказаться немного полезнее.



Выводы к главе 2

Информационно-поисковые системы были созданы специально для поиска необходимой информации. Основываясь на информации из различных источников, можно сказать, что эффективная работа любой ИПС основана на быстроте и возможностях многоаспектной выборки нужных данных из большого массива (поиск информации) для внутренней работы с данными. Эта задача накладывает на систему определенные требования в плане интерфейса, организации поиска и формы представления информации. Структура ИПС построена таким образом, чтобы соответствовать вышеперечисленным требованиям. Так же ИПС можно классифицировать по различным признакам на разные категории. Например, классификационные, словарные и предметные ИПС. Так же есть уникальный вид ИПС-метапоисковые системы, которые ищут информацию сразу по нескольким базам данных других ИПС.

Важнейшая составляющая любой ИПС- это поисковый аппарат. Он состоит из нескольких компонентов, таких как поисковая машине, поисковый индекс и информационно-поисковый язык. Поисковая машина- система с формируемой роботом базой данных, содержащей информацию об информационных ресурсах. Она непосредственно влияет на механику поиска ИПС. Поисковый индекс- структура данных, которая содержит информацию о документах и используется в поисковых системах. Индексы в ИПС выстраиваются в процессе индексирования, который может отличаться в зависимости от конкретной ИПС. И последняя, главная часть поискового аппарата- информационно-поисковый язык (ИПЯ). Это язык, позволяющий сформулировать запрос к системе в простой и наглядной форме. Т.е. несмотря на то, что пользователь вводит запросы на естественном языке, в ИПС он переводится в ИПЯ. Существуют различные виды ИПЯ, опять же, применяющиеся в различных ИПС.

Так же очень важным понятием касательно ИПС является понятия ранжирование. Это алгоритм упорядоченного выстраивания полученных ссылок. Различные поисковые системы используют различные алгоритмы ранжирования, однако основные принципы определения релевантности у всех систем примерно одинаковые. Это количество слов запроса в текстовом содержимом документа (т.е. в html-коде) и тэги, в которых эти слова располагаются. Так же можно выделить такие принципы определения релевантности, как местоположение искомых слов в документе и удельный вес слов, относительно которых определяется релевантность, в общем количестве слов документа.

Все ИПС ищут информацию используя определенный «информационный поиск», который подразумевает использование определённых стратегий, методов, механизмов и средств поиска. Каждый из этих параметров так же имеет свои аспекты, которые варьируются в зависимости от конкретной ИПС.

Так же, почти все ИПС имеют такую особенность, как средства поиска и структурирования, иногда называемые поисковыми механизмами. Они используются для того, чтобы помочь людям найти информацию, в которой они нуждаются. Средства поиска типа агентов, пауков, кроулеров и роботов используются для сбора информации о документах, находящихся в Сети Интернет.

С развитием информационных технологий и сети Интернет появилось много различных ИПС в веб-пространстве. Их них можно выделить несколько основных- Rambler, Yandex, Google и Yahoo. Все они имеют совершенно различные механизмы поиска и предназначаются для различных целей. Каждая их них имеет свои плюсы и минусы в зависимости от потребностей пользователя.



Заключение

Информация является одним из важнейших ресурсов в современности, а задача ее организации и поиска является первостепенной задачей при работе с ней.

Именно для этого и были созданы информационные системы. Нельзя дать четкое определение данному понятию. Разные научные деятели определяют его несколько по-своему. И хоть появились ИС сравнительно недавно, их развитие шло очень быстро, а история насчитывает несколько основных этапов. С появлением сети Интернет, необходимость в информационных системах возросла. И хоть процесс из создания и реализации значительно упростился благодаря современным информационным технологиям, к ним стало предъявляться намного больше определенных требований, притом авторы различных трудов, посвященных ИС, описывают разные требования к ним. Но все сходятся в одном- в необходимости быстрого и удобного поиска необходимой информации среди огромного ее количества в сети. Именно для выполнения этой цели были созданы информационно-поисковые системы. ИПС- это отдельный подвид ИС, имеющий свои характеристики, цели, требования и показатели, хотя, так как они являются подвидом ИС, многие их характеристики похожи. Например, такие показатели, как жизненный цикл, определенная классификация и структура. Опираясь на различные научные публикации, можно выявить главное требование к ИПС- быстрый и безошибочный поиск информации. Именно в этом направлении трудятся разработчики ИПС, все более развивая данные аспекты.

В сети Интернет существует огромное количество различных ИПС, поддающихся различной классификации, имеющих свои достоинства и недостатки. Основываясь на работах различных авторов, посвященных данной тематике, можно сделать вывод, что ИПС представляет собой сложную структуру определенных механизмов, стратегий, методов и реализаций поиска. Требования к ИПС в сети возрастали с развитием Интернета, их структура становилась все более сложной, но, одновременно, более гибкой. Начиная с первых ИПС в сети, таких как Gopher, WAIS и т.д., и заканчивая современными, вроде Google или Яндекс, некоторые аспекты остаются общими (например, наличие определенного ИПЯ, поисковых механизмов и т.д.). В то же время, добавляются новые функции, такие, как многоязычность или полнотекстовость. Современные ИПС обладают огромным количеством отличий друг от друга, и невозможно определить, какая из них является «лучшей». Поисковые возможности каждой из них могут кардинально различаться. Каждая их них имеет свои плюсы и минусы, исходя из того, для какой цели она используется.

Подводя итог можно сказать, что все авторы работ, посвященных информационным системам сходятся в одном - в том, что ИС стали неотъемлемой частью нашей жизни, а особенно пользователей вычислительной техники. С развитием информационных технологий и коммуникаций, ИС будут все больше развиваться, усложнять свою структуру, но становится все более полезными и многофункциональными. Особенную важность имеют ИПС, так как каждый пользователей сети Интернет пользуется той или иной ИПС каждый день.



Список источников

1. Ашманов, И. С. Продвижение сайта в поисковых системах / И. С. Ашманов. - М : «Вильямс», 2007. - 304 с.

2. Базы данных: Интеллектуальная обработка информации /В.В. Корнеев, А.Ф. Гареев, С.В. Васютин и др.- М.: Нолидж, 2001.- 496 с.: ил.

3. Варфоломеев, А.А. Основы информационной безопасности :учеб. пособие / А.А. Варфоломеев. - М.: Российский ун-т дружбы народов, 2008.

4. Гагарина, Л.Г. Разработка и эксплуатация автоматизированных информационных систем / Д.В. Киселев, Е.Л. Федотова, Л.Г. Гагарина // Автоматизированные информационные системы - М.: ФОРУМ: ИНФРА-М, 2009. - С.67-80.

5. Гайдамакин, Н. А. Автоматизированные информационные системы, базы и банки данных / Н. А. Гайдамакин.- М.: «Гелиос», 2002.- 280 с.

6. Гвоздева, В.А. Основы построения автоматизированных информационных систем / В.А. Гвоздева, И.Ю. Лаврентьева //АИС: основные понятия и определения - М.: ИД «ФОРУМ» - ИНФРА-М, 2007. - С.14 .

7. Голицына, О.Л. Базы данных /О.Л. Голицына, Н.В. Максимов и др. //Понятия баз данных - М.:ФОРУМ: ИНФРА-М, 2006. - С.9-13.

8. Григорьев, В.Л. Об оценке соответствия автоматизированных систем требованиям безопасности // Управление защитой информации - 2007- Т.11 - №2 - С. 209-218.

9. Громов, Г.Р. Очерки информационной технологии / Г.Р. Громов. - М.: ИнфоАрт, 2002. - 331 с.

10. Густав, О. Цифровые системы автоматизации и управления / О. Густав, П. Джангуидо.- СПб.: Невский Диалект, 2005. - 557 с.

11. Емельянова, Н.З. Основы построения автоматизированных информационных систем / Т.Л. Партыка, И.И. Попов , Н.З. Емельянова Н.З.//Классификация методов проектирования систем - М.: Инфра - М, 2007. - С.187-190.

12. Информатика: Базовый курс: учебник / под ред. С. В. Симоновича. - СПб.: «Питер», 2007.- 110 с.

13. Информационные технологии управления : учебное пособие для вузов / под ред. Г. А. Титоренко. - 2-е изд., доп. - Москва : ЮНИТИ, 2005. - 438 с.

14. Кадеев, Д.Н. Информационные технологии и электронные коммуникации / Д. Н. Кадеев.- М: «Электро», 2005.- 250 с.

15. Карпова, Т.С. Базы данных: модели, разработка, реализация: учебник для вузов/ Т.С. Карпова. - СПб.:«Питер», 2001. - 304 с.: ил.

16. Келина, А.Ю. Основы информационной безопасности: учеб. пособие /А.Ю. Келина. - Липецк: Липецкий эколого-гуманитарный институт, 2005. - 39 с.

17. Колисниченко, Д. Н. Поисковые системы и продвижение сайтов в Интернете / Д. Н. Колисниченко. - М. : «Диалектика», 2007. - 272 с.

18. Козырев, А.А. Информационные технологии в управлении и экономике / А.А. Козырев.- СПб.: Издательство Михайлова, 2000. - 340 с.

19. Кудинов, Ю.И. Основы современной информатики: учеб. пособие /Ю.И. Кудинов. - Липецк: ЛГТУ, 2007 - 209 c.

20. Лоу, Д. Компьютерные сети для “чайников”/ Д. Лоу.- Киев: Диалектика, 2006. - 251 с.

21. Мамаев, М.Технологии защиты информации в Интернете: Специальный справочник /М. Мамаев, С.Петренко - СПб.: «Питер», 2002. - С. 640-652.

22. Маннинг, К. Введение в информационный поиск / К. Маннинг. - М.: «Вильямс», 2011.- 200 с.

23. Петров, В.Н. Информационные системы: Учебник / В.Н. Петров. - СПб.: «Питер», 2002. - 688 с.: ил.

24. Симонович, С. Общая информатика / С. Симонович, Г. Евсеев, А. Алексеева - М.: АСТ-Пресс, 2006. - 592 с.

25. Уилсон, С. Принципы проектирования и разработки программного обеспечения / С. Уилсон, Б. Мэйплс, Т. Лэндгрейв. - М.: Русская Редакция, 2005. - 249 с.

26. Устинова, Г.М. Информационные системы менеджмента: Учеб. пособие / Г.М. Устинова. - СПб: ДиаСофт ЮП, 2004. - 368 с.

27. Филимонова, Е.В. Информационные технологии в профессиональной деятельности: Учебник / Е. В. Филимонова. - Ростов н/Д: Феникс, 2004 - 352 с.

28. Фридланд, А.Я. Информатика: Процессы, системы, ресурсы /А.Я. Фридланд. - М.: Бином Лаб. знаний, 2003. - 232 с.

29. Чистов, Д.В. Информационные системы // Информационные системы - М.: Инфра - М, 2010. - С.103-110.

30. Чурсин, Н. А. Популярная информатика / Н. А. Чурсин. - М.: «Вильямс», 2007.- 300 с.

31. Информатика: Учебник / Под ред. проф. Н.В. Макаровой - М.: Финансы и статистика -2006. - 768 с.

(Приложение)

http://www.mgul.ac.ru/links/search.shtml

(Сайт МГУЛ (Московский государственный университет леса)



Приложения

Приложение 1

Список терминов

Информация - это некоторые сведения, знания об объектах и процессах реального мира. Экономическая информация отображается, как правило, в виде документов. Документ - это материальный носитель информации, имеющий юридическую силу и оформленный в установленном порядке.

Наряду с термином "информация" часто используют слово "данные". Во время обработки смысл информации отодвигается на второй план, а основное внимание обращают на форму представления, в этом смысле данные - это информация, представленная в формализованном виде, который позволяет передавать или обрабатывать ее при помощи технических средств.

Система - множество элементов, находящихся в отношениях и связях друг с другом, которое образует определенную целостность, единство. Каждая система характеризуется структурой, входными и выходными потоками, целью и ограничениями, законом функционирования.

Структура - совокупность образующих систему элементов и связей между ними.

Элемент - объект, обладающий рядом важных свойств, для которого определён закон функционирования, и внутренняя структура которого не рассматривается.

Подсистема - часть системы, выделенная по определённому признаку, обладает некоторой самостоятельностью и допускает разложение на некоторые элементы.

Вид отношений между элементами, проявляющийся при взаимодействии называется связью. Различают внешние связи, то есть связи системы с окружающей средой, и внутренние связи, т. е. связи между подсистемами и элементами.

Среда - множество объектов вне данного элемента, которое может оказывать влияние на данный элемент и само находится под его воздействием.

Цель - это ситуация или область ситуаций, которую нужно достигнуть при функционировании системы за определённый промежуток времени.

Закон функционирования - описывает процесс функционирования элемента системы во времени.

Процесс - совокупность состояний системы, упорядоченных по изменению какого-либо параметра, определяющего свойства системы.

Транзакция-- группа последовательных операций с базой данных, которая представляет собой логическую единицу работы с данными. Транзакция может быть выполнена либо целиком и успешно, соблюдая целостность данных и независимо от параллельно идущих других транзакций, либо не выполнена вообще и тогда она не должна произвести никакого эффекта.

Информационный процесс - совокупность последовательных действий, производимых над информацией для получения какого-либо результата (достижения цели). Принято разделять информационные процессы на общие и основные. Наиболее общими информационными процессами являются сбор, преобразование и использование информации. К основным информационным процессам относят поиск, отбор, хранение, передачу, кодирование, обработку и защиту информации.

Обычно ИС имеют дело с большими объемами информации, которая имеет достаточно сложную структуру. Классическими примерами информационных систем являются банковские системы, системы продажи билетов на транспорте и др.

ИС всегда специализируется на информации из определенной области реального мира: экономики, техники, медицины и т.д. Часть реального мира, отображаемая в ИС, называется предметной областью. К примеру, экономические ИС - это ИС, предметной областью которых является экономика, и т. п.

Любая ИС включает в себя четыре компонента: информационные средства, программные средства (обеспечение), технические средства, персонал. Информационное обеспечение реализуется в виде файловой системы или в виде базы данных. База данных (БД) - это совокупность описаний объектов предметной области и связей между ними, актуальных для конкретной предметной области.

Особенность ИС по сравнению с вычислительными системами состоит в том, что структура данных в ИС обычно сложна (а сложность определяется не столько объемом, сколько количеством взаимосвязей), а задачи по обработке данных однотипны для разных предметных областей (создание, поиск, ввод и вывод, группировка, сортировка). Поэтому все типовые функции по работе с данными были выделены в специальную систему.

Система управления базой данных (СУБД) - это комплекс программных и языковых средств создания, ведения и манипулирования данными.

Программные средства делят на две части: системное программное обеспечение (СПО) и прикладное программное обеспечение (ППО). В состав СПО входит операционная система ЭВМ (ОС). ОС настолько тесно связана с техническими средствами, что их часто объединяют и называют программно-аппаратной платформой.

Персонал - это специалисты, которые обслуживают и сопровождают ИС, их часто включают в состав системы, поскольку без персонала невозможна работа сколько-нибудь сложной системы.

Client (клиент) на этой схеме - это программа просмотра конкретного информационного ресурса. Наиболее популярны сегодня мультипротокольные программы типа Netscape Navigator. Такая программа обеспечивает просмотр документов WWW, Gopher, Wais, FTP-архивов, почтовых списков рассылки и групп новостей Usenet. В свою очередь все эти информационные ресурсы являются объектом поиска информационно-поисковой системы.

User interface (пользовательский интерфейс) - это не просто программа просмотра, в случае информационно-поисковой системы под этим словосочетанием понимают также способ общения пользователя с поисковым аппаратом: системой формирования запросов и просмотров результатов поиска.

Search engine (поисковая машина) - служит для трансляции запроса на информационно-поисковом языке (ИПЯ), в формальный запрос системы, поиска ссылок на информационные ресурсы Сети и выдачи результатов этого поиска пользователю.

Index database (индекс базы данных) - индекс, который является основным массивом данных ИПС и служит для поиска адреса информационного ресурса. Архитектура индекса устроена таким образом, чтобы поиск происходил максимально быстро и при этом можно было бы оценить ценность каждого из найденных информационных ресурсов сети.

Queries (запросы пользователя) - сохраняются в его (пользователя) личной базе данных. На отладку каждого запроса уходит достаточно много времени, и поэтому чрезвычайно важно запоминать запросы, на которые система дает хорошие ответы.

Index robot (робот-индексировщик) - служит для сканирования Internet и поддержания базы данных индекса в актуальном состоянии. Эта программа является основным источником информации о состоянии информационных ресурсов сети.

WWW sites - это весь Internet или точнее - информационные ресурсы, просмотр которых обеспечивается программами просмотра.



Приложение 2

Таблица “Основные этапы развития ИС”

Период Времени	Концепция использования информации	Вид информационных систем	Цель использования
1950 - 1960 гг.	Бумажный поток расчетных документов	Информационные системы обработки расчетных документов на электромеханических бухгалтерских машинах	Повышение скорости обработки документов Упрощение процедуры обработки счетов и расчета зарплаты
1960 - 1970 гг.	Основная помощь в подготовке отчетов	Управленческие информационные системы для производственной информации	Ускорение процесса подготовки отчетности
1970 - 1980 гг.	Управленческий контроль реализации (продаж)	Системы поддержки принятия решений Системы для высшего звена управления	Выборка наиболее рационального решения
1980 - 2000 гг.	Информация - стратегический ресурс, обеспечивающий конкурентное преимущество	Стратегические информационные системы Автоматизированные офисы	Выживание и процветание фирмы

Приложение 3

Таблица “Компоненты архитектуры ИС”

Обозначение	Наименование	Характеристика
PS	Presentation Services (средства представления)	Обеспечиваются устройствами, принимающими ввод от пользователя и отображающими то, что сообщает ему компонент логики представления PL, с использованием соответствующей программной поддержки
PL	Presentation Logic (логика представления)	Управляет взаимодействием между пользователем и ЭВМ. Обрабатывает действия пользователя при выборе команды в меню, нажатии кнопки или выборе элемента из списка
BL	Business or Application Logiс (прикладная логика)	Набор правил для принятия решений, вычислений и операций, которые должно выполнить приложение
DL	Data Logic (логика управления данными)	Операции с базой данных (SQL-операторы), которые нужно выполнить для реализации прикладной логики управления данными
DS	Data Services (операции с базой данных)	Действия СУБД, вызываемые для выполнения логики управления данными, такие как манипулирование данными, определения данных, фиксация или откат транзакций и т. п. СУБД обычно компилирует SQL-предложения
FS	File Services (файловые операции)	Дисковые операции чтения и записи данных для СУБД  и других компонентов. Обычно являются функциями операционной системы

Приложение 4

Схема структуры ИПС

Рассмотрим каждый блок более подробно:

· Блок проверки БД на целостность осуществляет проверку всех составных частей базы данных.

· Блок просмотра позволяет начать работу в системе с просмотра БД и далее выбрать другой режим работы.

· Блок редактирования производит редактирование только числовых полей БД и позволяет изменять характеристики, вводить новые и удалять старые записи в таблицы БД. Здесь также можно произвести смену режима работы.

· Блок защиты паролем осуществляет блокировку доступа к редактированию данных путем ввода пароля.

· Блок поиска предназначен для осуществления поиска по введенному техническому заданию (ТЗ) и перехода к другим режимам работы.

· Блок вывода результатов поиска выводит на экран в определенном порядке все найденные шаговые двигатели и их характеристики в соответствии с ТЗ поиска. Блок хранения параметров поиска записывает и хранит информацию до следующего этапа поиска.

· Блок помощи выполняет роль подсказки в различных режимах работы системы.

Приложение 5

Типы индексов

Пример прямого индекса



Пример инвертированного индекса

Приложение 6.

Информационно-поисковые языки Internet

· Lycos

Как и большинство систем, Lycos дает возможность использовать простой запрос и более изощренный метод поиска. В простом запросе в качестве поискового критерия вводится предложение на естественном языке. Lycos производит нормализацию запроса, удаляя из него так называемые stop-слова, и только после этого приступает к его выполнению. Почти сразу выдается информация о числе документов на каждое слово, а уже позже и список ссылок на формально релевантные документы. В списке напротив каждого документа указывается его мера близости запросу, число слов из запроса, которые попали в документ и оценочная мера близости, которая может быть больше или меньше формально вычисленной. На апрель 1996 года в Lycos не был реализован булевый поиск, такие планы были анонсированы. Последнее предложение подразумевает только то, что нельзя вводить эти операторы в строке вместе с терминами, но использовать логику через систему меню Lycos позволяет. Последнее относится к расширенной форме запроса, который предназначен для использования искушенными пользователями системы, которые уже научились пользоваться этим механизмом.

Таким образом мы видим, что Lycos относится к системе с языком запросов типа "Like this", но предполагается его расширения и на другие способы организации поисковых предписаний.

· AltaVista

Наиболее интересным с точки зрения информационно-поискового языка в AltaVista является возможность расширенного поиска. Здесь стоит сразу выделить, что в отличии от многих систем AltaVista поддерживает одноместный оператор NOT. Кроме этого есть еще и оператор NEAR, который реализует возможность контекстного поиска, когда термины должны располагаться рядом в тексте документа. AltaVista разрешает поиск по ключевым фразам, при этом она имеет довольно большой словарь этих фраз. Кроме всего прочего, при поиске в АltaVista можно задать имя поля где должно встретиться слово. Это может быть гипертекстовая ссылка, applet, название образа, заголовок и ряд других полей. К сожалению, подробно процедура ранжирования в документации по системе не описана, но сказано, что ранжирование применяется как при простом поиске, так и при расширенном запросе.

Реально эту систему можно отнести к системе с расширенным булевым поиском.

· Yahoo

Данная система появилась в сети одной из первых, и поэтому говорить будем о сегодняшнем состоянии Yahoo, а не о состоянии годовой давности. В настоящее время Yahoo сотрудничает со многими производителями средств информационного поиска и на различных ее серверах используется различное программное обеспечение. На мой взгляд, это самая незатейливая информационная служба, которая сосредоточилась на информации о Web как таковой. ИПЯ Yahoo достаточно прост: все слова следует вводить через пробел и они соединяются либо AND, либо OR. При выдаче не выдается степени соответствия документа запросу, а только подчеркиваются слова из запроса, которые встретились в документе. При этом не производится нормализация лексики и не проводится анализ на "общие" слова. Хорошие результаты поиска получаются только тогда, когда пользователь знает, что информация в базе данных Yahoo точно есть. Ранжирование производится по числу терминов запроса в документе.

Yahoo относится к классу простых традиционных систем с ограниченными возможностями поиска.

· OpenText

Информационная система OpenText представляет из себя самый коммерциализированный информационный продукт в сети. Все описания больше напоминают рекламу, чем реальное руководство по работе. Система позволяет провести поиск с использованием логических коннекторов, размер запроса ограничен тремя терминами или фразами. В данном случае речь идет о расширенном поиске. При выдаче результатов поиска сообщается степень соответствия документа запросу и размер документа. Система позволяет также улучшить результаты поиска в стиле традиционного булевого поиска.

OpenText можно было бы отнести без сомнения к разряду традиционных информационно-поисковых систем, если бы не механизм ранжирования.

· InfoSeek

Система InfoSeek обладает довольно развитым информационно-поисковым языком, который позволяет не просто указывать какие термины должны встречаться в документах, но и своеобразно взвешивать их. Достигается это при помощи специальных знаков "+" - термин обязан быть в документе, "-" - термин обязан отсутствовать в документе. Кроме этого InfoSeek позволяет проводит то, что называется контекстным поиском. Это значит, что используя специальную форму запроса можно потребовать последовательной совместной встречаемости слов. Кроме этого можно указать, что некоторые слова должны совместно встречаться не только в одном документе, а даже в отдельном параграфе или заголовке. Есть возможность и указания ключевых фраз. Ключевая фраза от последовательной встречаемости отличается тем, что фраза всегда ищется как единое целое, а при последовательной встречаемости слова могут стоять рядом, но в произвольном порядке. Ранжирование при выдаче осуществляется по числу терминов запроса в документе, по числу фраз запроса в документе, за вычетом общих слов. Все эти факторы используются как вложенные процедуры.

Подводя краткое резюме можно сказать, что InfoSeek относится к традиционным системам с элементом взвешивания терминов при поиске.

· WAIS

WAIS является одной из наиболее изощренных поисковых систем Internet. В отличии от многих поисковых машин, ИПЯ системы позволяет строить не только вложенные булевые запросы, считать формальную релевантность по различным мерам близости, взвешивать термины запроса и документа, но и осуществлять коррекцию запроса по релевантности. Система также позволяет использовать усечение терминов, разбиение документов на поля и ведение распределенных индексов. Не случайно именно эта система была выбрана в качестве основной поисковой машины для реализации энциклопедии "Британика" на Internet.

Приложение 7

Поисковые системы и каталоги WWW

Наиболее популярные поисковые системы

· Яндекс (Компания «Яндекс») -- средство полнотекстового поиска информации с учетом морфологии русского языка; поиск по сайтам, своему каталогу, новостям, товарам, географическим картам, словарям, блогам, картинкам, документам Microsoft Office и Adobe Acrobat PDF

o Яндекс: Расширенный поиск

o Яндекс -- краткий вариант страницы поиска

o Все сервисы Яндекса

· Rambler (ОАО «Рамблер Интернет Холдинг») -- поиск по сайтам с учетом морфологии русского и английского языков; имеет и каталоговую систему поиска.

o Rambler Lite: поисковая система -- краткий вариант страницы поиска

o Все проекты Рамблера

· Поисковый сервис Спутник (ОАО "Ростелеком") -- поиск по сайтам, госуслугам и др.; безопасный поиск

· NIGMA -- интеллектуальная поисковая система (МГУ им. М. В. Ломоносова и Stanford University) -- поиск документов, картинок, книг, новостей через Google, Yahoo, MSN, Yandex, Rambler, Altavista; также система предоставляет уникальный поиск по химическим формулам и реакциям

· Google -- поиск по сайтам (есть возможность поиска по русскоязычным сайтам); поиск документов в форматах Adobe Acrobat PDF, Microsoft Office, PostScript, Corel WordPerfect, Lotus 1-2-3 и др.; поиск картинок, видео, новостей, поиск по картам; возможность поиска по русскоязычным и российским сайтам; есть система перевода текста на др. языки (49 языков)

o Google Расширенный поиск

o Все Продукты Google

· Bing (Microsoft Corp.) -- поиск по сайтам, изображений и видео; возможность поиска по русскоязычным и российским сайтам; есть система перевода текста на др. языки (22 языка)

· Yahoo! (Yahoo) -- поиск по сайтам, адресам E-Mail и др.

Индексные (словарные) поисковые системы

· AltaVista Search (AltaVista Company) -- поиск в WWW и Usenet; имеет и каталоговую систему поиска (использует каталог LookSmart); возможность поиска графических, видео- и аудиофайлов
Altavista -- первая в мире поисковая система (изначально она размещалась по адресу: altavista.digital.com)

· Bing (Microsoft Corp.) -- поиск по сайтам, изображений и видео; возможность поиска по русскоязычным и российским сайтам; есть система перевода текста на др. языки (22 языка)

· My Excite -- поиск в WWW; имеет и каталоговую систему поиска

· Google -- поиск по сайтам (есть возможность поиска по русскоязычным сайтам); поиск документов в форматах Adobe Acrobat PDF, Microsoft Office, PostScript, Corel WordPerfect, Lotus 1-2-3 и др.; поиск картинок, видео, новостей, поиск по картам; возможность поиска по русскоязычным и российским сайтам; есть система перевода текста на др. языки (49 языков)

o Google Расширенный поиск

o Все Продукты Google

· HotBot -- поиск в WWW, и поиск сведений об отдельных лицах; можно выводить найденные страницы сайтов в виде скриншотов

· LookSmart -- Premium and Performance Advertising Solutions -- поиск в WWW; самый большой охват сайтов в Интернет благодаря распределенной индексации Grub's Distributed Web Crawling Project, в которой и вы можете принять участие

· Lycos (Lycos, Inc.) -- поиск в WWW; имеет и каталоговую систему поиска

· WebCrawler (InfoSpace Inc.) -- поиск в WWW, FTP и Telnet, поиск людей, видеоматериалов

· Яндекс (Компания «Яндекс») -- средство полнотекстового поиска информации с учетом морфологии русского языка; поиск по сайтам, своему каталогу, новостям, товарам, географическим картам, словарям, блогам, картинкам, документам Microsoft Office и Adobe Acrobat PDF

o Яндекс: Расширенный поиск

o Яндекс -- краткий вариант страницы поиска

o Все сервисы Яндекса

· Rambler (ОАО «Рамблер Интернет Холдинг») -- поиск по сайтам с учетом морфологии русского и английского языков; имеет и каталоговую систему поиска.