Информационно-поисковые системы

Размещено на http://www.allbest.ru/

Информационно-поисковые системы. Вопросы к зачету

Вопрос 1. Понятие информации. Виды информации. Свойства

Информация (от лат. informatio - осведомление, разъяснение, изложение) - в широком смысле абстрактное понятие, имеющее множество значений, в зависимости от контекста. В узком смысле этого слова - сведения (сообщения, данные) независимо от формы их представления. В настоящее время не существует единого определения термина информация. С точки зрения различных областей знания, данное понятие описывается своим специфическим набором признаков. Информация - совокупность данных, зафиксированных на материальном носителе, сохранённых и распространённых во времени и пространстве.

Информация - это осознанные сведения об окружающем мире, которые являются объектом хранения, преобразования, передачи и использования.

Основные виды информации по ее форме представления, способам ее кодирования и хранения, что имеет наибольшее значение для информатики, это:

* графическая или изобразительная - первый вид, для которого был реализован способ хранения информации об окружающем мире в виде наскальных рисунков, а позднее в виде картин, фотографий, схем, чертежей на бумаге, холсте, мраморе и др. материалах, изображающих картины реального мира;

* звуковая - мир вокруг нас полон звуков и задача их хранения и тиражирования была решена с изобретение звукозаписывающих устройств в 1877 г. (см., например, историю звукозаписи на сайте - http://radiomuseum.ur.ru/index9.html); ее разновидностью является музыкальная информация - для этого вида был изобретен способ кодирования с использованием специальных символов, что делает возможным хранение ее аналогично графической информации;

* текстовая - способ кодирования речи человека специальными символами - буквами, причем разные народы имеют разные языки и используют различные наборы букв для отображения речи; особенно большое значение этот способ приобрел после изобретения бумаги и книгопечатания;

* числовая - количественная мера объектов и их свойств в окружающем мире; особенно большое значение приобрела с развитием торговли, экономики и денежного обмена; аналогично текстовой информации для ее отображения используется метод кодирования специальными символами - цифрами, причем системы кодирования (счисления) могут быть разными;

* видеоинформация - способ сохранения «живых» картин окружающего мира, появившийся с изобретением кино.

Существуют также виды информации, для которых до сих пор не изобретено способов их кодирования и хранения - это тактильная информация, передаваемая ощущениями, органолептическая, передаваемая запахами и вкусами и др.

Свойства информации

Как и всякий объект, информация обладает свойствами. Характерной отличительной особенностью информации от других объектов природы и общества, является дуализм: на свойства информации влияют как свойства исходных данных, составляющих ее содержательную часть, так и свойства методов, фиксирующих эту информацию.

С точки зрения информатики наиболее важными представляются следующие общие качественные свойства: объективность, достоверность, полнота, точность, актуальность, полезность, ценность, своевременность, понятность, доступность, краткость и пр.

1. Объективность информации. Объективный - существующий вне и независимо от человеческого сознания. Информация - это отражение внешнего объективного мира. Информация объективна, если она не зависит от методов ее фиксации, чьего-либо мнения, суждения.

Пример. Сообщение «На улице тепло» несет субъективную информацию, а сообщение «На улице 22°С» - объективную, но с точностью, зависящей от погрешности средства измерения.

Объективную информацию можно получить с помощью исправных датчиков, измерительных приборов. Отражаясь в сознании человека, информация может искажаться (в большей или меньшей степени) в зависимости от мнения, суждения, опыта, знаний конкретного субъекта, и, таким образом, перестать быть объективной.

2. Достоверность информации. Информация достоверна, если она отражает истинное положение дел. Объективная информация всегда достоверна, но достоверная информация может быть как объективной, так и субъективной. Достоверная информация помогает принять нам правильное решение. Недостоверной информация может быть по следующим причинам:

* преднамеренное искажение (дезинформация) или непреднамеренное искажение субъективного свойства;

* искажение в результате воздействия помех («испорченный телефон») и недостаточно точных средств ее фиксации.

3. Полнота информации. Информацию можно назвать полной, если ее достаточно для понимания и принятия решений. Неполная информация может привести к ошибочному выводу или решению.

4. Точность информации определяется степенью ее близости к реальному состоянию объекта, процесса, явления и т. п.

5. Актуальность информации - важность для настоящего времени, злободневность, насущность. Только вовремя полученная информация может быть полезна.

6. Полезность (ценность) информации. Полезность может быть оценена применительно к нуждам конкретных ее потребителей и оценивается по тем задачам, которые можно решить с ее помощью.

Самая ценная информация - объективная, достоверная, полная, и актуальная. При этом следует учитывать, что и необъективная, недостоверная информация (например, художественная литература), имеет большую значимость для человека. Социальная (общественная) информация обладает еще и дополнительными свойствами:

* имеет семантический (смысловой) характер, т. е. понятийный, так как именно в понятиях обобщаются наиболее существенные признаки предметов, процессов и явлений окружающего мира.

* имеет языковую природу (кроме некоторых видов эстетической информации, например изобразительного искусства). Одно и то же содержание может быть выражено на разных естественных (разговорных) языках, записано в виде математических формул и т. д.

Вопрос 2. Основные термины из теории информационного поиска

информация электронный документ java

Документ, информационная потребность, пертинентность документа, релевантность.

Важные понятия в информационном поиске - документ и запрос. Документ определяется как средство закрепления любым способом на специальном материале любой информации о фактах, событиях, явлениях объективной действительности и мыслительной деятельности человека. Документы имеют различную форму представления. В автоматизированных документальных ИПС это прежде всего текстовая информация на естественных языках в машиночитаемой форме.

Запрос представляет собой информационную потребность, сформулированную на естественном языке. Результат «перевода» информационного запроса на информационно-поисковый язык называют поисковым образом запроса (ПОЗ) или поисковым предписанием (ПП). Под этим понимают выражение на языке запросов, который включает в себя как собственно ИПЯ, так и средства управления поиском. Синтаксис и семантика языков запросов определяется структурой и наполнением документов и общими задачами системы.

Третья часть информационного обеспечения - так называемая «выдача», результаты поиска. Выдача существует в двух видах: краткие описания документов и собственно документы.

Информационная потребность - потребность, возникающая, когда цель, стоящая перед пользователем в процессе его профессиональной деятельности либо в его социально-бытовой практике, не может быть достигнута без привлечения дополнительной информации.

Пертинентность (лат. pertineo - касаюсь, отношусь) - соответствие найденных информационно-поисковой системой документов информационным потребностям пользователя, независимо от того, как полно и как точно эта информационная потребность выражена в тексте информационного запроса. Иначе говоря, это соотношение объёма полезной информации к общему объёму полученной информации.

Релевантность (лат. relevo - поднимать, облегчать) в информационном поиске - семантическое соответствие поискового запроса и поискового образа документа. В более общем смысле, одно из наиболее близких понятию качества «релевантности» - «адекватность», то есть не только оценка степени соответствия, но и степени практической применимости результата, а также степени социальной применимости варианта решения задачи.

Вопрос 3. Информационно-поисковая система. Определение. Структура ИПС

Поиск - в информационном смысле: стремление найти что-либо, действие ищущего напрвленное на получение нового или утеряного, новых данных, знаний, закономерностей. Поиском так же называется один из способов обучения, обеспечение полезных знаний о природе, языке, обществе. Подразумевается получение знаний через самостоятельные мыслительные действия для решения задач.

Система - множество взаимосвязанных объектов и ресурсов организованных процессом системогенза в единое целое и возможно противопоставимое среде.

Система в системном анализе - совокупность существующих и связей между ними, выделенных из среды на определенное время, с определенной целью.

Информационная система - организованная совокупность программно-тхнических и других вспомогательных средств и технологических процессов, функционально-определенных групп работников, обеспечивающая сбор, представление и накопление информационных ресурсов в определенной предметной области, поиск и выдача сведений необходимых для удовлетворения определенных потребностей.

Информационно-поисковая система - упорядоченая совокупность документов и информационных технологий предназначенных для хранения и поиска информации, текстов или данных.

Субъективно под целью информационного поиска понимается нахождение всех только пертинентных документов.

Для того чтобы было с чем сравнивать необходимо некоторое количество непертинентных документов. Они называются «шум». Слишком большой шум затрудняет выделение пертинентных документов, малый не дает уверенности в том, что документы пертинентны.

Когда документов много используется ИПС.

В этом случае информационная потребность должна быть выражена средствами, которые понимает конкретная информационная система (поисковая). Т.е. должен быть сформулирован запрос. Запрос может редко выразить информационную потребность однако многие ИПС по разным причинам не могут определить, соответствует тот или иной документ запросу. Степень соответствия запросу называется релевантностью.

По методу определения релевантность различается:

Формальная - соответсвие определяется алгоритмически, путем сравнения поискового предписания и поискового образа документа на основании применяемого ИПС критерия выдачи.

Содержательная - соответствие документа информационому запросу определяется неформальным путем.

Релевантный документ может оказаться непертинентным.

Особенности ИПС:

Поисковые процессы представлены четырьмя стадиями:

1. Формулировка (До начала поиска)

2. действие (начался поиск)

3. обзор результатов

4. усовершенствование

Структура - это множество элементов системы и взаимосвязи между ними.

Входы и выходы - это материальные потоки или потоки сообщений, поступающие в систему или выводимые ею. Поступающую информацию мы будем рассматривать как набор символов {x(i)}, значение которого образует вектор X. Данные сообщения проходят обработку в системе и находятся в прямой зависимости от времени. Аналогично множество выходных - {y(i, t)} образует вектор Y.

Цель и ограничения. Порядок функционирования системы описывается рядом переменных: U1, U2…, Un. Часть этих переменных должна всегда поддерживаться в экстремальном положении - max U1 и т. п.

U1 = f (X, t, Y, …),

тогда U1 называется целевой функцией системы. Данная функция определяет соответствие целей системы результатам ее функционирования.

Закон проведения системы. Это функция f(х), связывающая изменение входа и выхода системы.

Среди известных свойств системы можно выделить следующие: относительность, делимость и целостность.

ИС представляет собой систему, функционирование которой во времени заключается в сборе, хранении, обработке, распределении информации о деятельности какого-либо экономического объекта реального мира.

Вопрос 4. Функции информационно-поисковой системы

Информационно-поисковая система - система, выполняющая функции:

- хранения больших объемов информации;

- быстрого поиска требуемой информации;

- добавления, удаления и изменения хранимой информации;

- вывода информации в удобном для человека виде.

Различают:

- автоматизированные (coputerised);

- библиографические (reference);

- диалоговые (online);

- документальные и фактографические информационно-поисковые системы.

Вопрос 5. Исторические предпосылки развития поисковых систем

Обратимся к истории возникновения сети Internet, которая была создана в связи с возникшей необходимостью совместного использования информационных ресурсов, распределенных между различными компьютерными системами. Большинство первых приложений, включая FTP и электронную почту, были разработаны исключительно для обмена данными между хост-компьютерами Internet.

Другие приложения, такие как Telnet, создавались для того, чтобы пользователь получил возможность доступа не только к информации, но и к рабочим ресурсам удаленной системы. По мере развития Internet (увеличения пользователей и хост-компьютеров) прежние методы обмена данными перестали отвечать возросшим потребностям пользователей. Возникла необходимость разработки новых способов поиска сетевых ресурсов и доступа к ним, которые позволяли бы использовать информацию независимо от ее формата и расположения.

Для удовлетворения таких потребностей сначала были созданы поисковая система Archie, решающая задачу локализации ресурсов на FTP-сервере, и система Gopher, упрощающая доступ к различным сетевым ресурсам. Затем были разработаны сетевые информационные системы WWW и WAIS, предлагающие абсолютно новые методы получения информации. Принципы работы этих систем позволяют легко ориентироваться в огромном количестве информационных ресурсов без необходимости предоставления механизмов работы самой сети Internet. Такой подход позволяет говорить уже не просто о ресурсах взаимосвязанных компьютерных систем, а об особых информационных пространствах сети.

Система Archie представляет собой комплекс программных средств, работающих со специальными базами данных. В этих базах данных содержится постоянно пополняющаяся информация о файлах, к которым можно получить доступ через сервис FTP. Пользуясь услугами системы Archie, можно осуществить поиск файла по шаблону его имени. При этом пользователь получит список файлов с точным указанием места их хранения в сети, а также с информацией о типе, времени создания и размере файлов. Доступ к информационно-поисковой системе Archie может осуществляться различными путями, начиная от запросов по электронной почте и с помощью сервиса Telnet и заканчивая использованием графических Archie-клиентов.

Система Gopher была разработана для упрощения процесса локализации FTP-ресурсов Internet и для более удобного представления сведений о содержании хранящихся на FTP-серверах файлов. Система Gopher дает возможность в удобной форме (в виде меню) представлять пользователям об имеющихся файлах и их содержании. Меню Gopher-серверов могут содержать ссылки на другие Gopher- и FTP-серверы. Таким образом, пользователь получает возможность “путешествовать” по Internet, не обращая внимания на местонахождение интересующих его ресурсов, и получать доступ к этим ресурсам.

Система Veronica используется для поиска информации в Gopher-пространстве по заголовкам пунктов меню. После ввода ключевого слова, система Veronica выясняет, встречается ли оно в меню на каком-либо Gopher-сервере, и в качестве результатов поиска выдает список заголовков пунктов меню, содержащих ключевое слово. Поскольку система Veronica не является автономной поисковой программой, а тесно связана с системой Gopher, она обладает тем же, что и система Gopher, недостатком: далеко не всегда по заголовку можно сказать, что собой представляет тот или иной информационный ресурс. Достоинства системы заключается в том, что нет необходимости узнавать, где расположена найденная информация, достаточно выбрать требуемую запись из списка.

Вопрос 6. История развития автоматизированных документальных информационно-поисковых систем, этапы развития. Особенности современного этапа

Переход к информационному обществу XXI века породил беспрецедентный рост объемов и концентрации информации в глобальных компьютерных сетях. Это резко обострило проблему создания информационно-поисковых систем (ИПС) и их эффективного использования.

История автоматизированных информационно-поисковых систем исчисляется полувеком. Типичная ИПС первых лет - это человеко-машинная система, где анализ и описание содержания документов (индексирование) выполняется вручную, а поиски проводятся машиной. Первоначально основу ИПС составляли информационно-поисковые языки (ИПЯ), основным элементом которых являются дескрипторные словари и тезаурусы. Сегодня, однако, большинство работающих ИПС относится к классу вербальных систем бестезаурусного типа, когда индексационные термины выбираются непосредственно из текстов документов. Лавинообразный рост объемов электронной документальной информации, ее видовое, тематическое и языковое разнообразие являются как причиной кризиса современного информационного поиска, так и стимулом его совершенствования.

Проблема поиска ресурсов в сети Интернет была осознана достаточно скоро, и в ответ появились различные системы и программные инструменты для поиска, среди которых следует назвать системы Gopher, Archie, Veronica, WAIS, WHOIS и др. В последнее время на смену этим инструментам пришли «клиенты» и «серверы» всемирной паутины WWW.

Достигнутые в течение последнего десятилетия результаты развития средств вычислительной техники, методов проектирования программного и информационного обеспечения систем автоматизации различного уровня и назначения способствовали существенному пересмотру принятых ранее подходов к созданию информационных систем, и, прежде всего, к созданию новой информационной технологии, основными принципами которой являются:

Обеспечение общения конечного пользователя (исследователя, проектировщика, конструктора, технолога, оператора ИПК. и ГАП, плановика) с системой автоматизации на профессионально-ограниченном естественном языке, представление входной и результирующей информации в привычной и удобной пользователю форме.

Обеспечение возможности решения задач планирования, управления, проектирования, подготовки производства и научных исследований по их постановкам и исходным данным независимо от сложности и наличия формальных математических моделей этих задач.

Создание конечному пользователю таких условий работы, при которых он осуществляет процессы управления, планирования, проектирования и поиска новых решений в режиме активного, расширяющегося диалога с ЭВМ, оперируя понятиями своей предметной области, используя профессиональный опыт и навыки и принимая решения одновременно по множеству критериев, часть из которых не описана формально и не имеет количественного выражения.

Вопрос 7. Характеристики ИПС

Опишем основные характеристики поисковых систем:

* Полнота

Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

* Точность

Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

* Актуальность

Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

* Скорость поиска

Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

* Наглядность

Наглядность представления результатов является важным компонентом удобного поиска. По большинству запросов поисковая машина находит сотни, а то и тысячи документов. Вследствие нечеткости составления запросов или неточности поиска, даже первые страницы выдачи не всегда содержат только нужную информацию. Это означает, что пользователю зачастую приходится производить свой собственный поиск внутри найденного списка. Различные элементы страницы выдачи поисковой системы помогают ориентироваться в результатах поиска.

Вопрос 8. Поисковый запрос. Определение. Виды поисковых запросов

Поисковый запрос - исходная информация для осуществления поиска с помощью поисковой системы. Формат поискового запроса зависит как от устройства поисковой системы, так и от типа информации для поиска. Чаще всего поисковый запрос задаётся в виде набора слов или фразы, иногда - используя расширенные возможности языка запросов поисковой системы.

Система запроса

1. Фиксация информационно потребности на естественном языке.

2. Выбор поисковых сервисов в сети и формализация записей информационной потребностей на конкретных информационно поисковых языках.

3. Выполнение созданных запросов.

4. Предварительная обработка и выбор документа из списка.

5. Обращение по выбранным адресам за искомыми документами.

6. Предварительный просмотр найденных документов.

7. Сохранение релевантного документа

8. Извлечение из них ссылок для расширения запроса.

9. Изучение всего массива сохранных документов.

10. При необходимости возврат к первому этапу.

Вопрос 9. Информационно-поисковый язык ИПС. Структура. Типы и виды ИПЯ

Информационно-поисковый язык системы

Однако, индекс - это только часть поискового аппарата, причем не видная глазу пользователя. Второй частью этого аппарата является информационно-поисковый язык. ИПЯ позволяет сформулировать запрос к системе в довольно простой и доходчивой форме. Уже давно осталась позади романтика создания ИПЯ, как естественного языка. Именно этот подход использовался в системе Wais на первых стадиях ее реализации. Если даже пользователю предлагается вводить запросы на естественном языке, то это не значит, что система будет осуществлять семантический разбор запроса пользователя. Проза жизни заключается в том, что обычно фраза разбивается на слова, из этого списка удаляются запрещенные и общие слова, иногда производится нормализация лексики, а затем все слова связываются либо логическим AND, либо OR. Таким образом, запрос типа:

>Software that is used on Unix Platform

будет преобразован в:

>Unix AND Platform AND Software

что будет означать примерно следующее: "Найди все документы, в которых слова Unix, Platform и Software встречаются одновременно".

Возможны и варианты. Так в большинстве систем фраза "Unix Platform" будет опознана как ключевая фраза, и не будет разделяться на отдельные слова. Вообще говоря, и все три слова могут быть опознаны как одна ключевая фраза. Другой подход заключается в вычислении близости между запросом и документом. Именно этот подход используется в Lycos, например. В этом случае, в соответствии с векторной моделью представления документов и запросов вычисляется мера близости. К настоящему времени известно около дюжины различных мер близости. Наиболее часто применяется cos угла между поисковым образом документа и запросом пользователя. Именно эти проценты соответствия документа запросу и выдаются в качестве справочной информации при списке найденных документов.

Наиболее продвинутым языком запросов из современных информационно-поисковых систем Internet обладает AltaVista. Кроме обычного набора AND, OR, NOT, эта система позволяет использовать еще и NEAR. Последний оператор позволяет организовать контекстный поиск. Все документы в системе разбиты на поля, поэтому в запросе можно указать в какой части документа пользователь хочет увидеть ключевое слово (в ссылке, заголовке и т.п.). Можно также задать поле ранжирования выдачи и критерий близости документов запросу.

Типы информационно-поисковых языков

Главная задача информационно-поисковой системы - это поиск информации релевантной информационным потребностям пользователя. Слово релевантность означает соответствие между желаемой и действительно получаемой информацией. Релевантность можно еще представить как меру близости между реально полученными документами и тем, что следовало бы получить из системы. Естественно, что здесь возникает две задачи, которые следует решить: представление информации в системе и формулирование информационных потребностей пользователя. Эти две проблемы тесно связаны друг с другом. Руководства по многим информационно-поисковым системам Internet (Yahoo, OpenText и др.), что система реализует запрос типа "найди похожее". Но что значит эта фраза в реальности? Как вычислить эту самую похожесть?

Наиболее распространенными моделями представления документов в информационно-поисковой системе являются различные вариации на тему векторной модели, когда документ представляется как набор терминов. Как уже упоминалось ранее, это не весь текст документа, а только небольшой набор терминов, который отражает его содержание. Базируясь на таком представлении о документе и рассмотрим различные информационно-поисковые языки.

Традиционные информационно-поисковые языки и их модификации

Наиболее распространенным ИПЯ является язык, позволяющий составить логические выражения из набора терминов. При этом используются булевые операторы AND, OR, NOT. Запрос при этом может выглядеть следующим образом:

((информационная and система ) or ИПС) not СУБД

В данном случае эта фраза означает: "Найди все документы, которые содержат одновременно слова "информационная" и "система", либо слово "ИПС", но не содержат слова "СУБД"".

Запрос можно рассматривать как и реальный документ из базы данных. В нашем случае, фактически, мы имеем дело с двумя запросами:

информационная and система not СУБД

и

ИПС not СУБД

каждый из которых подразумевает как бы два действия: сначала найти все документы, содержащие необходимые пользователю термины, а потом отсеять те, которые содержат термин "СУБД".

Такая схема достаточно проста, и поэтому наиболее широко применяется в современных информационно-поисковых системах. Но еще 20 лет тому назад были хорошо известны и ее недостатки.

Булевый поиск плохо масштабирует выдачу. Оператор AND может очень сильно сократить число документов, которые выдаются на запрос. При этом все будет очень сильно зависеть от того, насколько типичными для базы данных являются поисковые термины. Оператор OR напротив может привести к неоправданно широкому запросу, в котором полезная информация затеряется за информационным шумом. Для успешного применения этого ИПЯ следует хорошо знать лексику системы и ее тематическую направленность. Как правило, для системы с таким ИПЯ создаются специальные документально лексические базы данных со сложными словарями, которые называются тезаурусами и содержат информацию о связи терминов словаря друг с другом.

Модификацией булевого поиска является взвешенный булевый поиск. Идея такого поиска достаточно проста. Считается, что термин описывает содержание документа с какой-то точностью, и эту точность выражают в виде веса термина. При этом взвешивать можно как термины документа, так и термины запроса. Запрос может формулироваться на ИПЯ, описанном выше, но выдача документов при этом будет ранжироваться в зависимости от степени близости запроса и документа. При этом измерение близости строится таким образом, чтобы обычный булевый поиск был бы частным случаем взвешенного булевого поиска.

Языки типа "Like this"

При внимательном рассмотрении взвешенного поиска закрадывается естественное желание вообще обойтись без логических коннекторов и измерять близость документа и запроса какими-либо другими критериями. Наиболее простой моделью этого типа является линейная модель индексирования и поиска, когда близость документа и запроса рассматривается как угол между ними. В этом случае высчитывается sin угла, который получают как скалярное произведение двух векторов. В соответствии со значением меры близости происходит ранжирование документов при выдаче ссылок на них пользователю. Вообще говоря, скалярное произведение не очень хорошо подходит для информационно-поисковых систем Internet, так как длина запроса обычно невелика. Это в традиционных системах существовали специальные службы, которые отлаживали длинные запросы, а в Internet такие службы только нарождаются. Поэтому реально применяются другие меры близости, но принцип остается тот же: сначала вычисляется мера, а потом происходит ранжирование.

Рассмотренный подход дает возможность более мягкого расширения и уточнения запросов, но он также не гарантирует высоких показателей релевантности, в случае выбора неудачной лексики.

Поиск в нечетких множествах

При этом типе поиска весь массив документов описывается как набор нечетких множеств терминов. Каждый термин определяет некую монотонную функцию принадлежности документам документального массива. Когда запрашивается AND, то это интерпретируется как минимум из двух функций, соответствующих терминам запросов, OR - как максимум, NOT - как 1-<значение функции>. В соответствии с полученными значениями результат поиска также ранжируется, как и в случае с поиском по мерам близости.

Следует сразу сказать, что этот метод поиска используется только в исследовательских системах и распространен крайне ограничено.

Вопрос 10. Интеллектуальные информационно-поисковые системы

Структура интеллектуальной системы

С развитием компьютерных технологий менялся смысл, вкладываемый в понятие информационной системы. Современная информационная система - это набор информационных технологий, направленных на поддержку жизненного цикла информации и включающего три основных процесса: обработку данных, управление информацией и управление знаниями. В условиях резкого увеличения объемов информации переход к работе со знаниями на основе искусственного интеллекта является, по всей вероятности, единственной альтернативой информационного общества.

Согласно определению Д.А. Поспелова, "Система называется интеллектуальной, если в ней реализованы следующие основные функции:

* накапливать знания об окружающем систему мире, классифицировать и оценивать их с точки зрения прагматической полезности и непротиворечивости, инициировать процессы получения новых знаний, осуществлять соотнесение новых знаний с ранее хранимыми;

* пополнять поступившие знания с помощью логического вывода, отражающего закономерности в окружающем систему мире в накопленных ею ранее знаниях, получать обобщенные знания на основе более частных знаний и логически планировать свою деятельность;

* общаться с человеком на языке, максимально приближенном к естественному человеческому языку;

* получать информацию от каналов, аналогичных тем, которые использует человек при восприятии окружающего мира;

* уметь формировать для себя или по просьбе человека (пользователя) объяснение собственной деятельности;

* оказывать пользователю помощь за счет тех знаний, которые хранятся в памяти, и тех логических средств рассуждений, которые присущи системе".

Перечисленные функции можно назвать функциями представления и обработки знаний, рассуждения и общения. Наряду с обязательными компонентами, в зависимости от решаемых задач и области применения в конкретной системе эти функции могут быть реализованы в различной степени, что определяет индивидуальность архитектуры. На рис. 2.1 в наиболее общем виде представлена структура интеллектуальной системы в виде совокупности блоков и связей между ними [85].

База знаний представляет собой совокупность сред, хранящих знания различных типов. Рассмотрим кратко их назначение.

База фактов (данных) хранит конкретные данные, а база правил - элементарные выражения, называемые в теории искусственного интеллекта продукциями.

База процедур содержит прикладные программы, с помощью которых выполняются все необходимые преобразования и вычисления.

База закономерностей включает различные сведения, относящиеся к особенностям той среды, в которой действует система.

База метазнаний (база знаний о себе) содержит описание самой системы и способов ее функционирования: сведения о том, как внутри системы представляются единицы информации различного типа, как взаимодействуют различные компоненты системы, как было получено решение задачи.

База целей содержит целевые структуры, называемые сценариями, позволяющие организовать процессы движения от исходных фактов, правил, процедур к достижению той цели, которая поступила в систему от пользователя либо была сформулирована самой системой в процессе ее деятельности в проблемной среде.

Управление всеми базами, входящими в базу знаний, и организацию их взаимодействия осуществляет система управления базами знаний. С ее же помощью реализуются связи баз знаний с внешней средой. Таким образом, машина базы знаний осуществляет первую функцию интеллектуальной системы.

Выполнение второй функции обеспечивает часть интеллектуальной системы, называемая решателем и состоящая из ряда блоков, которые управляются системой управления решателя. Часть из блоков реализует логический вывод.

Блок дедуктивного вывода осуществляет в решателе дедуктивные рассуждения, с помощью которых из закономерностей из базы знаний, фактов из базы фактов и правил из базы правил выводятся новые факты. Кроме этого, данный блок реализует эвристические процедуры поиска решений задач как поиск путей решения задачи по сценариям при заданной конечной цели. Для реализации рассуждений, которые не носят дедуктивного характера, т. е. для поиска по аналогии, по прецеденту и т. д., используются блоки индуктивного и правдоподобного выводов.

Блок планирования применяется в задачах планирования решений совместно с блоком дедуктивного вывода.

Назначение блока функциональных преобразований состоит в решении задач расчетно-логического и алгоритмического типов.

Третья функция - функция общения - реализуется как с помощью компоненты естественно-языкового интерфейса, так и с помощью рецепторов и эффекторов, которые осуществляют так называемое невербальное общение и используются в интеллектуальных роботах.

Разновидности интеллектуальных систем

В зависимости от набора компонентов, реализующих рассмотренные функции, можно выделить следующие основные разновидности интеллектуальных систем:

* интеллектуальные информационно-поисковые системы;

* экспертные системы (ЭС);

* расчетно-логические системы;

* гибридные экспертные системы.

Интеллектуальные информационно-поисковые системы являются системами взаимодействия с проблемно-ориентированными (фактографическими) базами данных на естественном, точнее ограниченном как грамматически, так и лексически (профессиональной лексикой) естественном языке (языке деловой прозы). Для них характерно использование (помимо базы знаний, реализующей семантическую модель представления знаний о проблемной области) лингвистического процессора.

Экспертные системы являются одним из бурно развивающихся классов интеллектуальных систем. Данные системы в первую очередь стали создаваться в математически слабоформализованных областях науки и техники, таких как медицина, геология, биология и другие. Для них характерна аккумуляция в системе знаний и правил рассуждений опытных специалистов в данной предметной области, а также наличие специальной системы объяснений.

Расчетно-логические системы позволяют решать управленческие и проектные задачи по их постановкам (описаниям) и исходным данным вне зависимости от сложности математических моделей этих задач. При этом конечному пользователю предоставляется возможность контролировать в режиме диалога все стадии вычислительного процесса. В общем случае, по описанию проблемы на языке предметной области обеспечивается автоматическое построение математической модели и автоматический синтез рабочих программ при формулировке функциональных задач из данной предметной области. Эти свойства реализуются благодаря наличию базы знаний в виде функциональной семантической сети и компонентов дедуктивного вывода и планирования.

В последнее время в специальный класс выделяются гибридные экспертные системы. Указанные системы должны вобрать в себя лучшие черты как экспертных, так и расчетно-логических и информационно-поисковых систем. Разработки в области гибридных экспертных систем находятся на начальном этапе.

Наиболее значительные успехи в настоящее время достигнуты в таком классе интеллектуальных систем, как экспертные системы.

Важное место в теории искусственного интеллекта (ИИ) занимает проблема представления знаний. В настоящее время выделяют следующие основные типы моделей представления знаний:

* семантические сети, в том числе функциональные;

* фреймы и сети фреймов;

* продукционные модели.

Семантические сети определяют как граф общего вида, в котором можно выделить множество вершин и ребер. Каждая вершина графа представляет некоторое понятие, а дуга - отношение между парой понятий. Метка и направление дуги конкретизируют семантику. Метки вершин семантической нагрузки не несут, а используются как справочная информация.

Различные разновидности семантических сетей обладают различной семантической мощностью, следовательно, можно описать одну и ту же предметную область более компактно или громоздко.

Фреймом называют структуру данных для представления и описания стереотипных объектов, событий или ситуаций. Фреймовая модель представления знаний состоит из двух частей:

* набора фреймов, составляющих библиотеку внутри представляемых знаний;

* механизмов их преобразования, связывания и т. д.

* Существует два типа фреймов:

* образец (прототип) - интенсиональное описание некоторого множества экземпляров;

* экземпляр (пример) - экстенсиональное представление фрейм-образца.

В общем виде фрейм может быть представлен следующим кортежем:

<ИФ, (ИС, ЗС, ПП),..., (ИС, ЗС, ПП)>,

где ИФ - имя фрейма; ИС - имя слота; ЗС - значение слота; ПП - имя присоединенной процедуры (необязательный параметр).

Слоты - это некоторые незаполненные подструктуры фрейма, заполнение которых приводит к тому, что данный фрейм ставится в соответствие некоторой ситуации, явлению или объекту.

В качестве данных фрейм может содержать обращения к процедурам (так называемые присоединенные процедуры). Выделяют два вида процедур: процедуры-демоны и процедуры-слуги. Процедуры-демоны активизируются при каждой попытке добавления или удаления данных из слота. Процедуры-слуги активизируются только при выполнении условий, определенных пользователем при создании фрейма.

Продукционные модели - это набор правил вида "условия-действие", где условиями являются утверждения о содержимом базы данных, а действия представляют собой процедуры, которые могут изменять содержимое базы данных.

Формально продукция определяется следующим образом:

(i); Q;P;С; QA В; N,

где (i) - имя продукции (правила); Q - сфера применения правила; Р - предусловие (например, приоритетность); С - предикат (отношение); А -> В - ядро; N - постусловия (изменения, вносимые в систему правил).

Практически продукции строятся по схеме "ЕСЛИ" (причина или, иначе, посылка), "ТО" (следствие или, иначе, цель правила).

Полученные в результате срабатывания продукций новые знания могут использоваться в следующих целях:

* понимание и интерпретация фактов и правил с применением продукций, фреймов, семантических цепей;

* решение задач с помощью моделирования;

* идентификация источника данных, причин несовпадений новых знаний со старыми, получение метазнаний;

* составление вопросов к системе;

* усвоение новых знаний, устранение противоречий, систематизация избыточных данных.

Процесс рассмотрения компьютером набора правил (выполнение программы) называют консультацией. Ее наиболее удобная для пользователя форма - дружественный диалог с компьютером. Интерфейс может быть в форме меню, на языке команд и на естественном языке.

Диалог может быть построен на системе вопросов, задаваемых пользователем, компьютером, или фактов - данных, хранящихся в базе данных. Возможен смешанный вариант, когда в базе данных недостаточно фактов.

При прямом поиске пользователь может задавать две группы вопросов, на которые компьютер дает объяснения:

* как получено решение. При этом компьютер должен выдать на экран трассу в виде ссылок на использованные правила;

* почему компьютер задал какой-то вопрос. При этом на экран выдается своеобразная трасса, которую компьютер хотел бы использовать для вывода после получения ответа на задаваемый вопрос. Вопрос почему может быть задан как в процессе консультации, так и после выполнения программы.

Специфичен алгоритм поиска, реализуемый логическими языками: он является фактически последовательным перебором по дереву сверху вниз - слева направо.

Вопрос 11. Индексирование в ИПС

Под индексированием понимается процесс, состоящий из двух этапов:

определение тем, которые отражаются в данном документе;

выражение этих тем на языке, принятом в информационно-поисковой системе, и запись в виде поисковых образов, которые связываются с документом.

Для того чтобы при помощи ИПС можно было отыскать документы, соответствующие некоторому информационному запросу, сам запрос также должен быть заиндексирован. Процесс поиска осуществляется путем сопоставления поисковых образов документов с поисковым образом запроса. При полном или частичном совпадении образов документ считается соответствующим запросу и выдается пользователю.

Вопрос 12. Модели поиска. Языковые средства представления и структурирования электронных документов. Языки метаданных

Метаданные в HTML-документах

Известно, что метаданные несут в себе справочную и управляющую информацию, которая используется разными агентами (клиентскими приложениями, поисковыми роботами) в различных целях.

В данной статье будут рассмотрены мета тэги, включение которых в документ, как правило, преследует следующие основные цели: управление процессом индексации документа (или всего сайта в целом) поисковыми роботами, описание содержимого данного документа (опять же для поисковых роботов) и управление некоторыми функциями броузеров. Все мета тэги описывать будет лишним, так как многие из них являются довольно абстрактными, то есть не несут никакой полезной информации с точки зрения агентов и просто ими игнорируются.

Мета тэги делятся две на группы: эквиваленты HTTP-заголовка и информационно-управляющую часть, не входящую в заголовок HTTP. Такое разделение связано, в основном, с синтаксисом (<META HTTP-EQUIV="..." CONTENT="..."> и <META NAME="..." CONTENT="..."> соответственно) и стандартом. Если же говорить о самих метаданных, то такое деление будет в какой-то степени условным, то есть речь идет не о том, что тэги NAME могут выступать в роли HTTP-заголовков, просто заголовок HTTP также является носителем справочно-управляющей информации. Вообще, эквиваленты HTTP имеют более низкий приоритет перед "истинным" заголовком, который генерируется WEB-сервером. Следует также отметить общий формат декларирования мета-тэгов в HTML-документе, как это показано ниже:

<HTML>

<HEAD>

<TITLE>...<TITLE>

<!-- HTTP-эквиваленты //-->

<META HTTP-EQUIV="..." CONTENT="...">

<!-- другие теги группы HTTP-EQUIV //-->

<!-- группа NAME //-->

<META NAME="..." CONTENT="...">

<!-- другие теги группы NAME //-->

</HEAD>

<BODY>

...

</BODY>

</HTML>

Далее следует описание наиболее часто встречающихся (в силу их полезности) мета тэгов. Их синаксис будет ясен из примеров, приведенных ниже.

Группа HTTP-EQUIV

1. EXPIRES (дата устаревания документа)

После истечения указанного срока документ будет каждый раз загружаться заново, а не браться из кэша.

Формат даты: RFC850

Пример: <META HTTP-EQUIV="EXPIRES" CONTENT="Wed, 26 Feb 1997 08:21:57 GMT">

2. PRAGMA (управление кэшированием)

Возможно одно значение NO-CACHE, то есть данный документ не кэшируется броузером.

Пример: <META HTTP-EQUIV="PRAGMA" CONTENT="NO-CACHE">

3. CONTENT-TYPE (Тип документа и его кодировка)

Было много споров относительно этого тэга... Он в основном требуется для правильного выбора кодировки броузером, но это актуально только тогда, когда WEB-сервер не поддерживает автоматическую перекодировку документов (например, для иностранных серверов, предоставляющих бесплатное место для вашего сайта, такая возможность не предусмотрена), в ином случае CONTENT-TYPE может только привести к путанице.

Пример: <META HTTP-EQUIV="CONTENT-TYPE" CONTENT="text/html; charset=koi8-r">

4. CONTENT-LANGUAGE

Явное указание языка документа. Данные этого тэга могут использоваться как поисковыми роботами, так и WEB-серверами.

Формат: <Язык>-<Диалект>

Пример: <META HTTP-EQUIV="CONTENT-LANGUAGE" CONTENT="en-GB">

5. REFRESH

Время (в секундах), через которое произойдет автоматическая перезагрузка документа или переход на другой документ с заданным URL.

Формат: <ВРЕМЯ> или <ВРЕМЯ>; <URL>

Пример: <META HTTP-EQUIV="REFRESH" CONTENT="5; http://algo.ekaboka.com/">

6. CACHE-CONTROL (управление кэшированием)

Возможные случаи: кэширование в общем (PUBLIC) / частном (PRIVATE) кэше. Документ вообще не кэшируется (NO-CACHE) или кэшируется но не сохраняется (NO-STORE).

Пример: <META HTTP-EQUIV="CACHE-CONTROL" CONTENT="NO-STORE">

Группа NAME

1. DESCRIPTION (описание документа)

Наряду с описанием ключевых слов этот тэг является, на наш взгляд, наиболее важным. Именно информация, содержащаяся в нем выводится в результатах поиска, выдаваемых поисковыми серверами на запрос пользователя.

В общем случае вид результатов поиска как правило выглядит так:

а) URL документа

б) Название документа (содержимое <TITLE>...</TITLE>)

в) Описание документа, то есть DESCRIPTION или несколько сотен байт начала документа (включая атрибуты ALT, TITLE у картинок), если DESCRIPTION отсутствует. В первом случае пользователь получает достаточно краткое, но в то же время емкое описание документа, хотя это, конечно, зависит от автора документа, а во втором случае информация о документе носит довольно скудный характер, а именно это может быть бессмысленный набор слов или несколько первых предложений, которые, возможно, и не относятся к общей теме документа и, соответственно, его никак не характеризуют.

г) Рейтинг (коэффициент соответствия документа запросу пользователя).

Пример: <META NAME="DESCRIPTION" CONTENT="Описание данного документа, до 100 символов">

2. KEYWORDS (ключевые слова)

Под словом "ключевые", понимается набор слов и фраз, наиболее полно характеризующих данный документ. Они активно используются поисковыми роботами при индексации. В конечном счете эти слова учитываются при выдаче результатов поиска и способствуют повышению рейтинга.

Пример: <META NAME="KEYWORDS" CONTENT="Ключевые слова, разделенные запятой, до 1000 символов">

Как видно из описания применение DESCRIPTION и KEYWORDS никогда не является лишним, их наличие, при условии грамотного описания и правильного подбора ключевых слов, будет увеличивать рейтинг документа при выдаче результатов поиска поисковыми системами.

3. DOCUMENT-STATE (статус документа)

Данный тэг управляет частотой индексации и может принимать два значения: STATIC (документ статичен, то есть не меняется, и, следовательно, индексировать его нужно только один раз) и DYNAMIC (для часто изменяющися документов, которые нужно реиндексировать)

Пример: <META NAME="DOCUMENT-STATE" CONTENT="STATIC">

4. ROBOTS (управление процессом индексации)

Возможные варианты:

a) INDEX - возможность индексирования данного документа (иначе NOINDEX)

б) FOLLOW - возможность индексирования всех документов, на которые есть ссылки в данном HTML файле (иначе NOFOLLOW)

в) ALL - одновременное выполнение условий INDEX и FOLLOW

г) NONE - одновременное выполнение условий NOINDEX и NOFOLLOW

Пример: <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

5. RESOURCE-TYPE (тип ресурса)

Для обычных HTML документов значение этого мета тэга устанавливается равным "DOCUMENT"

Пример: <META NAME="RESOURCE-TYPE" CONTENT="DOCUMENT">

6. URL (расположение основного сайта)

Базовый URL (не путать с BASE) определяет какой документ следует индексировать (чтобы не обрабатывать "зеркала")

Пример: <META NAME="URL" CONTENT="http://algo.ekaboka.com/">

Допустимо добавлять в мета тэги атрибут LANG, указывающий язык данных, но это не обязательно.

Вопрос 13. Информационные ресурсы и их представление в информационно-поисковой системе

Документальным массивом ИПС Internet является все множество документов шести основных типов: WWW-страницы, Gopher-файлы, документы Wais, записи архивов FTP, новости Usenet, статьи почтовых списков рассылки. Все это довольно разнородная информация, которая представлена в виде различных, никак несогласованных друг с другом форматов данных. Здесь есть и текстовая информация, и графическая информация, и аудио информация и вообще все, что есть в указанных выше хранилищах. Естественно встает вопрос, как информационно-поисковая система должна со всем этим работать. В традиционных системах есть понятие поискового образа документа - ПОД'а. ПОД (Поисковый Образ Документа) - это нечто, что заменяет собой документ и используется при поиске вместо реального документа. Поисковый образ является результатом применения некоторой модели информационного массива документов к реальному массиву. Наиболее популярной моделью является векторная модель, в которой каждому документу приписывается список терминов, наиболее адекватно отражающих его смысл. Если быть более точным, то документу приписывается вектор, размерность которого равна числу терминов, которыми можно воспользоваться при поиске. При булевой векторной модели элемент вектора равен 1 или 0, в зависимости от наличия термина в ПОД'е документа или его отсутствия. В более сложных моделях термины взвешиваются, т.е. элемент вектора равен не 1 или 0, а некоторому числу, которое отражает соответствие данного термина документу. Именно последняя модель наиболее популярна в информационно-поисковых системах Internet. Вообще говоря, существуют и другие модели описания документов: вероятностная модель информационных потоков и поиска, и модель поиска в нечетких множествах. Анализ преимуществ и недостатков применения этих моделей при реализации информационно-поисковых систем в Internet - это тема специального исследования. Пока именно линейная модель применяется в системах Lycos, WebCrawler, AltaVista, OpenText, AliWeb и ряде других. Исследования по применению других моделей также ведутся, например, в рамках проекта AltaVista или научными группами. Таким образом, первая задача, которою должна решить информационно-поисковая система - это приписывание списка ключевых слов документу или информационному ресурсу. Именно эта процедура и называется индексированием. Часто, однако, индексированием называют составление файла инвертированного списка, в котором каждому термину индексирования ставится в соответствие список документов, в которых он встречается. Такая процедура является только частным случаем, а точнее техническим аспектом создания поискового аппарата информационно-поисковой системы.