Классификация информационных ресурсов по источникам информации

Размещено на http://www.allbest.ru/

Классификация информационных ресурсов по источникам информации

Технологии извлечения знаний Data Mining

Появление технологии Data Mining связано с необходимостью извлекать знания из накопленных информационными системами разнородных данных. Возникло понятие, которое по-русски стали называть «добыча», «извлечение» знаний. В зарубежных источниках утвердился термин «Data Mining».

Ключевое достоинство Data Mining по сравнению с предшествующими методами - возможность автоматического порождения гипотез о взаимосвязи между различными параметрами или компонентами данных. Поиск шаблонов производится методами, не ограниченными рамками априорных предположений о структуре выборки и виде распределений значений анализируемых показателей.

Сравнение формулировок задач при использовании методов OLAP и Data Mining

Еще одна важная особенность систем Data Mining - возможность обработки многомерных запросов и поиска многомерных зависимостей. Уникальна также способность систем Data Mining автоматически обнаруживать исключительные ситуации - т.е. элементы данных, «выпадающие» из общих закономерностей.

Выделяют пять стандартных типов закономерностей, которые позволяют выявлять методы Data Mining:

* ассоциация;

* последовательность;

* классификация;

* кластеризация;

* временные закономерности.

Ассоциация имеет место в том случае, если несколько событий связаны друг с другом. Например, исследование, проведенное в супермаркете, может показать, что 65% купивших кукурузные чипсы берут также и "кока-колу", а при наличии скидки за такой комплект "кока-колу" приобретают в 85% случаев. Располагая сведениями о подобной ассоциации, менеджерам легко оценить, насколько действенна предоставляемая скидка.

Если существует цепочка связанных во времени событий, то говорят о последовательности. Так, например, после покупки дома в 45% случаев в течение месяца приобретается и новая кухонная плита, а в пределах двух недель 60% новоселов обзаводятся холодильником.

С помощью классификации выявляются признаки, характеризующие группу, к которой принадлежит тот или иной объект. Это делается посредством анализа уже классифицированных объектов и формулирования некоторого набора правил.

Кластеризация отличается от классификации тем, что сами группы заранее не заданы. С помощью кластеризации средства Data Mining самостоятельно выделяют различные однородные группы данных.

Основой для всевозможных систем прогнозирования служит историческая информация, хранящаяся в БД в виде временных рядов. Если удается построить найти шаблоны, адекватно отражающие динамику поведения целевых показателей, есть вероятность, что с их помощью можно предсказать и поведение системы в будущем.

Сегодня существует большое количество разнообразных методов исследования данных. Среди них можно выделить основные методы, используемые в технологиях Data Mining:

* регрессионный, дисперсионный и корреляционный анализ;

* методы анализа в конкретной предметной области, базирующиеся на эмпирических моделях;

* нейросетевые алгоритмы, идея которых основана на аналогии с функционированием нервной ткани и заключается в том, что исходные параметры рассматриваются как сигналы, преобразующиеся в соответствии с имеющимися связями между «нейронами», а в качестве ответа, являющегося результатом анализа, рассматривается отклик всей сети на исходные данные. Связи в этом случае создаются с помощью так называемого обучения сети посредством выборки большого объема, содержащей как исходные данные, так и правильные ответы;

* выбор близкого аналога исходных данных из уже имеющихся исторических данных, называется также методом «ближайшего соседа»;

* деревья решений - иерархическая структура, базирующаяся на наборе вопросов, подразумевающих ответ «Да» или «Нет»; несмотря на то, что данный способ обработки данных далеко не всегда идеально находит существующие закономерности, он довольно часто используется в системах прогнозирования в силу наглядности получаемого ответа;

* кластерные модели (иногда также называемые моделями сегментации) применяются для объединения сходных событий в группы на основании сходных значений нескольких полей в наборе данных; также весьма популярны при создании систем прогнозирования;

* алгоритмы ограниченного перебора, вычисляющие частоты комбинаций простых логических событий в подгруппах данных;

* эволюционное программирование - поиск и генерация алгоритма, выражающего взаимозависимость данных, на основании изначально заданного алгоритма, модифицируемого в процессе поиска; иногда поиск взаимозависимостей осуществляется среди каких-либо определенных видов функций (например, полиномов).

Системы Data Mining интегрируют в себе сразу несколько подходов, но, как правило, с преобладанием какого-то одного компонента.

Рассмотрим примеры некоторых возможных бизнес-приложений Data Mining в различных областях.

Розничная торговля

Типичные задачи, которые можно решать с помощью Data Mining в сфере розничной торговли, это анализ покупательской корзины, исследование временных шаблонов, создание прогнозирующих моделей.

Анализ покупательской корзины (анализ сходства) предназначен для выявления товаров, которые покупатели стремятся приобретать вместе. Знание покупательской корзины необходимо для улучшения рекламы, выработки стратегии создания запасов товаров и способов их раскладки в торговых залах.

Исследование временных шаблонов помогает торговым предприятиям принимать решения о создании товарных запасов. Оно дает ответы на вопросы типа: «Если сегодня покупатель приобрел видеокамеру, то через какое время он вероятнее всего купит новые батарейки и пленку?».

Создание прогнозирующих моделей дает возможность торговым предприятиям узнавать характер потребностей различных категорий клиентов с определенным поведением, например, покупающих товары известных дизайнеров или посещающих распродажи. Эти знания нужны для разработки точно направленных, экономичных мероприятий по продвижению товаров.

Банковское дело

Достижения технологии Data Mining используются в банковском деле для решения следующих распространенных задач:

Выявление мошенничества с кредитными карточками. Путем анализа прошлых транзакций, которые впоследствии оказались мошенническими, банк выявляет некоторые стереотипы такого мошенничества.

Сегментация клиентов. Разбивая клиентов на различные категории, банки делают свою маркетинговую политику более целенаправленной и результативной, предлагая различные виды услуг разным группам клиентов.

Прогнозирование изменений клиентуры. Data Mining помогает банкам строить прогнозные модели ценности своих клиентов и соответствующим образом обслуживать каждую категорию.

Страховые компании в течение ряда лет накапливают большие объемы данных. Здесь также можно использовать методы Data Mining: для выявления мошенничества и анализа риска.

Выявление мошенничества. Страховые компании могут снизить уровень мошенничества, отыскивая определенные стереотипы в заявлениях о выплате страхового возмещения, характеризующих взаимоотношения между юристами, врачами и заявителями.

Анализ риска. Путем выявления сочетаний факторов, связанных с оплаченными заявлениями, страховщики могут уменьшить свои потери по обязательствам. Известен случай, когда в США крупная страховая компания обнаружила, что суммы, выплаченные по заявлениям людей, состоящих в браке, вдвое превышают суммы по заявлениям одиноких людей. Компания отреагировала на это новое знание пересмотром своей общей политики предоставления скидок семейным клиентам.

Другие приложения в бизнесе

Data Mining может применяться во множестве других областей.

Развитие автомобильной промышленности. При сборке автомобилей производители должны учитывать требования каждого отдельного клиента, поэтому им нужны возможность прогнозирования популярности определенных характеристик и знание того, какие характеристики обычно заказываются вместе;

Политика гарантий. Производителям нужно предсказывать число клиентов, которые подадут гарантийные заявки, и среднюю стоимость заявок;

Поощрение часто летающих клиентов. Авиакомпании могут обнаружить группу клиентов, которых данными поощрительными мерами можно побудить летать больше. Например, одна авиакомпания обнаружила категорию клиентов, которые совершали много полетов на короткие расстояния, не накапливая достаточно миль для вступления в их клубы, поэтому она таким образом изменила правила приема в клуб, чтобы поощрять число полетов так же, как и мили.

Понятие информационной системы организации. Различные подходы к определению понятия «информационная система»

информационная система data mining

Для системы характерны следующие основные свойства:

* сложность системы зависит от множества входящих в нее компонентов, их структурного взаимодействия, а также от сложности внутренних и внешних связей и динамичности;

* делимость системы означает, что она состоит из ряда подсистем или элементов, выделенных по определенному признаку, отвечающему конкретным целям и задачам;

* целостность системы означает, что функционирование множества элементов системы подчинено единой цели;

* многообразие элементов системы и различия их природы связано с их функциональной специфичностью и автономностью, например, в объектах промышленного производства могут быть выделены такие элементы, как сырье, основные и вспомогательные материалы, топливо, полуфабрикаты, запасные части, готовая продукция, трудовые и денежные ресурсы;

* эмерджентность - это свойство системы создавать новое качество, которое не присуще ни одному из элементов ее составляющих, например, ни одна деталь самолета не обладает способностью летать, в совокупности же элементы системы создают для самолета возможность самостоятельного полета;

* структурированность системы определяет наличие установленных связей и отношений между элементами внутри системы, распределение элементов системы по уровням иерархии.

Существует два основных типа систем: закрытые и открытые. Закрытая система имеет жесткие фиксированные границы, ее действия относительно независимы от среды, окружающей систему. Открытая система характеризуется взаимодействием с внешней средой. Энергия, информация, материалы - это объекты обмена с внешней средой через проницаемые границы системы. Такая система не является самообеспечивающейся, она зависит от энергии, информации и материалов, поступающих извне. Кроме того, открытая система имеет способность приспосабливаться к изменениям во внешней среде и должна делать это для того, чтобы продолжить свое функционирование.

Добавление к понятию «система» слова «информационная» отражает цель ее создания и функционирования. Информационные системы (ИС) обеспечивают сбор, хранение, обработку, поиск, выдачу информации, необходимой в процессе принятия решений. Они помогают анализировать проблемы и создавать новые продукты.

В современной учебной и научной литературе можно встретить различные определения понятия «информационная система». Рассмотрим некоторые из них.

Процесс управления организацией основан на количественном и качественном преобразование информации с целью принятия оптимальных управленческих решений.

В рамках любой организации можно выделить управляющую часть (орган управления) и управляемый процесс (объект управления), составляющие в совокупности систему управления. Чтобы управляющая часть могла осуществлять управление, ей требуется сопоставлять фактическое состояние управляемого процесса с целью управления (это может быть выживание в конкурентной борьбе, получение максимальной прибыли, выход на определенные рынки), в связи с чем управляемый процесс воздействует на управляющую часть.

Можно выделить три основных модели, без разработки которых невозможно формирование эффективной системы управления организацией:

* модель координирующих и организующих подсистем организации (управляющие подсистемы - управленческий аппарат);

* модель внутренней среды организации (управляемые подсистемы - объект управления);

* модель взаимодействия внешней и внутренней сред организации (совокупность управляющих и управляемых подсистем).

Три указанные модели представляют три ключевых контура управления, организация взаимодействия между которыми происходит посредством петель обратной связи. Это позволяет придать управлению гибкий, адаптивный характер. Каждый из контуров управления обеспечивает взаимодействие подсистем посредством циркуляции информации. Таким образом, в системе управления всегда присутствует замкнутый информационный контур.

Информационный контур вместе со средствами сбора, передачи, обработки и хранения информации, а также с персоналом, осуществляющим эти действия с информацией, образует информационную систему данной организации.

Основная задача любой информационной системы - создание условий работы и ведения бизнеса, облегчение и автоматизация труда людей. Следовательно, информационная система образована двумя большими частями - информационной инфраструктурой и информационными сервисами. Информационные сервисы - это собственно то, ради чего и создаются информационные системы. Это могут быть интернет-сервисы, сервисы приложений, сервисы управления, принятия решений и т. д. Однако, без информационной инфраструктуры невозможно себе представить ни одного сервиса. Информационная инфраструктура есть функциональная, даже материальная основа, та среда, в которой функционируют информационные сервисы. Поэтому качество сервисов напрямую зависит от качества информационной инфраструктуры и от качества управления информационной инфраструктурой.

Информационную инфраструктуру можно представить как пирамиду, в основании которой лежат технические и системные программные средства. К ним можно отнести вычислительные платформы, серверы, персональные компьютеры, сети передачи данных, линии связи - все то, что обеспечивает надлежащее функционирование следующих уровней.

Вторым уровнем в этой пирамиде идут различные приложения. Для своего функционирования они используют ресурсы из первого слоя и обеспечивают работу сервисов конкретных приложений, таких как прикладное программное обеспечение, электронная почта, системы гарантированной доставки, базы данных, интернет-сервисы и т. д.

И, наконец, на самом верхнем уровне функционируют приложения, обеспечивающие прохождение бизнес-процессов. Для своего функционирования они используют оба нижележащих слоя и направлены на решение бизнес-задач, таких как управление производством, взаимодействие с заказчиками и поставщиками, финансовые системы и системы принятия решений.

Информационная инфраструктура представляет собой модель, с помощью которой была реализована та или иная информационная система: какие аппаратные и программные средства были выбраны для ее построения, по какой схеме движутся потоки данных, в каких узлах происходит их обработка и т. п.

Информационная система является системой информационного обслуживания работников управленческих служб и выполняет технологические функции в рамках реализации информационных процессов. Она складывается, формируется и функционирует в регламенте, определенном методами и структурой управленческой деятельности, принятой на конкретном экономическом объекте, реализует цели и задачи, стоящие перед ним.

Цель функционирования самой информационной системы - производство нужной для организации информации, создание информационной и технической сред для осуществления управления информацией. Эта общая цель, может быть декомпозирована на ряд локальных подцелей, сгруппированных в два класса.

Традиционные цели и критерии информационной системы

07.05.2003TopS BI предлагает решения на базе Oracle9i Data Mining

Новый продукт Oracle9i Data Mining for Java предоставляет широкие возможности по использованию технологии "извлечения знаний" в информационных системах поддержки принятия решения.

28 апреля 2003 года корпорация Oracle, крупнейший в мире производитель корпоративного программного обеспечения, объявила о выходе Oracle9i Data Mining for Java (DM4J) - набора компонент для поддержки создания клиентских приложений, работающих с Data Mining.

Технология "выявления и извлечения знаний" Data Mining является составной частью систем поддержки принятия решений (Management Information System). Выпуск корпорацией Oracle своего флагманского продукта - СУБД Oracle9i Database - предоставил в распоряжение разработчиков и встроенную в сервер технологию Data Mining. Однако создание приложений для конечных пользователей требовало использования программного интерфейса (API).

С появлением Oracle9i Data Mining for Java (DM4J) стало возможно быстро, без дополнительного программирования, создавать мощные Java-приложения, использующие в своей работе технологию выявления зависимостей и извлечения знаний. DM4J представляет собой набор компонентов, встраиваемых в среду разработки Oracle Jdeveloper и позволяющих создавать приложения, которые содержат всю мощь реализованных в Oracle9i Data Mining алгоритмов анализа и извлечения зависимостей.

Таким образом, корпорация Oracle полностью реализовала поддержку технологии Data Minig в своих продуктах. Oracle9i Data Minig является опцией сервера баз данных Oracle9i и не требует дополнительных установок, развертывания и администрирования. Компании, использующие в своей инфраструктуре Oracle9i Database, могут легко и без значительных инвестиций начать применение Oracle9i Data Minig.

Компания TopS BI имеет целый ряд успешных реализаций систем хранилищ данных и многомерного анализа (OLAP) на базе продуктов Oracle. Являясь центром компетенции Oracle по направлению "Аналитические системы и хранилища данных", компания TopS BI предлагает разработку и внедрение информационных систем поддержки принятия решений (Management Information System) с использованием технологии Data Mining.

Особый интерес данная технология представляет для компаний, имеющих большой объем накопленной разнородной информации. Как правило, эта информация характеризуется большим набором атрибутов и показателей, между которыми трудно определять взаимосвязи ввиду их неочевидности.

В данном случае применение традиционных средств многомерного анализа (OLAP) становится неэффективным, и на помощь приходит продукт Oracle9i Data Minig, который позволяет автоматически выявить закономерности и взаимосвязи в больших объемах информации. Это обеспечивает поддержку принятия управленческих решений.

Технологии Data Mining адресованы, прежде всего, компаниям, накопившим огромный объем данных, - это предприятия нефтяной и газовой отраслей, телекоммуникационные компании, финансовые организации, предприятия торговли и крупные дистрибуторские компании. Информация, касающаяся финансово-хозяйственной деятельности, разнесена по различным источникам, и для составления консолидированного отчета требуется значительное время, поскольку механизмы сопоставления информации определены нечетко.

Применение технологии Data Mining вместе с мощными интеграционными возможностями СУБД Oracle позволяет выявлять закономерности между факторами, влияющими на показатели ведения бизнеса предприятия, и с высокой долей вероятности строить прогноз развития бизнеса. Например, формализация клиентской БД по определенному набору атрибутов - пол, возраст, доход, количество обращений и т.п. - позволит прогнозировать показатели надежности и лояльности клиента к вашей компании и применять выявленные закономерности в работе с новыми клиентами.

Размещено на Allbest.ru