Автоматизация управления запасами

Размещено на http://www.allbest.ru/

РЕФЕРАТ

Объект исследования: товарооборот торгового предприятия, его финансово-хозяйственная деятельность (максимальная прибыль и минимальные убытки), ликвидность товарных остатков на складе.

Цель работы: разработка и внедрение на предприятии оптово-розничной торговли фармацевтическими препаратами оригинальной информационной системы поддержки принятия решений (СППР), позволяющей повысить эффективности хозяйственной деятельности предприятия путем снижения объема статистического учета, уменьшения издержек товарооборота и рационального использования денежных ресурсов.

В качестве СППР применена прогнозирующая система на основе трехслойной нейронной сети, предназначенная для обнаружения скрытых закономерностей потребительского спроса во временных рядах динамики продаж. В задаче прогнозирование рассматривается в целях планирования управления запасами.

Разработанный программный продукт предназначен для использования в составе учетно-аналитической системы программ «1С: Предприятие 7.7» и может быть применен в качестве СППР при осуществлении хозяйственной деятельности, связанной с ведением оптово-розничной торговли. Применение данной системы при планировании закупок повышает эффективность распределения средств и снижает вероятность финансовых потерь, что, в конечном итоге, выражается в положительном экономическом результате.

ОПТОВО-РОЗНИЧНАЯ ТОРГОВЛЯ, ПОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИЙ, АНАЛИЗ ДАННЫХ, ПРОГНОЗИРОВАНИЕ ВРЕМЕННЫХ РЯДОВ, НЕЙРОННЫЕ СЕТИ, DATA MINING

ABSTRACT

Explanatory note: 127 pages, 23 figures, 6 tables, 64 sources.

Object of study: trade trading company, its financial and economic activity (the maximum profits and minimum losses) and liquidity of commodity balances in stock.

Objective: To develop and implement an enterprise of wholesale and retail trade in pharmaceutical products of the original information decision support system (DSS), which allows to increase the efficiency of business enterprises by reducing the amount of statistics, reducing turnover costs and management of financial resources.

As a decision support system used predictive system based on a three-layer neural network, designed to detect hidden patterns of consumer demand in the time series dynamics of sales. In the problem of forecasting is considered in planning for inventory management.

The developed software is designed for use in recording and analysis system software "1C: Enterprise 7.7" and can be used as a decision support system for the implementation of the economic activity associated with the conduct of wholesale and retail trade. Application of the system in procurement planning improves the allocation of funds and reduces the likelihood of financial loss that will ultimately be expressed in a positive economic result.

WHOLESALE AND RETAIL TRADE, DECISION SUPPORT, DATA ANALYSIS, TIME SERIES FORECASTING, NEURAL NETWORKS, DATA MINING

СОДЕРЖАНИЕ

• ПЕРЕЧЕНЬ УСЛОВНЫХ ОБОЗНАЧЕНИЙ, СИМВОЛОВ, ЕДИНИЦ, СОКРАЩЕНИЙ И ТЕРМИНОВ 5
• ВВЕДЕНИЕ 6
• 1. АНАЛИЗ ПРОБЛЕМНОЙ ОБЛАСТИ И ПОСТАНОВКА ЗАДАЧИ 10
• 1.1 Анализ хозяйственной деятельности торгового фарм. предприятия 10
• 1.2 Обзор систем и технологий автоматизации принятия решений 13
• 1.2.1 Технология поддержки и принятия решений 13
• 1.2.2 Системы поддержки принятия решений. 21
• 1.2.3 Data Mining 30
• 1.2.4 Прогнозирующие системы 44
• 1.3 Постановка задачи 49
• 2. ОПРЕДЕЛЕНИЕ ПРОБЛЕМЫ И МЕТОДЫ ПРОГНОЗИРОВАНИЯ 50
• 2.1 Определение проблемы прогнозирования 50
• 2.2 Анализ методов прогнозирования 54
• 2.3 Прогнозирование временных рядов 57
• 2.4 Решение задачи применением ИНС 68
• 3. Разработка Системы Поддержки Принятия Ррешений 82
• 3.1 Общие требования к разрабатываемой системе 82
• 3.2 Разработка логической структуры СППР 83
• 3.4 Определение параметров ИНС 88
• 3.5 Разработка программного продукта 92
• 4. охрана труда и БЕЗОПАСНОСТЬ в чрезвычайных ситуациях 95
• 4.1 Анализ условий труда 95
• 4.2 Промышленная безопасность в помещении 102
• 4.3 Производственная санитария и гигиена труда 104
• 4.4 Пожарная безопасность 110
• 4.5 Безопасность в чрезвычайных ситуациях 112
• ВЫВОДЫ 113
• ПЕРЕЧЕНЬ ССЫЛОК 115

ПЕРЕЧЕНЬ УСЛОВНЫХ ОБОЗНАЧЕНИЙ, СИМВОЛОВ, ЕДИНИЦ, СОКРАЩЕНИЙ И ТЕРМИНОВ

ЛПР - литцо принимающее решение.

СППР - система поддержки принятия решений.

ИТ - информационные технологии.

ГИС - геоинформационные системы.

OLAP - технологии оперативного анализа распределенных данны.

СУБД - системы управления базой данных.

СПГР - системы поддержки генерации решений.

СПВР - системы поддержки выбора решений.

ИАД - интеллектуального анализа данных.

НС - нейронные сети

СОД - системах обработки данных.

ИНС - Искусственные нейронные сети.

CBR - case based reasoning - системы рассуждений на основе аналогичных случаев.

ИАС - информационно-аналитической системы.

Data Mining - discovery-driven data mining - в переводе с английского означает "добыча данных". Альтернативное название - knowledge discovery in databases ("обнаружение знаний в базах данных" или "интеллектуальный анализ данных").

ВВЕДЕНИЕ

Современная экономика немыслима без эффективного управления. Управленческая деятельность в современных условиях выступает как один из важнейших факторов функционирования и развития объектов экономики. Эта деятельность постоянно изменяется и совершенствуется в соответствии с объективными требованиями рынка, усложнением хозяйственных связей, новациями в сфере научно-технического прогресса, и повышением роли человеческого фактора.

Успех управления во многом определяется эффективностью принятия интегрированных решений, которые учитывают самые разносторонние факторы и тенденции динамики их развития. В условиях нестабильности ситуации рыночной экономики принятие решений по управлению объектами экономической деятельности является сложнейшей задачей. И если предметом изучения являться основной хозяйствующий субъект экономики - предприятие, в частности, эффективность его деятельности, то вся сложность поставленной задачи вполне очевидна.

Задачи управления требуют умения использовать и обрабатывать большие объемы информации, проводить в различных разрезах и плоскостях ее анализ, моделировать бизнес-процессы и экономические ситуации, а также структурировать и представлять информационный материал для последующего принятия управленческих решений.

Перед лицом, принимающим решение (ЛПР), встает проблема изучения и обобщения всей совокупности факторов, от которых зависит нормальное функционирование рассматриваемой экономической системы. Одна из проблем, с которой сталкивается ЛПР при проведении оперативного анализа деятельности предприятия, заключается в сложности восприятия больших массивов данных, содержащихся в учетных системах. Существенную же роль в процессе принятия решений ЛПР играет оперативность и качество выполнения вышеперечисленных требований, что сегодня представляется затруднительным без применения современных информационных технологий (ИТ), таких как технологии оперативного анализа распределенных данных (OLAP-технологии), сетевые технологии общего доступа, различные статистические пакеты, геоинформационные системы (ГИС-технологии), системы поддержки принятия решений (СППР) и т.п.

Не последнюю роль в улучшении качества принятии решений играют научно-технические новации в области ИТ, а также информация, содержащая новые научные знания, сведения об изобретениях и технических новинках. Это непрерывно пополняемый фонд технических решений и растущий потенциал знаний, практическое и своевременное использование, которого обеспечивает предприятию высокий уровень конкурентоспособности на рынке.

Бизнес-процессы предприятия, включая и процессы принятия решений, можно сделать более производительными, используя соответствующие информационные технологии, существующие уже сегодня. Применение информационной техники прямым образом меняет качество последних, позволяя персоналу предприятия и ЛПР использовать больший объем информации, и устраняет некоторые наиболее трудоемкие операции анализа и принятия решений.

Для успешного решения управленческих проблем используются методы, которые позволяют свести большие массивы информации к небольшому количеству репрезентативных статистических характеристик. А качественная информация, т.е. релевантная, точная и своевременная информация, естественно, является необходимым условием для принятия качественного решения. Улучшение качества информации, имеющейся в момент принятия решения, позволяет ЛПР принять обоснованное, своевременное и правильное решение.

В последние годы сформировалось и активно используется новое направление в области автоматизации управленческого труда - системы поддержки принятия решений.

СППР являются человеко-машинными системами, которые позволяют лицам, принимающим решения, использовать данные, знания, объективные и субъективные модели для анализа и решения неструктурированных и слабо формализуемых задач. Применение методологии поддержки принятия решений даёт возможность: формализовать процесс нахождения решения на основе имеющихся данных (процесс порождения вариантов решения); ранжировать критерии и давать критериальные оценки физическим параметрам, влияющим на решаемую проблему (возможность оценить варианты решений); использовать формализованные процедуры согласования при принятии коллективных решений; использовать формальные процедуры прогнозирования последствий принимаемых решений; выбирать вариант, приводящий к оптимальному решению проблемы.

Однако процессы управления в рамках любого конкретного объекта экономики всегда носят свой специфический характер, определяемый как видом деятельности, так и масштабами решаемых задач. По этой причине готовые тиражируемые решения не всегда полностью соответствуют некоторым параметрам или требованиям конкретного хозяйствующего субъекта, а это зачастую не обеспечивает информационную поддержку принятия решения в полном объеме. Что, в свою очередь, приводит к необходимости разработки оригинальных систем и подсистем, учитывающих специфику внутренних требований.

Эта магистерская работа является примером такого применения современных информационных технологий в области управления предприятием. Её целью является построение на основе методов Data Mining модуля системы поддержки принятия маркетинговых решений в торговом предприятии, наиболее полно отвечающей потребностям предприятия и классу решаемых задач.

Раздел «Охрана труда и безопасность в чрезвычайных ситуациях» предусматривает рассмотрение характеристик помещения, проведение анализа системы “Человек - Машина - Среда”, описание имеющих место опасных и вредных производственных факторов (ОВПФ), рассматриваются анализ условий труда, разрабатываются вопросы промышленной безопасности, производственной санитарии, пожарной безопасности и гражданской обороны, организационные и технические мероприятия, направленные на улучшение условий труда разработчиков.

1. АНАЛИЗ ПРОБЛЕМНОЙ ОБЛАСТИ И ПОСТАНОВКА ЗАДАЧИ

1.1 Анализ хозяйственной деятельности торгового фарм. предприятия

Основным видом хозяйственной деятельности исследуемого объекта экономики является оптовая торговля фармацевтическими препаратами на рынке. Этот вид хозяйственной деятельности характеризуется наличием трех основных операционных этапов: закупка - хранение - отпуск товара. Обеспечением этой технологической цепи на предприятия занимаются три его отдела: отдел закупок, отдел продаж и склад (рисунок 1.1). Каждый отдел возглавляется начальником, в подчинении которого находятся менеджеры и технический персонал.

Рисунок 1.1 - Структура исследуемого предприятия

Весь процесс документооборота на предприятии автоматизирован. В качестве инструмента информационной поддержки используется компьютеры на базе платформы Intel PIII - PIV и локальная компьютерная сеть технологии Ethernet 10Base-T, объединяющая сервер под управлением операционной системы MS Windows 2000 Server и 10 рабочих станций под управлением MS Windows 2000 Professional, рассредоточенных по отделам. При этом для офисной работы на предприятии используется следующее программное обеспечение: MS Office 2000 и клиент-серверный вариант поставки системы программ «1С: Предприятие 7.7» с комплексной конфигурацией. Основным и единственным хранилищем учетных данных в этом случае является внутренняя база данных учетно-аналитической системы программ «1С: Предприятие 7.7».

Предприятие работает по пятидневной рабочей неделе и ежедневно осуществляет несколько операций закупки и отпуска товара.

Технологический цикл оптово-розничной торговли медикаментами, да и сам фармацевтический сектор экономики имеют свои особенности и специфику.

Специфика рынка медикаментов заключается в том, что на отдельные виды препаратов или их группы спрос подвержен ощутимым колебаниям, связанных с:

- сезонными периодами;

- предпочтениями покупателей;

- ценообразованием;

- активностью дилеров и рекламой;

- другими слабо формализуемыми причинами.

Особенности ведения оптовой или розничной торговли медикаментами таковы, что при осуществлении закупочных операций необходимо учитывать строго определённый срок годности фарм. препаратов и сопоставлять его с периодом реализации запаса последних. Несоблюдение этого требования влечет за собой или значительные финансовые убытки от списания неликвидного товара или издержки правового характера (вплоть до лишения лицензии на торговлю).

Из выше сказанного явствует, что процесс принятия решения о количестве закупаемого препарата того или иного вида является важнейшим этапом в осуществлении этого вида торговой деятельности, а в условиях неопределенности и противоречивости критериев является и архи сложной задачей, решение которой может быть обосновано применением специальных средств прогнозирования и параметрической оптимизации.

Выявление закономерностей покупательного спроса, формируемого неявными и слабо формализуемыми причинами, с помощью традиционных средств статистического учета и применяемой в рамках этого предприятия учетно-аналитической бухгалтерской информационной системы «1С: Предприятие 7.7» является долговременным и трудоемким делом.

Программы системы «1С: Предприятие 7.7» считаются сегодня самым популярным на территории СНГ и стран Балтии средством автоматизации, чем и объясняется её широкое применение. Эта система программ является универсальным средством автоматизации всех видов учета на предприятиях и в организациях всех отраслей и видов собственности. Она содержит всего три основные компоненты: «Бухгалтерський учет», «Оперативный учет» и «Расчет», которые основаны на единой технологической платформе, имеют схожие принципы функционирования и тесно интегрированы друг с другом.

Компонент «Бухгалтерский учёт» ориентирован на решение задач бухгалтерского учета, прежде всего на отражение хозяйственных операций в системе счетов бухгалтерского учета.

Компонент «Расчет» ориентирован на решение задач, требующих выполнения сложных, периодически повторяющихся и взаимосвязанных в динамике расчетов (заработной платы, разного рода компенсаций, расчет стоимости заказов и т.д.).

Компонент «Оперативный учет» является универсальным средством решения задач учета наличия и движения различного рода средств и ресурсов.

Вследствие своей универсальности эта бухгалтерская система программ от фирмы «1С» реализует лишь общие стандартные функции статистического учета и анализа и не учитывает специфики конкретного её применения, что не отвечает в полной мере внутренним потребностям предприятия, специализирующегося на торговле фарм. препаратами. Однако, учитывая особенности внутреннего ценообразования, применение готовых пакетов и компьютерных программ особенно иностранного производства из-за высокой стоимости последних (2000-5000$) экономически не целесообразно. К тому же зачастую эти программы имеют значительно больший объем и вычислительную мощность, нежели это необходимо для решения указанного класса задач внутри предприятия.

В сложившихся обстоятельствах применяемые на предприятии методы ведения статистического учета не соответствует динамике ситуации этого сектора экономики и не способствует оперативному принятию качественных стратегических и тактических решений поведения на рынке. В связи, с чем возникает потребность в разработке своей оригинальной системы поддержки принятия маркетинговых решений, обладающей способностью прогнозировать объемы будущих продаж и предлагать ЛПР варианты наиболее выгодного вложения средств.

Таким образом, целью данной магистерской работы является разработка и внедрение на предприятии оптово-розничной торговли фармацевтическими препаратами оригинальной информационной системы поддержки принятия решений, позволяющей повысить эффективности хозяйственной деятельности предприятия путем снижения объема статистического учета, уменьшения издержек товарооборота и рационального использования денежных ресурсов.

1.2 Обзор систем и технологий автоматизации процессов принятия решений

1.2.1 Технология поддержки и принятия решений

Процесс принятия решения - это получение и выбор наиболее оптимальной альтернативы с учетом просчета всех последствий.

При выборе альтернатив - надо выбирать ту, которая наиболее полно отвечает поставленной цели, но при этом приходится учитывать большое количество противоречивых требований и, следовательно, оценивать выбранный вариант решения по многим критериям.

Процесс принятия решения заключается в следующем:

- помощь ЛПР при анализе объективной составляющей проблемы;

- выявление предпочтений ЛПР;

- учет неопределенности в оценках ЛПР;

- генерация набора решений;

- оценка возможных решений, исходя из предпочтений ЛПР и

ограничений, накладываемых внешней средой;

- анализ последствий принимаемых решений;

- выбор лучшего с точки зрения ЛПР решения.

Главной особенностью информационной технологии поддержки принятия решений является качественно новый метод организации взаимодействия человека и компьютера. Выработка решения, что является основной целью этой технологии, происходит в результате итерационного процесса (рисунок 1.2), в котором участвуют:

- система поддержки принятия решений в роли вычислительного звена и объекта управления;

- человек как управляющее звено, задающее входные данные и оценивающее полученный результат вычислений на компьютере.

Рисунок 1.2 - ИТ поддержки принятия решений как итерационный процесс

Окончание итерационного процесса происходит по воле человека. В этом случае можно говорить о способности информационной системы совместно с пользователем создавать новую информацию для принятия решений.

Особенностями информационной технологии поддержки принятия решений является ряд ее отличительных характеристик:

- ориентация на решение плохо структурированных (слабоформализуемых) задач;

- сочетание традиционных методов доступа и обработки компьютерных данных с возможностями математических моделей и методами решения задач на их основе;

- направленность на непрофессионального пользователя компьютера;

- высокая адаптивность, обеспечивающая возможность приспосабливаться к особенностям имеющегося технического и программного обеспечения, а также требованиям пользователя.

Информационная технология поддержки принятия решений может использоваться на любом уровне управления. Кроме того, решения, принимаемые на различных уровнях управления, часто должны координироваться. Поэтому важной функцией и систем, и технологий является координация лиц, принимающих решения, как на разных уровнях управления, так и на одном уровне.

Рассмотрим структуру системы поддержки принятия решений, а также функции составляющих ее блоков, которые определяют основные технологические операции (рисунок 1.3).

Рисунок 1.3 - Основные компоненты ИТ поддержки принятия решений

В состав системы поддержки принятия решений (СППР) входят три главных компоненты: база данных, база моделей и программная подсистема, состоящая из системы управления базой данных (СУБД) и системы управления интерфейсом.

База данных играет роль хранилища информации, используемой непосредственно для расчетов при помощи математических моделей. Основная часть информации поступает от информационной системы операционного уровня.

Помимо данных об операциях предприятия для эффективного функционирования СППР требуются ещё внутренние данные (данные о движении персонала, инженерные данные и т.п.) и данные из внешних источников (данные о конкурентах, национальной и мировой экономике), которые должны быть своевременно собраны, введены и обработаны.

Для эффективного их использования имеются две возможности, предварительной обработки:

- использовать для обработки данных об операциях предприятия СУБД, входящую в состав СППР;

- выполнять обработку за пределами СППР, используя специальную СУБД.

Второй вариант более предпочтителен для предприятия, производящих большое количество коммерческих операций. Обработанные данные при этом для повышения надежности и быстрого доступа хранятся обычно в файлах за пределами СППР.

В настоящее время широко исследуется вопрос о включении в базу данных еще одного источника данных - документов, включающих в себя записи, письма, контракты, приказы и т.п. Содержание этих документов, обработанное по ключевым характеристикам (поставщикам, потребителям, датам, видам услуг и др.), становиться новым мощным источником информации.

Система управления данными должна обладать следующими возможностями:

- составление комбинаций данных, получаемых из различных источников, использования процедур агрегирования и фильтрации;

- быстрое прибавление или исключение того или иного источника данных;

- построение логической структуры данных в терминах пользователя;

- использование и манипулирование неофициальными данными для экспериментальной проверки рабочих альтернатив пользователя;

- обеспечение полной логической независимости этой базы данных от других операционных баз данных, функционирующих в рамках предприятия.

База моделей. Целью создания моделей являются описание некоторого объекта или процесса. Использование моделей обеспечивает проведение анализа в системах поддержки принятия решений. Модели, базируясь на математической интерпретации проблемы, при помощи определенных алгоритмов способствуют нахождению информации полезной для принятия правильных решений.

По назначению модели подразделяются на системы поддержки генерации решений (СПГР) и системы поддержки выбора решений (СПВР).

СПГР можно разделить на эвристические и оптимизационные. Эвристические модели позволяют находить варианты решений на базе известных правил, принципов и аналогов или описывают поведение процесса. Оптимизационные позволяют находить экстремумы некоторых показателей, и предназначены для целей управления (оптимизации). В оптимизационных СППР используются методы структурного синтеза и параметрической оптимизации.

СПВР предназначены для выбора эффективных вариантов решений, сгенерированных любым из вышеперечисленных методов, либо поступивших извне. Эти системы базируются на методах многокритериального анализа и экспертных оценок.

По способу оценки модели классифицируются на детерминистские, использующие оценку переменных одним числом при конкретных значениях исходных данных, и стохастические, оценивающие переменные несколькими параметрами вследствие того, что исходные данные заданы вероятностными характеристиками.

Ввиду недороговизны детерминистские модели более популярны, чем стохастические, их легче строить и использовать. К тому же часто с их помощью получается вполне достаточная информация для принятия решения.

По области возможных приложений модели разбиваются на специализированные, предназначенные для использования только одной системой, и универсальные - для использования несколькими системами. Специализированные модели обладают большей точностью, более дорогие и применяются обычно для описания уникальных систем.

В СППР база моделей может состоять из стратегических, тактических, оперативных и математических моделей, а также моделей в виде совокупности модельных блоков, модулей и процедур, используемых как элементы для их построения.

Стратегические модели используются на высших уровнях управления для установления целей организации, объемов ресурсов, необходимых для их достижения, а также политики приобретения и использования этих ресурсов. Они могут быть также полезны при выборе вариантов размещения предприятий, прогнозировании политики конкурентов и т.п. Для стратегических моделей характерны значительная широта охвата, множество переменных, представление данных в сжатой агрегированной форме. Часто эти данные базируются на внешних источниках и могут иметь субъективный характер. Горизонт планирования в стратегических моделях, как правило, измеряется в годах. Эти модели обычно детерминистские, описательные, специализированные для использования на одном определенном предприятие.

Тактические модели применяются на среднем уровне управления для распределения и контроля использования имеющихся ресурсов (финансовое планирование, планирование требований к работникам, планирование увеличения продаж, построение схем компоновки предприятий). Эти модели применимы обычно лишь к подразделениям предприятия (например, к системе производства и сбыта) и могут также включать в себя агрегированные показатели. Временной горизонт, охватываемый тактическими моделями, - от одного месяца до двух лет. Здесь также могут потребоваться данные из внешних источников, на основное внимание при реализации данных моделей должно быть уделено внутренним данным предприятия. Обычно тактические модели реализуются как детерминистские, оптимизационные и универсальные.

Оперативные модели используются на низших уровнях управления для поддержки принятия оперативных решений с горизонтом, измеряемым днями и неделями. Возможные применения этих моделей включают в себя ведение дебиторских счетов и кредитных расчетов, календарное производственное планирование, управление запасами и, как правило, детерминистские, оптимизационные и универсальные.

Математические модели состоят их совокупности модельных блоков, модулей и процедур, реализующих математические методы. Сюда могут входить процедуры линейного программирования, статистического анализа временных рядов, регрессионного анализа и т.п. Модельные блоки, модули и процедуры могут использоваться как поодиночке, так и комплексно для построения и поддержания моделей.

Система управления базой моделей должна обладать следующими возможностями:

- создавать новые модели или изменять существующие;

- поддерживать и обновлять параметры моделей;

- манипулировать моделями.

Система управления интерфейсом. Эффективность и гибкость информационной технологии принятия решений во многом зависят от характеристик интерфейса СППР. Интерфейс определяют: способы диалога с пользователем и его знания в предметной области. Совершенствование интерфейса СППР определяется прогрессом в развитии каждого из этих указанных компонентов.

Интерфейс СППР должен обладать следующими возможностями:

- манипулировать различными формами диалога, изменяя их в процессе принятия решения по выбору пользователя;

- передавать данные системы различными способами;

- получать данные от различных устройств системы в различном формате;

- гибко поддерживать (оказывать помощь по запросу, подсказывать) знания пользователя.

В настоящее время наиболее распространены следующие формы диалога с пользователем: запросно-ответный режим, командный режим, различные меню, машинная графика, мультипликация, машинная речь и голосовое управление. Каждая форма в зависимости от типа задачи, особенностей пользователя и принимаемого решения может иметь свои достоинства и недостатки.

Для эффективного представления информации, ее визуализации все большее применение получают ГИС-технологии, которые также могут быть успешно использованы на начальной стадии анализа и классификации информации.

Современные геоинформационные системы представляют собой новый класс интегрированных информационных систем, в основу которых заложена технология систем автоматизированного проектирования и интеграции процессов обработки информации на базе географических данных.

Карты позволяют изображать и динамику происходящих событий, т.е. передавать пользователям информацию об обстановке в режиме реального времени

Особое значение имеет принятие идеологии построения слоев (плоскостей) представления частей графического изображения, позволяющих создавать и отображать в одном слое те составляющие изображения, которые имеют единую тематическую направленность.

ГИС, как и другие информационные технологии, подтверждают, что лучшая информированность помогает принять эффективное и более обоснованное решение. Однако, ГИС - это не инструмент для выдачи решений, а средство, повышающее эффективность процедуры принятия решений. Требуемая для принятия решений информация может быть представлена в лаконичной картографической форме с дополнительными текстовыми пояснениями, графиками и диаграммами. Наличие доступной для восприятия и обобщения информации позволяет менеджерам сосредоточить свои усилия на поиске решения, не тратя значительного времени на сбор и осмысливание данных.

1.2.2 Системы поддержки принятия решений

Очевидно, что принимаемые решения о стратегии и тактике деятельности и развития субъекта предпринимательской деятельности должны быть тщательно продуманы и обоснованы. В экономических системах это важно, так как принимаемые решения касаются живых людей, их материального и духовного состояния. На сегодняшний день принятие решений ЛПР в основном базируется на личном опыте и интуиции.

Экономические системы сложны, и их поведение трудно предсказать из-за наличия огромного количества прямых и обратных связей, часто неочевидных с первого взгляда. Человек не способен справиться с задачей такой размерности, с чем и возникла необходимость обеспечить информационно-аналитическую поддержку принятия решений. Сравнительный анализ вариантов решений (различных прогнозов, стратегий развития и т.д.) становится невозможным без компьютерных систем поддержки принятия решений.

Системы поддержки принятия решений и соответствующая им информационная технология появились усилиями в основном американских ученых в конце 70-х - начале 80-х гг., чему способствовали широкое распространение персональных компьютеров, стандартных пакетов прикладных программ, а также успехи в создании систем искусственного интеллекта.

Концепция СППР включает целый ряд средств, объединенных общей целью - способствовать принятию рациональных и эффективных управленческих решений.

Система поддержки принятия решений - это диалоговая автоматизированная система, использующая правила принятия решений и соответствующие модели с базами данных, а также интерактивный компьютерный процесс моделирования. Она предназначена для решения задач классификации большого количества вариантов (альтернатив) или выбора из них наилучших вариантов на основе информации, получаемой от лица, принимающего решения.

Основу СППР составляют комплекс взаимосвязанных моделей с соответствующей информационной поддержкой исследования, интеллектуальные и экспертные системы, включающие опыт решения задач управления и обеспечивающие участие коллектива экспертов в процессе выработки рациональных решений.

В СППР используются современные методы математической теории принятия решений, позволяющие обрабатывать не только количественную, но и качественную информацию. Применяемые методы обеспечивают:

- ввод и хранение экспертной информации описывающей структуру предпочтений лица, принимающего решения;

- ввод и хранения методик сравнения или классификации вариантов;

- решение задач классификации и выбора наилучших вариантов на основе итерационных процедур, использующих современные математически корректные методы, ориентированных на качественную информацию.

Схема движения информационных потоков при использовании СППР представлена (рисунок 1.4), предполагается, что информация о вариантах (данные) содержится в хранилище данных. Доступ к данным обеспечивает модуль анализа, позволяющий осуществлять выборку существенных с точки зрения конкретной задачи данных из хранилища. Решение задач классификации и выбора осуществляется в модуле поддержки принятия решений на основе методик эксперта и методик ЛПР. Методиками эксперта здесь называется заранее подготовленные экспертами и введенные в СППР типовые алгоритмы проведения классификации (выбора). Эти алгоритмы должны быть уточнены в соответствии с предпочтениями конкретного ЛПР, на основе его методик.

Рисунок 1.4 - Схема движения информационных потоков при использовании СППР

Зачастую СППР обладают свойством универсальности и могут быть адаптированы к решению различных задач, характеризующихся следующими особенностями:

- большое количество альтернатив;

- большое количество параметров, характеризующих альтернативы;

- отсутствие единых рекомендаций для формирования набора показателей и критериев, которые часто допускают возможность получения только качественных (экспертных) оценок.

Условиями такой адаптации являются обеспечение доступа к данным, а также разработка и ввод в систему методик сравнения альтернатив.

Основными этапами работы ЛПР с системой являются:

- определение цели работы с системой (выбор или классификация);

- определение существенных данных (какие именно данные из хранилища использовать при решении данной задачи);

- определение правил вычисления показателей, по которым будут оцениваться сравниваемые варианты (альтернативы) - переход от данных к показателям;

- задание качественных шкал показателей;

- разбиение множества показателей на смысловые группы и формирование для каждой из них интегрального показателя (критерия), на основе заложенных в систему методик - переход от показателей к критериям;

- выявление предпочтений ЛПР на множестве критериев в ходе опроса;

- формирование решения задачи по результатам опроса;

- анализ результата и возможный переход к выполнению одного из предыдущих этапов.

Архитектурно-технологическая схема информационно-аналитической поддержки принятия решений (рисунок 1.5).

Рисунок 1.5 Архитектурно-технологическая схема СППР

Первоначально информация хранится в оперативных базах данных OLTP-систем. Агрегированная информация организуется в многомерное хранилище данных. Затем она используется в процедурах многомерного анализа (OLAP) и для интеллектуального анализа данных (ИАД).

Хранилища данных. Любое принятие решений должно основываться на реальных данных об объекте управления. Такая информация обычно хранится в оперативных базах данных OLTP-систем. Эти оперативные данные не подходят для целей анализа, так как для анализа и принятия стратегических решений в основном нужна агрегированная информация. Кроме того, для целей анализа необходимо иметь возможность быстро манипулировать информацией, представлять ее в различных аспектах, производить различные нерегламентированные запросы к ней, что затруднительно реализовать на оперативных данных по соображениям производительности и технологической сложности. Решением данной проблемы является создание отдельного хранилища данных, содержащего агрегированную информацию в удобном виде.

Актуальность проблемы хранения и быстрого поиска данных привела к появлению такого понятия как Data Warehouse - хранилище данных (ХД). Создание единых хранилищ данных предполагает использование технологий статистической обработки данных для их предварительного анализа, определения состава и структуры тематических рубрик.

Целью построения хранилища данных является интеграция, актуализация и согласование оперативных данных из разнородных источников для формирования единого непротиворечивого взгляда на объект управления в целом. При этом в основе концепции хранилищ данных лежит признание необходимости разделения наборов данных, используемых для транзакционной обработки, и наборов данных, применяемых в системах поддержки принятия решений. Такое разделение возможно путем интеграции и внешних источниках детализированных данных в едином хранилище, их согласования и агрегации.

Эффективность использования хранилища достигается внедрением новейших технологий для сбора, структуризации, хранения, организации доступа, обновления и защиты данных.

Концепция хранилищ данных предполагает не просто единый логический взгляд на данные организации, а действительную реализацию единого интегрированного источника данных.

Альтернативным по отношению к этой концепции способом формирования единого взгляда на корпоративные данные является создание виртуального источника, опирающегося на распределенные базы данных различных СОД. При этом каждый запрос к такому источнику динамически транслируется в запросы к исходным базам данных, а полученные результаты на лету согласовываются, связываются, агрегируются и возвращаются к пользователю. Однако, при внешней элегантности, такой способ обладает рядом существенных недостатков.

Время обработки запросов к распределенному хранилищу значительно превышает соответствующие показатели для централизованного хранилища. Кроме того, структуры баз данных СОД, рассчитанные на интенсивное обновление одиночных записей, в высокой степени нормализованы, поэтому в аналитическом запросе к ним требуется объединение большого числа таблиц, что также приводит к снижению быстродействия.

Интегрированный взгляд на распределенное корпоративное хранилище возможен только при выполнении требования постоянной связи всех источников данных в сети. Таким образом, временная недоступность хотя бы одного из источников может либо сделать работу информационно-аналитической системы (ИАС) невозможной, либо привести к ошибочным результатам.

Выполнение сложных аналитических запросов над таблицами СОД потребляет большой объем ресурсов сервера БД и приводит к снижению быстродействия СОД, что недопустимо, так как время выполнения операций в СОД часто весьма критично.

Различные СОД могут поддерживать разные форматы и кодировки данных, данные в них могут быть несогласованны. Очень часто на один и тот же вопрос может быть получено несколько вариантов ответа, что может быть связано с асинхронностью моментов обновления данных, отличиями в трактовке отдельных событий, понятий и данных, изменением семантики данных в процессе развития предметной области, ошибками при вводе, утерей фрагментов архивов и т. д. В таком случае цель - формирование единого непротиворечивого взгляда на объект управления - может не быть достигнута.

Главным же недостатком является практическая невозможность обзора длительных исторических последовательностей, ибо при физическом отсутствии центрального хранилища доступны только те данные, которые на момент запроса есть в реальных БД связанных СОД. Основное назначение СОД - оперативная обработка данных, поэтому они не могут позволить себе роскошь хранить данные за длительный (более нескольких месяцев) период; по мере устаревания данные выгружаются в архив и удаляются из транзакционной БД. Что касается аналитической обработки, для нее как раз наиболее интересен взгляд на объект управления в исторической ретроспективе.

Таким образом, хранилище данных функционирует по следующему сценарию. По заданному регламенту в него собираются данные из различных источников - баз данных систем оперативной обработки. В хранилище поддерживается хронология: наравне с текущими хранятся исторические данные с указанием времени, к которому они относятся. В результате необходимые доступные данные об объекте управления собираются в одном месте, приводятся к единому формату, согласовываются и, в ряде случаев, агрегируются до минимально требуемого уровня обобщения.

На основе хранилища данных возможно составление отчетности для руководства, анализ данных с помощью OLAP-технологий и интеллектуальный анализ данных (англ. Data Mining).

OLAP-технологии. Разработка хранилища невозможна без использования технологий оперативного анализа распределенных данных (OLAP-технологий), которая обеспечивает построение многомерных моделей базы данных, иерархическое представление информации, выполнение сложных аналитических расчетов, динамическое изменение структуры отчета, обновление базы данных.

В основе концепции оперативной аналитической обработки (OLAP) лежит многомерное представление данных. Термин OLAP ввел в 1993 году E. F. Codd. В своей статье он рассмотрел недостатки реляционной модели (в первую очередь невозможность объединять, просматривать и анализировать данные с точки зрения множественности измерений, то есть самым понятным для корпоративных аналитиков способом) и определил общие требования к системам OLAP, расширяющим функциональность реляционных СУБД и включающим многомерный анализ как одну из своих характеристик.

По Кодду, многомерное концептуальное представление (англ. multi-dimensional conceptual view) является наиболее естественным взглядом управляющего персонала на объект управления. Оно представляет собой множественную перспективу, состоящую из нескольких независимых измерений, вдоль которых могут быть проанализированы определенные совокупности данных. Одновременный анализ по нескольким измерениям данных определяется как многомерный анализ. Каждое измерение включает направления консолидации данных, состоящие из серии последовательных уровней обобщения, где каждый вышестоящий уровень соответствует большей степени агрегации данных по соответствующему измерению. Так, измерение «исполнитель» может определяться направлением консолидации, состоящим из уровней обобщения «предприятие - подразделение - отдел - служащий», а измерение «время» может даже включать два направления консолидации - «год - квартал - месяц - день» и «неделя - день», поскольку счет времени по месяцам и по неделям несовместим. В этом случае становится возможным произвольный выбор желаемого уровня детализации информации по каждому из измерений.

Операция спуска (англ. drilling down) соответствует движению от высших ступеней консолидации к низшим и, напротив, операция подъема (англ. rolling up) означает движение от низших уровней к высшим.

Интеллектуальный анализ данных. Наибольший интерес в СППР представляет интеллектуальный анализ данных, так как он позволяет провести наиболее полный и глубокий анализ проблемы, дает возможность обнаружить скрытые взаимосвязи, принять наиболее обоснованное решение.

Современный уровень развития аппаратных и программных средств с некоторых пор сделал возможным повсеместное ведение баз данных оперативной информации на разных уровнях управления. В процессе своей деятельности промышленные предприятия, корпорации, ведомственные структуры, органы государственной власти и местного самоуправления накопили большие объемы данных. Они хранят в себе большие потенциальные возможности по извлечению полезной аналитической информации, на основе которой можно выявлять скрытые тенденции, строить стратегию развития, находить новые решения.

Интеллектуальный анализ данных (англ. Data Mining) - это процесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей (шаблонов информации). При этом накопленные сведения автоматически обобщаются до информации, которая может быть охарактеризована как знания.

В общем случае процесс ИАД состоит из трёх стадий:

- выявление закономерностей;

- использование выявленных закономерностей для предсказания неизвестных значений (прогностическое моделирование);

- анализ исключений, предназначенный для выявления и толкования аномалий в найденных закономерностях.

Новыми компьютерными технологиями, образующими ИАД являются экспертные и интеллектуальные системы, методы искусственного интеллекта, базы знаний, базы данных, компьютерное моделирование, нейронные сети, нечеткие системы. Современные технологии ИАД позволяют создавать новое знание, выявляя скрытые закономерности, прогнозируя будущее состояние.

Основным методом моделирования экономического развития предприятия является метод имитационного моделирования, который позволяет исследовать структуру предприятия с помощью экспериментального подхода. Это дает возможность на модели проиграть различные стратегии развития, сравнить альтернативы, учесть влияние многих факторов, в том числе с элементами неопределенности.

Перспективно применение в СППР комбинированных методов принятия решений в сочетании с методами искусственного интеллекта и компьютерным моделированием, различные имитационно-оптимизационные процедуры, принятие решений в сочетании с экспертными процедурами.

1.2.3 Data Mining

В основу современной технологии Data Mining (англ. discovery-driven data mining) положена концепция шаблонов (паттернов), отражающих фрагменты многоаспектных взаимоотношений в данных [1]. Эти шаблоны представляют собой закономерности, свойственные подвыборкам данных, которые могут быть компактно выражены в понятной человеку форме. Важное положение технологии - нетривиальность разыскиваемых шаблонов. Это означает, что найденные шаблоны должны отражать неочевидные, неожиданные (англ. unexpected) регулярности в данных, составляющие так называемые скрытые знания (англ. hidden knowledge). Выявлено, что сырые данные (англ. raw data) могут содержать глубинный пласт знаний, при грамотной раскопке которого могут быть обнаружены необходимые закономерности. Поиск шаблонов производится методами, не ограниченными рамками априорных предположений о структуре выборке и виде распределений значений анализируемых показателей.

Выделяют пять стандартных типов закономерностей, которые позволяют выявлять методы Data Mining: ассоциация, последовательность, классификация, кластеризация и прогнозирование.

Ассоциация имеет место в том случае, если несколько событий связаны друг с другом. Например, исследование, проведенное в супермаркете, может показать, что 65% купивших кукурузные чипсы берут также и "кока-колу", а при наличии скидки за такой комплект "колу" приобретают в 85% случаев. Располагая сведениями о подобной ассоциации, менеджерам легко оценить, насколько действенна предоставляемая скидка. Если существует цепочка связанных во времени событий, то говорят о последовательности. Так, например, после покупки дома в 45% случаев в течение месяца приобретается и новая кухонная плита, а в пределах двух недель 60% новоселов обзаводятся холодильником. С помощью классификации выявляются признаки, характеризующие группу, к которой принадлежит тот или иной объект. Это делается посредством анализа уже классифицированных объектов и формулирования некоторого набора правил. Кластеризация отличается от классификации тем, что сами группы заранее не заданы. С помощью кластеризации средства Data Mining самостоятельно выделяют различные однородные группы данных. Основой для всевозможных систем прогнозирования служит историческая информация, хранящаяся в БД в виде временных рядов. Если удается построить найти шаблоны, адекватно отражающие динамику поведения целевых показателей, есть вероятность, что с их помощью можно предсказать и поведение системы в будущем. Data Mining является мульти-дисциплинарной областью, возникшей и развивающейся на базе достижений прикладной статистики, распознавания образов, методов искусственного интеллекта, теории баз данных и др. Возникновение различных классов Data Mining (рисунок 1.6) связано с новым витком в развитии средств и методов обработки данных.



Рисунок 1.6 - Классы систем Data Mining

Отсюда обилие методов и алгоритмов, реализованных в различных действующих системах Data Mining. Многие из таких систем интегрируют в себе сразу несколько подходов. Тем не менее, как правило, в каждой системе имеется какая-то ключевая компонента, на которую делается главная ставка.

Статистические пакеты. Последние версии почти всех известных статистических пакетов включают наряду с традиционными статистическими методами также элементы Data Mining. Но основное внимание в них уделяется все же классическим методикам - корреляционному, регрессионному, факторному анализу и другим.

Недостатком систем этого класса считают требование к специальной подготовке пользователя. Также отмечают, что мощные современные статистические пакеты являются слишком "тяжеловесными" для массового применения в финансах и бизнесе. К тому же часто эти системы весьма дороги .

Есть еще более серьезный принципиальный недостаток статистических пакетов, ограничивающий их применение в Data Mining. Традиционные методы математической статистики оказались полезными главным образом для проверки заранее сформулированных гипотез (англ. verification-driven data mining) и для разведочного анализа, составляющего основу оперативной аналитической обработки данных (англ. online analytical processing, OLAP), в которой главными фигурантами служат усредненные характеристики выборки. Эти характеристики при исследовании реальных сложных жизненных феноменов часто являются фиктивными величинами. Концепция усреднения по выборке - есть основное ограничение этих методов, приводящее к операциям над фиктивными величинами. Большинство же методов, входящих в состав пакетов опираются на статистическую парадигму (таблица 1.1).

Таблица Ошибка! Текст указанного стиля в документе отсутствует..1 - Примеры формулировок задач при использовании методов OLAP и Data Mining

OLAP	Data Mining
Каковы средние показатели травматизма для курящих и некурящих?	Встречаются ли точные шаблоны в описаниях людей, подверженных повышенному травматизму?
Каковы средние размеры телефонных счетов существующих клиентов в сравнении со счетами бывших клиентов (отказавшихся от услуг телефонной компании)?	Имеются ли характерные портреты клиентов, которые, по всей вероятности, собираются отказаться от услуг телефонной компании?
Какова средняя величина ежедневных покупок по украденной и не украденной кредитной карточке?	Существуют ли стереотипные схемы покупок для случаев мошенничества с кредитными карточками?

В качестве примеров наиболее мощных и распространенных статистических пакетов можно назвать SAS (компания SAS Institute), SPSS (SPSS), STATGRAPICS (Manugistics), STATISTICA, STADIA и другие.

Системы рассуждений на основе аналогичных случаев. Идея систем case based reasoning (CBR) - на первый взгляд крайне проста. Для того чтобы сделать прогноз на будущее или выбрать правильное решение, эти системы находят в прошлом близкие аналоги наличной ситуации и выбирают тот же ответ, который был для них правильным. Поэтому этот метод еще называют методом "ближайшего соседа" (nearest neighbour). В последнее время распространение получил также термин memory based reasoning, который акцентирует внимание, что решение принимается на основании всей информации, накопленной в памяти.