Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Полтавський університет економіки і торгівлі

Кафедра економічної кібернетики

КУРСОВА РОБОТА

з дисципліни

”Інформаційний бізнес ”

на тему:

Побудова моделей Data Mining

Виконав студент групи ЕК-41

Яворський Олексій Юрійович

Полтава - 2010

ЗМІСТ

ВСТУП

РОЗДІЛ 1. ТЕОРЕТИЧНА ЧАСТИНА

1.1 Технологія Data Mining

1.2 Консолідація даних в задачах інформаційного бізнесу

1.3 Візуалізація даних

1.4 Задача асоціації в Data Mining

1.5 Кластеризація даних

1.6 Моделі прогнозування

ВСТУП

модель кластеризація дані data mining

Аналіз бізнес процесів - це сукупність завдань, методів, кваліфікацій і можливостей, необхідних для визначення проблеми, що стоїть перед бізнесом, і опису її рішення.

Бізнес-аналіз є першим кроком при впровадження на підприємстві систем автоматизації.

Оптимізація діяльності є пріоритетним завданням керівництва будь-якої компанії. Починати оптимізувати діяльність підприємства необхідно з аналізу його бізнес-процесів.

Темою курсової роботи є бізнес-аналіз діяльності туристичної агенції.

Мета роботи - навчитися застосовувати методи обробки бізнес-інформації про діяльність «туристичної агенції», а саме використати асоціативний підхід, консолідацію та кластеризацію.

Предмет - проведення бізнес-аналізу діяльності даної структури .

Об'єкт туристичної агенції - галузь, яка забезпечує людей туристичними послугами. Метою діяльності туристичної агенції є одержання прибутку, та надання допомоги своїм клієнтам.

РОЗДІЛ 1. ТЕОРЕТИЧНА ЧАСТИНА

1.1 Технологія аналізу Data Mining

Сучасні носії інформації дозволяють зберігати десятки і сотні гігабайт інформації, але без використання спеціальних засобів аналізу накопиченої інформації такі носії перетворюються просто на смітник непотрібних відомостей. Дуже часто прийняття правильного рішення ускладнене тим, що хоча дані і існують, вони є неповними, або, навпаки, надлишковими, засмічені інформацією, яка взагалі не має відношення до справи, несистематизованих або систематизованими невірно. Тоді вдаються до допомоги програмних засобів, які дозволяють привести інформацію до виду, який дає можливість з достатнім ступенем достовірності оцінити що містяться в ній факти і підвищити вірогідність прийняття оптимального рішення.

Є два підходи до аналізу даних за допомогою інформаційних систем.

У першому варіанті програма використовується для візуалізації інформації - витягу даних із джерел і надання їх людині для самостійного аналізу та прийняття рішень. Зазвичай дані, що надаються програмою, є простий таблицею, і в такому вигляді їх дуже складно аналізувати, особливо якщо даних багато, але є і більш зручні способи відображення: Куби, діаграми, гістограми, карти, дерева, тощо.

Другий варіант використання програмного забезпечення для аналізу - це побудова моделей. Модель імітує певний процес, наприклад, зміна обсягів продажів деякого товару, поведінка клієнтів та інше. Для побудови моделі необхідно зробити попередню обробку даних і далі до них застосовувати математичні методи аналізу: кластеризації, класифікацію, регресію і т. д. Побудовану модель можна використовувати для прийняття рішень, пояснення причин, оцінки значимості факторів, моделювання різних варіантів розвитку.

1.2 Консолідація даних в задачах інформаційного бізнесу

Консолідація - це комплекс методів та процедур направлених на вилучення даних з різних джерел для забезпечення необхідного рівня їх інформативності та якості перетворення в єдиний формат у якому вони можуть бути завантажені у сховище даних, або аналітичну систему.

Основні критерії оптимальності з точки зору консолідації даних:

- забезпечення високої швидкості доступу до даних;

- компактність збереження;

- автоматична підтримка цілісності стратегічних даних;

- контроль, не протиріччя даних;

Джерело даних - це об'єкт, який містить структуровані дані, що можуть бути корисними для розв'язання аналітичної задачі.

Основними задачами консолідації є:

1) Вибір джерел даних;

2) Розробка стратегії консолідації;

3) Оцінка якості даних;

4) Збагачення даних;

5) Очищення ;

6) Перенесення у сховище даних;

Очищення даних - це комплекс методів та процедур, які направлені на знищення причин які заважають коректній обробці даних (аномалії, пропуски, дублікати, протиріччя, шуми, тощо).

Збагачення даних - це процес доповнення даних деякою інформацією, яка дозволяє підвищення ефективності розвитку аналітичних задач.

Процес збору, збереження, та оперативної обробки даних на типовому підприємстві має декілька рівнів. На верхньому рівні розташовані реляційні SQL - орієнтовані бази даних, типу SQL Server, Oracle, та подібні. На другому рівні файлові сервери з деякою системою оперативної обробки, та мережеві версії персональних СУБД типу d-Base, Fox Pro, Paradox та інші.

1.3 Візуалізація даних

На будь-якому етапі обробки можна візуалізувати дані. Система самостійно визначає, яким чином вона може це зробити, наприклад, якщо буде навчена нейронна мережу, то крім таблиць і діаграм можна переглянути граф нейросети. Користувачеві необхідно вибрати потрібний варіант зі списку доступних і налаштувати декілька параметрів. Можливі способи візуалізації даних:

Таблиця - Стандартне табличне подання з можливістю фільтрації даних, сортування та швидкого розрахунку статистики (он-лайн статистика).

Статистика - Статистичні показники вибірки.

Діаграма - Графік зміни будь-якого показника. Є можливість вибору різних варіантів діаграм: стовпчасті, лінійні, кругові та інше.

Гістограма - Графік розкиду показників. Гістограма призначена для візуальної оцінки розподілу даних. Розподіл даних значно впливає на процес побудови моделі. Крім того, за гістограмі можна судити про величину відхилень різного ступеня (гістограма розподілу помилок).

Куб - Поліваріантне подання даних. Будь-які дані, які використовуються в програмі, можна подивитися у вигляді крос-таблиці та крос-діаграми. Користувачеві доступний весь набір механізмів маніпуляції багатовимірними даними - угруповання, фільтрація, сортування, довільне розміщення вимірювань, деталізація, вибір будь-якого способу агрегації, відображення в абсолютних числах та у відсотках.

Дублікати і протиріччя - Спеціальний візуалізатор, створений на основі таблиці, для зручнішого відображення результатів пошуку дублікатів.

Матриця кореляції - Відображає залежність (кореляцію) між вхідними і вихідними полями обробника «Кореляційний аналіз».

Граф нейросітки - Візуальне відображення навченої нейросітки. Відображається структура нейронної мережі і значення ваг.

Дерево рішень - Відображення дерева рішень, отриманого за допомогою відповідного алгоритму. Є можливість побачити детальну інформацію з будь-якого вузла і фільтрувати що потрапили в нього дані.

Правила - Відображають в текстовому вигляді правила, отримані за допомогою алгоритму побудови дерев рішень або пошуку асоціацій. Такого роду інформація легко інтерпретується людиною.

Значимість атрибутів. Показує ступінь впливу кожного вхідного атрибуту на результат побудови дерева рішень. Параметр значимість тим вище, чим більше внесок вносить конкретний вхідний атрибут при класифікації вихідного поля. Фактично даний візуалізатор показує ступінь нелінійної залежності між вихідним і вхідними полями.

Карта Кохонена - Відображення самоорганізуючих карт, побудованих за допомогою відповідного алгоритму. Широкі можливості налаштування - вибір кількості кластерів, фільтрація по сайту / кластеру, вибір відображаються полів. Потужний та гнучкий механізм відображення кластеризованих даних.

Профілі кластерів - Статистична інформація по кластерах, які виходять на вихід обробників «Карта Кохонена» і «Кластеризація k-means»

ROC-аналіз - Доступний після обробника «Логістична регресія». Дозволяє оцінити прогностичну силу моделі, розрахувати оптимальний поріг відсікання, проаналізувати модель на чутливість і специфічність.

Коефіцієнти регресії - Відображає коефіцієнти, розраховані за допомогою алгоритму «Лінійна регресія» і «Логістична регресія».

Популярні набори - Відображення найбільш часто зустрічаються в асоціативних правилах множин у вигляді списку з можливістю фільтрації і сортування.

Що-якщо - Таблиця і діаграма. Дозволяють «проганяти» через побудовану модель будь-які цікавлять користувача дані та оцінити вплив того чи іншого фактора на результат. Активно використовується для вирішення задач оптимізації;

Навчальний набір - Вибірка, що використовується для побудови моделі. Виділяються кольором дані, що потрапили в навчальне і тестове безліч з можливістю фільтрації. Необхідна для розуміння того, які записи і яким чином використовувалися при побудові моделі.

Діаграма прогнозу - Застосовується після використання методу обробки -- Прогнозування. Прогнозні значення на діаграмі виділяються кольором.

Таблиця спряженості - Призначена для оцінки результатів класифікації поза залежно від моделі. Таблиця спряженості відображає результати порівняння категоріальних значень вихідного вихідного стовпця і категоріальних значень розрахованого вихідного стовпця. Використовується для оцінки якості класифікаторів.

Діаграма розсіювання - Графік відхилення значень, що прогнозуються за допомогою моделі, від реальних. Може бути побудована тільки для безперервних величин і тільки після використання механізмів побудови моделі, наприклад, нейросітки, лінійної регресії або користувача моделі. Використовується для візуальної оцінки якості побудованої моделі.

Метадані - візуалізатор для відображення метаданих сховища даних.

Навігатор - навігатор по об'єктах бази даних.

Практично всі механізми візуалізації підтримують експорт результатів у таблиці (MS Excel, MS Word, HTML, текстові файли ...) або у графічні файли (GIF, BMP, EMF ...).

Налаштовані візуалізатори можуть бути винесені на панель Звіти. Таким чином, кінцевий користувач зможе просто отримати і отримати необхідний результат, не замислюючись, у який спосіб він був отриманий.

1.4 Задача асоціації в Data Mining

Одним з найважливіших засобів аналізу є моделі, що являють собою систему обробки даних, яка перетворює множину вхідних змінних у вихідні, у відповідності з алгоритмом.

Алгоритм відображає закономірності які властиві об'єктам та процесам для дослідження яких і створена модель. Для створення моделі використають машинне навчання - це здійснюється на основі навчаючої вибірки яка одержана в результаті спостереження, або аналітиком чи експертом в даній предметній області.

Навчаюча вибірка відображає множину вхідних змінних Х(х1,х2,….,хn) у множину У(у1,у2,…,уm) вихідних даних.

Навчаюча вибірка - це набір даних, кожен запис якого є навчаючим прикладом, що містить задану вхідну дію і правильний вихідний результат.

Під репрезентативністю розуміють наскільки добре навчаюча вибірка відображає закономірні перетворення, які модель виконує після навчання.

Існує два типи навчання:

1) Навчання з вчителем - передбачає, що моделі пред'являються приклади, які складаються з пар «Відомий вхід - Відомий вихід»

2) Навчання без вчителя - налаштування параметрів моделі відбувається виключно на основі інформації про поточний стан і значення вхідних змінних.

В процесі навчання виділяють дві похибки

- похибка навчання.

- похибка узагальнення.

Складність алгоритмів як критерії їх порівняння:

- Продуктивність.

- Стійкість - забезпечує достовірні результати навіть при низькій якості даних, наявності шумів, аномалій, тощо.

- Точність.

- Складність.

Асоціативні правила

Один з найпоширеніших методів Data Mining, котрий являється афінітивним методом дослідження взаємного зв'язку між подіями які відбуваються одночасно.

Різновид афінітивного аналізу, є аналіз ринкового кошику. Мета якого виявити асоціації між подіями, тобто знайти правила для кількісного опису, що у загальному образі і являється асоціативними правилами. Виявлення товарів які купують разом, або взагалі ніколи не купують разом. Визначення частини клієнтів, які позитивно відносяться до нововведень в обслуговувані. Виявлення частини випадків в яких нові ліки виключають побічний ефект, тощо. Базове поняття в теорії асоціативних правил - це транзакція.

1.5 Кластеризація даних

Кластеризація алгоритмів типу k-means та g-means використовується в тих задачах, що й сітки Кохонена, але її результат неможливо продивитись у вигляді двовимірної кольорової карти.

В основі роботи алгоритму k-means лежить принцип оптимального, у відповідному розумінні розбиття великої кількості даних на k-кластерів. Алгоритм намагається згрупувати дані у кластери таким чином, щоб цільова функція алгоритму розбивання даних, досягала екстремума. Вибір числа k може базуватись на теоретичних мінливостях або інтуїції. Введем поняття центру кластера - середнє значення змінних об'єктів, вхідних у кластер.

Алгоритм складається з двох етапів:

1) Першоступеневе розподілення об'єктів по кластерам. Задається число k, та на першому кроці ці точки вважаються «центрами» кластерів.

2) Кожному з кластерів відповідає відповідний колір. Вибір початкових центрів здійснюється випадковим чином. У результаті кожен об'єкт назначений визначеному кластеру.

3) Ітераційний процес. Вираховуються нові центри кластерів та об'єкти перерозподіляються. Процес обчислення центрів і перерозподілу об'єктів продовжується до тих пір, поки не стабілізуються центри кластерів, тобто всі об'єкти будуть належати кластеру, котрому вони належали до ітерації у даний час.

Якщо число кластерів назначити тяжко, то можна використати алгоритм g-means. Він визначає число кластерів моделі на заснуванні послідовності виконання статистичного теста на те, що дані всередині кожного кластеру підпорядковуються відповідному гауссовому (Gaussian, звідси і назва алгоритму) закону розподілення. Якщо тест дає негативний результат, кластер розбивається на два нових кластера (алгоритмом k-means) з центрами, котрі знаходяться на осі головних компонент.

Важливо пам'ятати, що алгоритми k-means та g-means орієнтовані на гіпотезу компактності, котра вважає, що дані навчаючої вибірки у вигляді багатовимірних векторів створюють у просторі компактні згустки сферичної форми. У іншому випадку ( наприклад, вкладенні один у одного сфери) кластери, знайдені цими методами будуть малоінформативними.

У якості функції відстані k-means в Deductor використовує:

- Для неперервних числових полів, а також впорядкованих категоріальних визначень - евклідова відстань.

- Для невпорядкованих категоріальних значень - функцію відмінності.

1.6 Моделі прогнозування

У широкому розумінні терміну моделювання - це наукова дисципліна, мета котрої вивчення методів побудови та використання моделей для пізнання реального світу.

Моделювання - єдиний на даний момент часу систематизований спосіб побачити можливі варіанти майбутнього та визначити потенціальні наслідки альтернативних рішень, що надає змогу об'єктивного їх порівнювати.

Моделювання - досить відомий та ефективний метод дослідження даних, котрий являється основою аналізу даних.

Існує велика кількість ситуацій, коли експериментувати у реальному житті не має змоги. У цих випадках як раз і використовується моделювання.

Моделювання як процес представляє собою побудову моделі та вивчення її властивостей, котрі подібні найбільш важливим, з точки зору аналітика, властивостям досліджуваних об'єктів. Таким чином, за допомоги моделювання вивчаються властивості об'єктів шляхом дослідження відповідних властивостей побудованих моделей. Моделювання є метод, процес та наукова дисципліна. Моделювання широко використовується при використанні методу Data Mining. Шляхом використання моделей Data Mining здійснюється аналіз даних. За допомоги моделей Data Mining знаходиться корисна, раніше невідома, доступна інтерпретації інформація, використовувана для прийняття рішень. Модель у загальному виді має спрощене представлення про реальний об'єкт, процес чи явище. Створення та використання Data Mining моделі являється ключовим моментом для початку розуміння, осмислення та прогнозування тенденцій аналізуємого об'єкта.

Побудова моделей Data Mining здійснюється з метою вивчення модельованого об'єкта, процесу, явища та отримання нових знань, необхідних для прийняття рішень. Використання моделей Data Mining дозволяє визначити найкраще рішення у конкретній ситуації.

Аналітик створює модель як дещо подібне до досліджуваного об'єкту.

Привілегією використання моделей при досліджені являється зручність моделі у порівнянні з оригінальним об'єктом. При цьому моделі дозволяють виділити у об'єкті найбільш суттєві фактори з точки зору цілі дослідження, та не звертають уваги на менш важливі деталі об'єкта.

З останнього розгляду слідує, що модель має властивості неповноцінності, оскільки являється по своєму визначенню абстрактною.

При розв'язуванні аналітичної задачі будь-якого виду велика увага надається побудові моделі. Створенні моделі можуть мати різноманітну складність. Складність побудованої моделі залежить від використовуваних методів, а також від складності об'єкту, котрий аналізується.

Під складним об'єктом розуміють об'єкт складної структури , котрий характеризує великою кількістю вхідних змінних, мінливістю внутрішньої структури та зовнішніх факторів, не лінійністю взаємозалежностей, тощо.

Класифікація типів моделей в залежності від характерних властивостей, наявних вивчає мого об'єкту або системі, така:

1. Динамічні (системи, змінні в часі) та статичні.

2. Стохастичні та детерміновані.

3. Неперервні та дискретні.

4. Лінійні та нелінійні.

5. Статистичні, експертні, моделі основані на методі Data Mining.

6. Прогнозуючі (класифікаційні) та описові.

Розглянемо більш детально прогнозуючі та описові моделі. Саме таке відділення відповідає розподіленню задач Data Mining на два класи: прогнозуючі та описові.

Прогнозуючі та класифікаційні (predictive) моделі.

Ці моделі у явному вигляді мають інформацію для прогнозу, тобто дозволяють прогнозувати числові значення або клас (категорію).

Моделі, за допомогою яких проводиться прогноз числових значень атрибутів, будемо називати прогнозуючими. Прогнозування нових значень проводиться основі відомих значень. Прогнозуючі моделі Data Mining дозволяють виявити особливості функціонування конкретного об'єкту та на їх основі передбачати майбутню поведінку об'єкту. При використані моделювання (у відмінності від інтуїтивних здогадок) взаємозв'язки змінних можуть бути оцінені кількісно, що дозволяє обрати найбільш точну модель та отримати більш надійний прогноз. На відмінність від класифікації, у задачах прогнозування цільовими являються неперервні змінні. Прикладами прогнозуючих моделей є моделі лінійної регресії (найпростіші моделі) та моделі на основі нейронних сіток. Моделі, за допомогою яких проводиться прогнозування класа об'єкта, будемо називати класифікаційними.

Таким чином, за допомогою даних моделей рішають задачі класифікації та прогнозування. Таке рішення розуміє двоетапний процес: створення моделі, та її використання.

Створення моделей Data Mining цього типу означає пошук правил, котрі пояснюють залежність вихідних параметрів від вхідних.

Приклади класифікаційних моделей - моделі на основі дерева рішень, а також баєсовий метод. За допомогою класифікаційної моделі вирішуються наступні задачі:

- Чи належить новий клієнт до одного з існуючих класів.

- Чи підходить пацієнту відповідний курс лікування.

- Виявлення груп ненадійних клієнтів.

- Визначення груп клієнтів, котрим потрібно відсилати буклети з новою продукцією.

Клас у даному випадку являється цільовою зміною моделі.

Дескриптивні або описові (descriptive) моделі описують загальні закономірності предметної області. За допомогою дескриптивних моделей вирішуються задачі пошуку асоціативних правил, задачі кластеризації, групування, налаштування.

Моделі кластеризації використовуються для класифікації об'єктів, при умові, що набор цільових класів невідомий, вони створюють так зване сегментування моделі. За допомогою моделі кластеризації, наприклад розв'язується задача розподіл клієнтів фірми на групи (кластери) по критерію «відношень». Моделі правил асоціації використовуються для знаходження закономірностей між пов'язаними подіями в базах даних.

Це так звані VIP-клієнти. Вони переважно зрілого віку, досить багато користуються даними послугами і користуються спеціалізованими послугами. Витрати на послуги у цієї категорії найвищі.

СПИСОК ЛІТЕРАТУРНИХ ДЖЕРЕЛ

1. Паклин Н.Б., Орешков В.И. Бизнес-аналитика: от данных к знаниям. ? СПб.: Питер, 2009. ? 624 с.

2. Лысенко Ю.Г., Иванов Н.Н., Минц А.Ю. Нейронные сети и генетические алгоритмы: Учебное пособие. - Донецк: ООО «Юго-Восток,Лтд», 2003. - 265 с.

3. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений. ? М.: Финансы и статистика, 2004. ? 176 с.

4. Лазарєва С.Ф. Економіка та організація інформаційного бізнесу. Навчальний посібник. К.: КНЕУ, 2002. ? 667 с..

5. Ханк Д.Э., Уичерн Д.У., Райтс А.Дж. Бизнес-прогнозирование. ? М.: Издательский дом «Вильямс», 2003. ? 457 с.

6. Козье Д. Электронная коммерция: Пер. с англ. - Москва: Издательсько- торговый дом "Русская редакция". 1999. - 288 с.

7. Имери В. Как сделать бизнес в Internet -- К.: Диалектика 1998. - 464 с.

8. Ситник В.Ф., Козак І.А. Телекомунікації в бізнесі: Навч.-метод. посібник для самост. вивч. дисц. - К.: КНЕУ, 1999. - 204 с.

9. Мур Д., Уэдерфорд Л. и др. Экономическое моделирование в Microsoft Excel: Пер. с англ. ? М.: Издательский дом «Вильямс», 2004. ? 1024 с.

10. Грабовецький Б.Є. Економічне прогнозування і планування: Навчальний посібник ? К.: Центр навчальної літератури, 2003. ? 188с.

11. Писарева О.М. Методы социально-экономического прогнозирования: Учебник. ? М. : ГУУ-НФПК, 2003. ? 365 с.

12. Образовательный портал на базе e-learning технологий: Data Warehouse, OLAP, ETL, Data Mining ? http://edu.basegroup.ru

13. Словарь терминологии, связанной с бизнес-аналитикой. ? http://glossary.basegroup.ru

Размещено на Allbest