ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету і задачі дослідження, визначено наукову новизну та практичне значення одержаних результатів, зазначено особистий внесок здобувача та викладено короткий зміст дисертаційної роботи.

У першому розділі роботи проаналізовано методи та технології розв'язання задач моделювання, їх переваги та недоліки. Проаналізовано особливості наявних алгоритмів МГУА та їх модифікацій, сучасний розвиток МГУА-подібних систем. Обґрунтована необхідність розробки більш ефективного алгоритму самоорганізації оптимальних моделей на основі узагальнення структур відомих алгоритмів МГУА.

В роботі розглядається клас задач моделювання за статистичною вибіркою, що містить інформацію про спостережень за m вхідними змінними та однією вихідною змінною . Необхідно знайти модель залежності вхід-вихід за умов неповноти і невизначеності інформації про структуру цієї залежності.

Задача побудови моделей з вибором їх структури та оцінюванням параметрів зводиться до формування за вибіркою експериментальних даних деякої множини Ф моделей-кандидатів різної структури:

(1)

у класі лінійних за параметрами функцій типу полінома Колмогорова-Габора:

та пошуку оптимальної моделі з цієї множини як розв'язок задачі дискретної оптимізації за умовою мінімуму зовнішнього критерію селекції :

 (2)

де оцінки параметрів для кожної fЦ є розв'язком задачі неперервної оптимізації

(3)

де - критерій якості задачі оцінювання параметрів моделі, згенерованої в процесі структурної ідентифікації, s_f - її складність (число параметрів).

В ролі критерію в МГУА можуть застосуватись, наприклад, зовнішні критерії регулярності або незміщеності, що ґрунтуються на розбитті вибірки.

Критерій регулярності (виражає помилку моделі на різних частинах вибірки):

(4)

Критерій незміщеності рішень (міра близькості оцінок, отриманих на різних частинах вибірки):

(5)

Оскільки поліноміальні моделі лінійні за параметрами, для оцінювання значень параметрів моделей різної структури застосовується МНК.

(6)

В комбінаторних алгоритмах МГУА організується повний перебір всіх можливих структур моделей, тому вони обмежені в своєму застосуванні часом та розмірністю задач. Багаторядні алгоритми дозволяють розв'язувати задачі великої розмірності за прийнятний час завдяки скороченому перебору моделей.

В класичному багаторядному ітераційному алгоритмі БІА МГУА кожна частинна модель формується як деяка функція від пари аргументів , (; i ? j) на початковому ряді та комбінація моделей, отриманих на попередньому ряді, починаючи з другого, з такими можливими варіантами лінійних, білінійних чи квадратичних частинних описів:

(7)

Багаторядний алгоритм МГУА можна віднести до алгоритмів нейромережевого типу, що має свою специфіку: це так звана поліноміальна нейромережа МГУА з попарним комбінуванням виходів попереднього ряду або шару, причому число таких «прихованих шарів» тут може бути довільним.

Проте такий алгоритм має і свої недоліки: можливість втрати інформативних аргументів, якщо вони були вилучені на початку процедури перебору; можливість закріплення неінформативних аргументів, якщо вони були включені на початку процедури перебору; постійне зростання степеня полінома: при нелінійному частинному описі експоненційно, а при білінійному - лінійно.

Пропозиції щодо усунення окремих недоліків раніше застосовувались у кількох окремих алгоритмах, зокрема, пропонувалось: додавати початкові аргументи на кожному ряді в перелік аргументів: багаторядний алгоритм зі збереженням базису (Б.К.Свєтальський, П.І.Ковальчук, 1979; Ю.П.Юрачковський, 1981); спрощений багаторядний алгоритм (О.І.Шелудько, 1974); застосовувати повний перебір варіантів частинної моделі (Н.О.Івахненко, А.А.Марчев, 1978); формувати «активні нейрони» (О.Г.Івахненко, 1994), коли кожен нейрон мережі МГУА є теж алгоритмом МГУА, що самоорганізує свою структуру.

Проте жоден з названих алгоритмів не вирішував комплексно всі перелічені проблеми. Тому в дисертаційній роботі поставлено задачу узагальнення архітектури ітераційних алгоритмів МГУА на основі наявних модифікацій з метою істотного підвищення ефективності моделювання за рахунок комплексного усунення недоліків. Запропоновано також як додатковий резерв ефективності застосувати конструювання технології автоматизованого розв'язання задач індуктивного моделювання на основі узагальненої архітектури, для чого було проаналізовано підходи та вимоги до організації інтерфейсу користувача програмних засобів.

На основі виконаного в цьому розділі аналітичного огляду було обрано такі пропозиції щодо комплексного розвитку архітектури ітераційних алгоритмів:

- додавання на кожному ряді початкових аргументів з метою збереження інформативних аргументів - ідея «селекції первинних аргументів»;

- зменшення складності (нелінійності) моделей, використовуючи многочлен другого порядку на першому ряді та тільки лінійні форми для наступних рядів;

- використання різних структур частинних описів на різних рядах;

- використання ідеї «активних нейронів» у формі комбінаторної оптимізації структури частинних моделей;

- конструювання автоматичних та інтерактивних варіантів інтерфейсу користувача;

- реалізація можливостей використання веб-інтерфейсу.

Другий розділ роботи присвячено розробці архітектури узагальненого ітераційного алгоритму МГУА для побудови моделей складних систем на основі ідеї гібридизації структур ітераційних та перебірних алгоритмів.

Структуру класичного багаторядного алгоритму БІА МГУА описано вище. Інший базовий алгоритм, у якому пари формуються з проміжних та початкових аргументів, називається «релаксаційний ітераційний алгоритм», або РІА МГУА:

(8)

Алгоритм, що об'єднує архітектуру двох попередніх, можна назвати «Комбінованим ітераційним алгоритмом» КІА МГУА.

В кожному з названих алгоритмів можна застосувати комбінаторну оптимізацію складності частинних описів - як лінійних, так і нелінійних. Тоді отримуємо три нових алгоритми з очевидною загальною назвою «ітераційно-комбінаторні». Комбінаторна оптимізація полягає в тому, що на кожному ряді розглядаються моделі, наприклад, виду (для лінійного частинного опису):

,(9)

де - елементи двійкового структурного вектора d, що приймають значення 1 або 0 (включення чи невключення відповідного аргументу): ,. Схема перебору тоді має вигляд:

,

при цьому обирається найкращий варіант за мінімумом критерію CR, тобто оптимізується складність частинної моделі.

Таким чином, алгоритм із запропонованою архітектурою є узагальненням усіх шести згаданих вище алгоритмів, тому його природно назвати «Узагальнений ітераційний алгоритм МГУА» УІА МГУА (рис.1).

Рис. 1. Схема роботи узагальненого ітераційного алгоритму МГУА

Для характеристики структури алгоритмів було запроваджене впорядковане кодування ітераційних алгоритмів в ієрархічній структурі УІА.

Узагальнений ітераційний алгоритм - це множина ітераційних та ітераційно-комбінаторних алгоритмів, що визначається компонентами вектора трьох індексних множин: DM (Dialogue Mode), ІC (Iterative-Combinatorial), MR (Multilayered- Relaxative), тобто будь-який ітераційний алгоритм визначається як певний окремий випадок узагальненого УIA = {DM, ІС, MR}. При цьому DM приймає три значення: 1 - стандартний автоматичний режим; 2 - планований автоматичний режим; 3 - інтерактивний режим; ІC приймає два значення: 1 - ітераційний та 2 - ітераційно-комбінаторний алгоритми; MR приймає три значення: 1 - класичний ітераційний, 2 - релаксаційний, 3 - комбінований алгоритми. Тоді вектор з трьох елементів повністю визначає собою той чи інший алгоритм. Наприклад, при DM=1 маємо три стандартні/базові варіанти ітераційних алгоритмів: БІА= УІА (1,1,1); РІА= УІА (1,1,2) та КІА= УІА (1,1,3), а також три ітераційно-комбінаторних: БІКА= УІА (1,2,1); РІКА= УIA (1,2,2) та КІКА= УIA (1,2,3). Зрозуміло, що при DM рівному 2 чи 3 сформуються нові варіанти цих алгоритмів, що генеруватимуть інші моделі.

Сконструйована таким чином ієрархічна структура узагальненого ітераційного алгоритму зображена на рис.2.

Далі в другому розділі розроблено і застосовано комплексну методику аналізу ефективності різних ітераційних алгоритмів МГУА за допомогою обчислювальних експериментів, яка дозволяє всебічно вивчати вплив ключових управляючих параметрів порівнюваних алгоритмів на проміжні показники процесу побудови моделі та вихідні показники якості результатів моделювання.

Вхідні параметри ітераційних алгоритмів: число початкових аргументів m; число точок у вибірці n; критерій селекції моделей; свобода вибору моделей F.

Проміжні показники: графік зміни мінімальних та максимальних значень критерію по рядах; зміна складу аргументів у кращій моделі по рядах.

Вихідні показники: краща модель та її параметри; значення критерію селекції; склад аргументів кращої моделі та її близькість до істинної; час роботи програми.

Методика чисельного дослідження впливу управляючих параметрів на ефективність алгоритмів містить такі основні етапи: згенерувати матрицю аргументів Х із випадкових чисел за певним розподілом; задати конкретний вид залежності виходу не від усіх, а лише від певної частини аргументів; обчислити значення вектора у та сформувати вибірку W=(X y); побудувати оптимальні моделі за кожним з алгоритмів при різних значеннях F чи інших вхідних параметрів.

Для дослідження ефективності ітераційних алгоритмів у роботі були виконані описані нижче чисельні експерименти на штучно згенерованих даних, причому в усіх варіантах використовувався критерій регулярності.

1. Дослідження ефективності алгоритмів у задачі виявлення істинної структури моделі серед багатьох зайвих аргументів, випадок лінійної залежності.

Основний показник ефективності - відновлення структури істинної моделі

Порівняння ефективності виконувалось для чотирьох ітераційних алгоритмів - багаторядного, релаксаційного, комбінованого та узагальненого. У тестовому прикладі істинна модель залежала лише від 10 аргументів з усіх 200, що були у вибірці. Експеримент показав, що істинну лінійну залежність відтворюють усі алгоритми, крім класичного багаторядного, в якому були втрачені три істинні аргументи, причому в УІА значення критерію AR найменше. Важливо зазначити, що для знаходження лінійної залежності в узагальненому алгоритмі використовувалися квадратичні частинні описи, проте завдяки комбінаторній оптимізації структури частинних моделей була знайдена істинна лінійна залежність.

2. Дослідження ефективності виявлення істинної структури моделі за допомогою ітераційних алгоритмів, випадок квадратичної залежності.

Мета проведення експерименту - порівняти здатність різних алгоритмів МГУА відновити структуру істинної нелінійної моделі, закладеної в даних.

Параметри даних: m = 200, n = 243, n_A = 163, n_B = 70 (штучні дані, випадкові числа в діапазоні [0, 5]), свобода вибору F = 40.

Порівнювані алгоритми: 1) багаторядний (БІА); 2) релаксаційний (РІА); 3) комбінований ітераційний (КІА); 4) багаторядно-комбінаторний (БІКА); 5) релаксаційно-комбінаторний (РІКА); 6) узагальнений ітераційний (УІА); Квадратична залежність (196 зайвих аргументів) представлена такою формулою:

(11)

З таблиці 1 видно, що істинну структуру відновлюють два алгоритми РІКА та УІА, але тільки узагальнений алгоритм і для квадратичної залежності дозволяє найточніше відновити істинну модель як за структурою, так і за параметрами.

Таблиця 1 - Порівняння ефективності різних ітераційних алгоритмів у разі квадратичної залежності

Дослідження ефективності алгоритмів в умовах зашумлених даних.

Експерименти, виконані в дисертації, показують, що при накладанні на вихідну змінну рівномірного шуму з відношенням шум/сигнал 10% та 30% кращим алгоритмом, що відтворює істинну структуру моделі, залишається узагальнений.

3. Дослідження ефективності побудови істотно нелінійної залежності від малого числа аргументів.

Параметри вибірки: m=3 аргументи та n=100 точок, поділ на підвибірки n_A=65, n_В=35. Досліджувався вплив свободи вибору моделей F, як основного з перелічених вище управляючих параметрів, на показники ефективності алгоритмів.

Істинна модель має вигляд такої нелінійної функції від трьох аргументів:

(12)

На рис. 3 показано залежність мінімальних значень критерію селекції для різних алгоритмів від величини свободи вибору F кращих моделей. Найменші значення критерію при всіх F були досягнуті для узагальненого ітераційного алгоритму, і саме за його допомогою була отримана модель істинної структури.

З рис. 3 видно, що достатньою свободою вибору для всіх алгоритмів є F = 20.

Рис. 3 Зміна значень критерію селекції при збільшенні свободи вибору моделей

На рис. 4 показано залежність значень критерію селекції від номера ряду при різних свободах вибору для узагальненого алгоритму УІА. Видно, що при F=3 та F=5 мінімум досягається на 9-му ряді, а при F=10 та F=20 - на 10-му, тобто при збільшенні F кількість рядів, необхідних для досягнення мінімуму критерію, зростає, а саме значення мінімуму зменшується, доки точка мінімуму та мінімальне значення не стабілізуються, що свідчить про знаходження істинної моделі.

Рис.4 Зміна значень критерію селекції по рядах алгоритму УІА при різних свободах вибору (логарифмічна шкала)

4. Дослідження внутрішньої збіжності ітераційних алгоритмів МГУА.

В дисертації було експериментально перевірено наявність так званої внутрішньої збіжності ітераційних алгоритмів, встановленої раніше теоретично.

Ітераційний алгоритм має внутрішню збіжність, якщо в результаті ітераційного процесу з критерієм селекції CR=RSS, де RSS - залишкова сума квадратів на всій вибірці W (без розбиття), оцінки параметрів оптимальної моделі збігаються до оцінок параметрів моделі істинної структури, отриманих за МНК.

Розбиття вибірки на навчальну та перевірочну підвибірки не застосовується (m=10, n=50). Досліджується внутрішня збіжність трьох ітераційних алгоритмів МГУА: класичного БІА, комбінованого КІА та узагальненого УІА.

Істинна модель має вигляд лінійної функції від десяти аргументів:

(13)

На рис.6 показана зміна значень RSS по рядах цих алгоритмів при F = 20.

Рис.6 Зміна значення RSS по рядах для трьох ітераційних алгоритмів МГУА при F = 20 (логарифмічна шкала)

(14)

(15)

(16)

Два перші рівняння (14) - (15) загалом підтверджують внутрішню збіжність двох ітераційних алгоритмів, оскільки значення оцінених параметрів близькі до істинних, див. (13). Видно, що узагальнений алгоритм досягає мінімуму на 9-му ряді, а комбінований - на 12-му, тобто швидкість збіжності УІА значно вища, ніж КІА. Точність отриманих моделей теж відрізняється на користь узагальненого: для УІА RSS=0.001, для КІА RSS=0.006. Це демонструє ефективність використання оптимізації частинних моделей. В багаторядному ж алгоритмі спостерігається збіжність за критерієм, але відсутня внутрішня збіжність за структурою і параметрами, оскільки, як видно з (16), були втрачені істинні аргументи х₁ та х₇.

Отримані в другому розділі результати свідчать про те, що, по-перше, розроблена архітектура узагальненого алгоритму МГУА дозволяє чисельно досліджувати різні модифікації ітераційних алгоритмів, і, по-друге, цей алгоритм демонструє вищу ефективність в усіх варіантах тестових задач.

У третьому розділі розглядається структура програмного комплексу, який реалізує узагальнений алгоритм МГУА з можливістю мультидоступу через Інтернет або локальну мережу. Для розв'язання задач моделювання складних систем розроблено спеціальне програмне забезпечення, виконане у вигляді самостійної програми з можливістю керування через веб-інтефейс.

В програмному комплексі процес моделювання може бути реалізований у трьох режимах діалогу - два автоматичних та один інтерактивний:

· автоматичний - коли процес самоорганізації моделей виконується автоматично, причому у двох істотно різних варіантах:

1) стандартний - коли задаються вид частинного опису та свобода вибору однаковими для всіх без винятку рядів;

2) планований - коли процес самоорганізації моделей виконується автоматично за заданим планом, тобто наперед задаються вид частинного опису та свобода вибору різними для кожного з наступних рядів.

· інтерактивний - коли можна прямо втручатися в процес самоорганізації моделей: на будь якому ряді включати або не включати модифікації; змінювати складність частинних описів; міняти свободу вибору F моделей; використовувати різні критерії вибору моделей; зупиняти процес на довільному ряді з записом усіх досягнутих результатів і можливістю продовження в іншому сеансі роботи.

Для перетворення многочленів у програмі застосовується клас SymPolynom (реалізує символьну математику), що дозволяє на довільному ряді отримати розгорнуту формулу кожної з проміжних моделей через початкові аргументи.

Представлене в роботі програмне забезпечення дозволяє працювати з різними наборами даних в форматі Excel та текстовому редакторі Блокнот. Будуються моделі різної складності та структури і з різним розбиттям вибірки. Побудовані кращі моделі представляються для графічного і змістового аналізу та зберігаються в базі даних разом з проміжними розрахунками і результатами експериментів для подальшого застосування. Система одночасно працює з трьома базами даних: початковою, базою даних проміжних розрахунків та базою даних результатів.

Програма розбита на декілька модулів. Основним способом взаємодії з програмою є веб-доступ. Проте з програмою можна працювати й локально, запустивши одночасно кілька процесів без додаткових затрат часу.

Серверна частина додатку виконана на мові Perl, як і основний код.

Клієнтська частина представляє собою одну єдину сторінку index.htm. Запити до сервера надсилаються без перезавантаження сторінки, отримані відповіді змінюють зовнішній вигляд сторінки.

У четвертому розділі наведено результати розв'язання за допомогою розробленої технології трьох прикладних задач, а саме: моделювання впливу токсиканта біхромат калію на життєдіяльність клітин зелених водоростей; моделювання впливу забруднення бухт Чорного моря на загальне число видів донних організмів; моделювання залежності ВВП від інвестиційних показників.

Метою першої задачі було моделювання впливу K₂Cr₂O₇ на фотосинтетичну активність та рухомість клітин зелених водоростей за даними Київського національного університету імені Т.Г.Шевченка. Побудовані моделі дозволили описати процес розвитку водоростей при додаванні різних концентрацій токсиканта, який може служити індикатором посиленого антропогенного забруднення водних об'єктів. Помилка отриманих моделей склала 6-10%.

Друга задача мала на меті моделювання впливу забруднення Чорного моря (бухти Севастопольська, Південна та Карантинна), перш за все бітумоїдами, на загальне число видів донних організмів. Проби донного осаду беруться раз на три роки у фіксованих місцях або станціях бухт, всього 20 станцій.

Точність (за величиною коефіцієнта детермінації) загальної моделі, побудованої за об'єднаною вибіркою даних усіх станцій, виявилась незадовільно низькою як загалом, так і по окремих станціях (до 30%). З іншого боку, моделі, побудовані за даними кожної станції окремо, показали достатню для практичних задач точність (70-90%), але використання такої кількості моделей знижує їх прикладну цінність.

З огляду на це в роботі запропоновано нову методику зонування екологічного стану морських бухт у Севастополі на основі аналізу структури локальних моделей, що описують залежність біорозмаїття донних організмів від рівня забруднення на окремих станціях. Зонування станцій виконувалось на основі виділення їх груп за ознаками лінійності або нелінійності побудованих моделей та складу їх факторів.

Розроблену методику зонування було апробовано в Інституті біології південних морів ім. О.О. Ковалевського НАН України. Виділено три істотних групи станцій, що відповідають таким зонам бухт: станції на серединній лінії (фарватері) Севастопольської бухти, тобто глибоководна зона; станції поблизу берегів бухт, тобто мілководна зона; станції в невеликих затоках бухт, або локальна зона.

Для кожної з цих виділених зон побудовано три окремі моделі на даних відповідно об'єднаних підвибірок загальної вибірки. Ці моделі дозволили описати стан забруднення більш економно та встановити екологічну подібність між групами станцій різних бухт. Точність побудованих моделей склала 70-85%, що є найкращою з отриманих раніше результатів іншими методами.

Третя задача полягала у моделювання залежності ВВП від 10-ти інвестиційних макроекономічних показників за даними Держкомстату України. Мета моделювання - визначити інформативні інвестиційні показники, що найбільше впливають на динаміку ВВП. Найкраща модель була знайдена за допомогою узагальненого алгоритму. Отримана модель має високу точність і свідчить про те, що з усіх 10-ти інвестиційних показників істотний вплив на ВВП мають лише 4. Помилка отриманої моделі склала 1%.

В трьох додатках містяться таблиці даних, опис експериментів по оптимізації структури нейромережі МГУА в FAKE GAME та документи про впровадження.