Моделі та методи експертного оцінювання у життєвому циклі програмних систем

де R_u, (R_u) - проекції на B ранжування u-експерта і його модифікації за .

При оцінюванні опуклі оболонки (з означення 3.2, 3.3) замінюються прямокутниками, «натягнутими» на відповідні фрагменти експертних суджень.

Доцільність введення всіх поданих форм стійкості й нестійкості встановлює

Теорема 3.1. Ядерна стійкість зумовлює стійкість за Парето; решта форм стійкості є незалежними одна від одної.

Третій формалізм - кількісний показник обґрунтованості версії узагальненого судження щодо оцінок об'єкта ЖЦ - введено на підтримку механізмів М₆-М₈ у ролі критерію вибору Оцінки підхарактеристики (7) серед її ретроспективних версій та версій, формованих в експертизі за допомогою

Означення 3.4. Рівень обґрунтованості версії E({||x_ijk||, jg}, at) узагальненого судження за деталізованою постановкою ps (6) - це ієрархічно структурований кортеж

SB(E) = DIF, Rs(E), st(at); DIF = DV, DC, ES; Rs(E)=IR, QE, CN, ST, (13)

де DV й DC - доповнення до одиниці рівнів розбіжності між поглядом, прийнятим для експертизи, та поглядами експертів щодо (A, at) і щодо контекстів з at (12); ES - ступінь їх істотності; IR - інтегральна оцінка ризику прийняття версії E; QE - три трійки у складі максимуму, мінімуму й середнього серед: кількості експертів, що надали оцінки, коефіцієнтів варіації й конкордації; CN - інтегральний показник обґрунтованості версії; ST - кортеж трійок у складі мінімального, середнього й максимального показника стійкості ^*, {os, ps, ks, hs} (з означення 3.3); st(at) - показник прийнятності аргументованого дерева at, використаного для E.

Це останній розроблений формалізм, що є критерієм вибору версій at (12).

Методи MT₁₁-MT₁₉, MT₂₁-MT₂₃ (дві перші групи табл. 3) максимізують обґрунтованість узагальнених суджень щодо об'єктів ЖЦ в окремій експертизі, реалізуючи аналіз прийнятності їх версій та вибір серед них.

Метод MT₁₁ реалізує техніку pyramiding у рамках підходу репертуарних граток, послідовно деталізуючи оцінювану характеристику vc у вигляді множини гілок, утворених позитивними полюсами пірамід В. Ландфілда. Елементи - підстави виявлених конструктів - складають аргументацію структури дерева.

Метод MT₁₂ підтримує надання експертами jg (у середовищі методів MT₁₁, MT₁₅ і сформованого класифікатору зауважень до деталізованої постановки) безпосередніх оцінок vc для альтернатив та їх оцінок згідно листкам дерева at (12) зі складу як апріорно наданої, так і власної версії цієї постановки.

Метод MT₂₁ узагальнює дерева {at (j, vc), jJ} у класах (, ) - виборів (ct^*) та (l, , , ) - усереднень (gt^*) за допомогою метрики А.М. Рапопорта d:

ct^*(,) = R^c, ^c, R^c=argmin _iJ, _Ci=0 (d(R_i, R_j), jJ); Q=_jJQ_j; (14),

gt^*(l,,,) = R^a, ^a: ^a =(_j, jJ); R^a=argmin_RRL(q,Q,^a₎ (d(R, R_j), jJ),

де - форма метрики (хемінгова (4), евклідова й зважена); R_j=||r_uvj||_{u,v=1,…,|Q|} визначено у (4); подає аргументацію at_j (12); анонімні й паретівські функції , - стратегії узагальнення структури й аргументації; l - кількість рівнів gt^*.

Як стратегію узагальнення структури розглянуто суму, зважену оцінками перспективності at (j, vc) (за методом MT₅₃) чи рівнями метризованої подібності SIR^(ps)). Версіям аt^*_u(J, vc) зіставлено критерій вибору між ними - показник прийнятності з (13) st(аt^*_u(J, vc)) = ,, S, де 1- - відносний рівень зміни коефіцієнту варіації нечислових змінних для аргументації {et(j), jJ} при долученні at^*_u; 1- - мінімум, середнє й максимум коефіцієнтів варіації для аргументації at^* і at (j, vc); 1-S - те ж саме для нормованих відстаней між at^* та версією at^*\at (j, vc) без at (j, vc).

Методами вибору за st(at^*) є ШНУР і ПАРК (О.І. Ларічев) і лінійна згортка.

Властивості at^*, корисні для підтримки механізмів M₅, M₇, характеризує

Теорема 3.2. За однакових умов усереднення не менш ефективне, ніж вибір; вершини узагальненого дерева належать одному з узагальнюваних дерев:

((l,,,), {at (j, vc), jJ}) (d(R^а, R_j), jJ) (d(R^с, R_j), jJ);

({at (j, vc), jJ}, at^*(J, vc)=MT₂₁(at (j, vc), jJ), vV(at^*)) jJ: vV (at(j, vc)).

Метод MT₂₂ застосовує ідею методу Дельфі до автоматично формованої множини всіх версій at (12) для vc, вершини яких є вершинами у версіях дерева, наданих експертами. Роль експертних оцінок відіграють показники стійкості й нестійкості (з означень 3.2, 3.3), обрані організатором процесу.

Метод MT₂₃ надає цільову складову рішення експертизи за ps₀

tc =, (15)

де Sb (E, at₀) - рівень обґрунтованості (12) узагальненого судження E=vc (a, at₀), aA₀, недомінований на множині його версій, rez - причина невизначеності E^* з апріорного переліку; L(at₀) - кількість листків at₀.

Метод реалізує: аналіз суджень {id_j, jg} на підставі факторизацій за d (4) та рівнями стійкості й нестійкості (з означень 3.2, 3.3); отримання всіх недомінованих за обґрунтованістю версій E за ps₀, утворених узагальненими оцінками, статистично оптимальними за прийнятих статистичних гіпотез щодо {id_j, jg} з числа трьох апріорних (відсутність пресингового контексту; безсторонність експертів; їх об'єктивність); вибір версії із найвищим рівнем обґрунтованості.

Верхню оцінку кількості формованих версій встановлює

Теорема 3.3. Число версій E не перевищує 3L(at₀) |A₀|.

Методи трьох наступних груп табл. 3 забезпечують підвищення обґрунтованості оцінок об'єктів ЖЦ у послідовних підпроцесах на підставі R (2) і зменшення витрат на оцінювання завдяки заміні експертних суджень їх ретроспективними версіями.

Метод МТ₃₁ формує елементи деталізованої постановки (6) і склад експертів (7), які забезпечують недомінованість версій E узагальненого судження з (15) у повторній експертизі щодо поточних версій E (за їх наявності) або підвищення імовірності отримання цих версій (за відсутності). Рекомендації стосуються семи фіксованих стратегій залучення експертів й використання поточної постановки, потенційно прийнятних для організатора повторної експертизи.

Метод МТ₃₂ надає формулювання й підстави типізованих гіпотез щодо

концептів онтології O за допомогою відношень подібності SIM^Ф (3), (4) й SIR⁽⁾,TR (8) - (10), метрики d (4) й багатовимірного аналізу числових і нечислових даних. Гіпотези фіксують потенційні: тотожність або класифікаційні відношення концептів, розбіжності їх подань агентами із різними ролями у ЖЦ; аналітичні залежності між їх параметрами і/або оцінюваними характеристиками.

Метод MT₅₂ здійснює добір at (12) за підставами релевантності AL={(el,_el), elEL{et⁰, ch⁰, G⁰}, AG⁺, AG^-} (_el - тотожність або збіг класів онтології O для елементів el у T⁰ і T (1), що опосередковано підпорядковує at, AG - підстави аргументації, обов'язкові й неприпустимі в аргументації at.

Метод MT₅₃ формує оцінку перспективності структури at для задачі T (1) трійкою у складі: ретроспективної результативності експертиз за at; мінімуму, середнього й максимуму рівнів аргументованості вершин at з наданням ролі підстав аргументації концептам зі складу T; репрезентативності заданих обов'язкових і неприпустимих підстав в аргументації at.

Роль запропонованої системи методів для підпроцесів у моделі (2) визначає

Теорема 3.4. Система методів {MT_ij, i=1,…, 5} надає повну й ненадлишкову підтримку підпроцесу оцінювання SP (11) за довільного стану його середовища.

Розділ 4 присвячено опису створеної моделі процесу керування ризиком проектів ПС, засобів його автоматизованої підтримки та результатів їх апробації в організації-розробнику ПС. Модель адаптує процес оцінювання до сучасних результатів з керування ризиком, а саме методу оцінювання SRE і методології безперервного керування CRM (SEI) та технологічної дисципліни MSF. Керування ризиком подано послідовністю циклів їх зниження.

На рівні проекту ПС фази SRE реалізуються системою підпроцесів (9) для задач оцінювання T (1). Цикл рівня організації інтегрує оцінки виявлених ризиків проектів; формує Звіт і План їх зниження, коригований в міру виконання для проектів; оцінює вдосконалення процесу розроблення; фіксує здобутий досвід.

Методи MT₁₁-MT₅₃ (у табл. 3) поповнено типовими постановками задачі T (1) для ризику та постановками S₂-S₅ і методами MS₂-MS₅ для задач керування ним: пріоритезації, інтеграції, максимізації зниження й оцінки вдосконалення:

S₂: SG, PR; pr(SG), pr(PR); S₃: ; (16)

_MP [(_i=1,…,n (R_i - R_i()) pr_i) / (_i=1,…,n pr_i)](, MP) max,

S₄: _jMP v()(, MP) V₀, S₅: {TR(t_п)}, {TR(t)}; L_t, (17)

_jMP (p,)(, MP) ₀(p), pPRS, _jMP (, MP) > 0,

де pr(SG), pr(PR) - пріоритети цілей керування ризиками проектів ПС; R_i, IR - індикатори ризику проекту i й процесу розроблення ПС (TR_ui - твердження про u-й ризик проекту i з оцінкою M і позицією TP у класифікації); MPPP - варіант плану зниження ризиків за пропозиціями PP={}, що максимізує його рівень (R_i() - очікуваний ризик i для дії PP; v() і V₀ - трудомісткість й обмеження на трудомісткість плану; PRS - персоналії фахівців; (p,),PP і ₀(p) - термін участі p в дії й обмеження на термін залучення p); L_t=_t,_t,_t,_t,_t - міра вдосконалення процесу розроблення (її метрики - мінімум, середнє й максимум відносних різниць початкових і поточних індикаторів ризику проектів та долі їх ризиків, усунутих, знижених, відстежуваних і щойно виявлених, серед первинних ризиків); MS₂ - метод аналізу ієрархій; MS₃ - побудова аналогу надійнісної схеми для технічних систем; MS₄ - бульова мінімізація за методом гілок і границь (MATLAB 7.0.0).

На грунті апарату розд. 2, 3 розроблено функціональні архітектури програмно-технологічних комплексів (ПТК) ЕкспертЖЦ і МенеджерРизиків, де збережено переваги й доопрацьовано обмеження наявної програмної підтримки оцінювання та керування ризиком у ЖЦ ПС. Компоненти першого ПТК підтримують функції процесу оцінювання Ф₁-Ф₆ (табл. 2) за допомогою операцій підпроцесу (10) eoEO із типовими постановками задачі T (1).

Створено програмне забезпечення макетних зразків обох ПТК. Їх функції підтримують призначення за умов подання онтологічної моделі ПЖЦ шаблонами форм процесу розроблення ПС, а відношення їх подібності - тотожністю, у середовищах програмування Borland Delphi 6.0 та Visual Basic 6.0, Visual Basic for Application. Другий ПТК реалізує, у середовищі оцінювання EE (2), розв'язання задач S₂, S₃ (16) і S₅ (17) для обраних проектів ПС на кроках рис. 3 та інформаційний обмін з ЕкспертЖЦ і MATLAB 7.0.0, які забезпечують розв'язання задачі T (1) (за її типових і довільних постановок) і задачі S₄ (17).

Сформований математичний апарат апробовано через впровадження процесу керування ризиком за наданою моделлю і макетів ПТК у три проекти інформаційно-аналітичних систем оборонного призначення (ІАС_i, i=1,2,3), виконувані в організації-розробнику ПС за угодою з Міністерством оборони України, для вдосконалення нестабільного процесу розроблення ПС, що не передбачав керування ризиками. Запроваджено систематичне проведення для ІАС_i циклів зниження ризиків (рис. 3) (у місячний термін). Результати дев'яти виконаних циклів підсумовано у вигляді діаграм, поданих на рис. 5. Вони засвідчують досягнуте спадання індикаторів ризиків, зниження на 40% їх кількості та позитивну динаміку співвідношення знижених і відстежуваних ризиків. Це, разом із підвищенням обґрунтованості рішень щодо процесу розроблення ПС та ефективності діяльності його агентів, зумовило вдосконалення процесу, проявлене покращенням його керованості й відстежуваності.

Висновки

Головний результат дисертації - створення та ефективне впровадження нового математичного апарату підтримки експертного оцінювання об'єктів ЖЦ ПС, спрямованого на вдосконалення процесу розроблення ПС і його продуктів.

Основні результати дисертаційного дослідження

1. Формалізовано постановку задачі експертного оцінювання об'єктів ЖЦ ПС. Запропоновано інтеграцію до ЖЦ нового процесу експертного оцінювання. Побудовано математичну модель, що визначає його інформаційне й технологічне середовище та підпроцеси розв'язання задач з операціями підготовки, проведення й інтеграції результатів взаємопов'язаних експертиз оцінюваних об'єктів ЖЦ ПС.

2. Формалізовано й метризовано відношення подібності в інформаційному середовищі оцінювання. Доведено, що воно є толерантністю; рівень подібності є метрикою; процес оцінювання, його підпроцеси й операції належать до гомоморфізмів спеціальних алгебраїчних систем із введеним відношенням.

3. Запропоновано формалізм аргументованого дерева цінності як моделі переваг. Для рішень експертиз об'єктів ЖЦ ПС з цією моделлю запроваджено показники якості - рівні обґрунтованості і стійкості різних форм. З використанням цих показників розроблено методи максимізації обґрунтованості (на множині рішень експертиз; при узагальненні експертних версій дерев та їх оцінок). Доведено незалежність введених форм стійкості.

4. Сформовано систему методів реалізації підпроцесу розв'язання задачі оцінювання. Доведено її повноту й ненадлишковість щодо операцій підпроцесу.

5. Запропоновано модель процесу керування ризиками проектів ПС на грунті сформованого апарату експертного оцінювання.

6. Створено програмно-технологічні комплекси автоматизованої підтримки підпроцесів оцінювання та процесу керування ризиками проектів ПС

7. Вдосконалено процес розроблення ПС в організації-розробнику шляхом впровадження створеного математичного апарату і програмних засобів.

Основні положення дисертації опубліковані в таких працях

1. Слабоспицкая О.А. Один подход к разработке инструментальных средств экспертизы иерархических альтернатив в развивающейся предметной области // Пробл. программирования. - 1998. - №4. - C. 51-58.

2. Андон Ф.И., Суслов В.Ю., Коротун Т.М., Коваль Г.І., Слабоспицкая О.А. Управление риском проектов ПО // Пробл. программирования. - 1999. - №1. - C. 53-62.

3. Ильина Е.П., Слабоспицкая О.А. Цели и критерии логико-статистического анализа экспертных предпочтений в условиях конфликта точек зрения на предметную область проблемы выбора // Пробл. программирования. - 2000. - №1-2. - C. 471-483.

4. Слабоспицкая О.А. Формальный аппарат экспертного решения проблемы многокритериального оценивания при учёте ряда точек зрения на проблему // Пробл. программирования. - 2002. - №1-2. - C. 430-440.

5. Ильина Е.П., Ольховская Ю.В., Слабоспицкая О.А. Построение и обоснование обобщенного дерева критериев ценности при учете различных точек зрения на проблему многокритериального оценивания // Пробл. программирования. - 2004. - №2-3. - С. 344-352.

6. Ильина Е.П., Слабоспицкая О.А. Формы, метрики и свойства отношения сходства между концептами в онтологиях экспертных точек зрения // Пробл. программирования. - 2005. - №4. - C. 39-49.

7. Слабоспицкая О.А. Экспертиза процессов жизненного цикла программных систем // Пробл. программирования. - 2006. - №2-3. - С. 341-348.

8. Слабоспицька О.О. Задачі, методи та засоби експертного оцінювання якості в інженерії програмних систем // Пробл. програмування. - 2007. - №3. - C. 32-40.

9. Слабоспицька О.О. Інтегруюча модель процесу діяльності з експертного оцінювання у життєвому циклі програмних систем // Пробл. програмування. - 2008. - №2-3. - C. 279-287.

10. Ilyina E., Slabospitskaya O. The Tasks and the Tools for the Expert Knowledge Monitoring Aimed At the Target Programming Management Support // Proc. of 2-nd International Conf. ASCN-2005. - Lviv, 2005. - P. 71-75.

Размещено на Allbest.ru