Методи та інструментальні засоби метрико-ймовірнісної оцінки якості програмного забезпечення інформаційно-управляючих систем критичного застосування

Размещено на http://www.allbest.ru/

Міністерство освіти і науки України

Національний аерокосмічний університет ім. М.Є. Жуковського

“Харківський авіаційний інститут”

УДК 004.05+004.415.5

Автореферат

дисертації на здобуття наукового ступеня кандидата технічних наук

Методи та інструментальні засоби метрико-ймовірнісної оцінки якості програмного забезпечення інформаційно-управляючих систем критичного застосування

05.13.06 - автоматизовані системи управління та прогресивні інформаційні технології

Тарасюк Ольга Михайлівна

Харків 2004

Загальна характеристика роботи

оцінка якість програмне забезпечення

Актуальність теми дослідження. За останні десятиліття людство пройшло кілька етапів, пов'язаних з розвитком комп'ютерної техніки й розширенням меж її застосування. Підсумком зазначених процесів стало, з одного боку, створення могутньої індустрії комп'ютерної та програмної інженерії, а з іншого - збільшення її впливу (як позитивного, так і негативного) на людське суспільство. При цьому особливо необхідно підкреслити зростаючу залежність комп'ютерних систем критичного застосування (КЗ) від характеристик програмного забезпечення (ПЗ), що має безпосереднє відношення до питань безпеки, оскільки частка програмно реалізованих функцій в інформаційних і управляючих системах (ІУС) авіаційних і ракетно-космічних комплексів, АЕС, медичного обладнання та ін., динамічно зростає. Збільшується доля аварій і катастроф, причиною яких є відмови систем внаслідок прояву дефектів програмних засобів, що не були виявлені при розробці та верифікації. За результатами проведеного аналізу кожен сотий пуск у ракетно-космічних комплексах (РКК) завершується аварією внаслідок дефектів ПЗ, а 6 з 7 відмов комп'ютерних систем цих комплексів обумовлені такими дефектами. У цьому контексті необхідно зазначити надзвичайну важливість якості та надійності програмного забезпечення, оскільки від них, у першу чергу, залежать як конкурентноздатність комерційних продуктів, так і безпека ІУС КЗ. Це обумовлює актуальність наукових досліджень, присвячених розробці й удосконаленню методів оцінки та забезпечення якості та надійності ПЗ. Великий внесок у розвиток цього наукового напрямку внесли Літлвуд Б., Липаєв В.В., Липов М., Лью М.Р., Муса Дж.Д., Майєрс Г., Тоценко В.Г. та ін.

Програмні компоненти є одночасно об'єктом і засобом оцінки, забезпечення необхідного рівня і подальшого підвищення якості, надійності й безпеки систем, до складу яких вони входять, оскільки програмні засоби:

- реалізують важливі для безпеки функції бортових і наземних систем РКК, систем аварійного захисту АЕС та ін.;

- здійснюють їх контроль, діагностування та реконфігурацію;

- використовуються для інструментальної підтримки процесів проектування, тестування, верифікації й експертизи;

- є можливими джерелами відмов, що відносяться до числа найбільш складних і небезпечних, зокрема, відмов за загальною причиною, оскільки можуть тиражуватися на всі резервні канали при їх однотипній програмній реалізації;

- аналізуються та експертуються на предмет відповідності вимогам специфікацій і нормативних документів, виходячи з призначення системи.

Останній аспект варто виділити особливо, оскільки, по-перше, повнота та достовірність оцінки якості та надійності програмних засобів ІУС КЗ є ключовою задачею, успішне виконання якої дозволяє ефективніше вирішувати проблеми забезпечення їхнього необхідного рівня, по-друге, програмні засоби є специфічним об'єктом оцінки, для якого не можна застосовувати традиційні підходи, апробовані для апаратних засобів.

У той же час різноманіття моделей оцінки надійності програмних засобів тільки ускладнює вирішення даної проблеми внаслідок відсутності науково обґрунтованих методів вибору і верифікації цих моделей.

Таким чином, актуальною науковою задачею є розробка методів достовірної оцінки якості та надійності програмного забезпечення ІУС КЗ, що дозволяють створювати комплексні засоби та системи інструментальної підтримки верифікації й експертизи критичного ПЗ.

Зв'язок роботи з науковими програмами, планами, темами. Дослідження, результати яких викладені в дисертації, проводилися відповідно до державних планів НДР, програм і договорів, що виконувалися в Національному аерокосмічному університеті ім. М.Є. Жуковського та в інших організаціях:

- “Розробка науково-методичних основ й інформаційних технологій оцінки та забезпечення відмовостійкості та безпеки комп'ютеризованих систем аерокосмічних комплексів, інших комплексів критичного застосування” (Національний Аерокосмічний університет ім. М.Є. Жуковського “ХАІ”, №Г503-42/2003, 2003);

- “Інтегроване інструментальне середовище підтримки експертизи та незалежної верифікації ПЗ систем критичного застосування” (Сертцентр АСУ Держцентрякості ДКЯРУ, наказ № 69 від 12.07.2002);

- “Розробка галузевих нормативних вимог до якості програмного забезпечення й програмно-технічних комплексів критичного застосування для ракетно-космічної техніки, гармонізованих з нормативною базою Європейської кооперації по стандартизації космічної діяльності (ECSS)” (Сертцентр АСУ Держцентрякості ДКЯРУ, НКАУ, тема “Якість”, договір №87-СЦ/03, 2003);

- “Розробка науково-методичного забезпечення відмовобезпеки цифрових систем контролю та управління АЕС при використанні програмованих ВІС”, шифр “Надійність - Д” (НПВМП “АСУ ХАІ”, Д2/2002, № 0104U003502, 2003);

- “Розробка моделей і методів оцінки надійності систем управління й обробки інформації телекомунікаційних мереж”, шифр “Натиск” (Полтавський військовий інститут зв'язку, Міністерство оборони України, №179-Н, 2002);

Роль автора в зазначених науково-дослідних темах і проектах, у яких дисертант був безпосереднім виконавцем, полягає в розробці моделей, методів і інструментальних засобів оцінки якості та надійності ПЗ, заснованих на запропонованому метрико-модельному підході.

Мета і задачі. Метою дисертаційної роботи є підвищення повноти та достовірності оцінки якості та надійності ПЗ ІУС КЗ на основі розробки методів і інструментальних засобів підтримки верифікації й експертизи, що базуються на комплексному використанні метрик, моделей і формалізованих процедур їхнього вибору та аналізу.

Для досягнення поставленої мети формуються такі задачі:

- аналіз і класифікація моделей, метрик і інструментальних засобів оцінки якості та надійності ПЗ ІУС КЗ;

- удосконалення моделі та методу оцінки якості ПЗ з використанням множини метрик;

- удосконалення методу оцінки надійності ПЗ з використанням ймовірнісних моделей на основі аналізу їх допущень;

- розробка методу комплексної оцінки якості та надійності ПЗ з використанням метрик, ймовірнісних моделей і процедури аналізу даних про дефекти ПЗ, що отримані в результаті тестування;

- експериментальна оцінка запропонованих методів і процедур вибору моделей надійності ПЗ;

- розробка інструментальних засобів оцінки якості та надійності ПЗ з метою їх впровадження в інтегровану систему підтримки незалежної верифікації та експертизи ПЗ ІУС, а також проектування складних програмних комплексів.

Об'єкт дослідження - процеси оцінки якості та надійності програмного забезпечення інформаційно-управляючих систем критичного застосування.

Предмет дослідження - моделі, методи й інструментальні засоби оцінки якості та надійності при створенні та експертизі ПЗ для інформаційно-управляючих систем критичного застосування.

Методи дослідження. В основу методології досліджень були покладені принципи системного аналізу. При вирішенні загальної та часткових наукових задач використовувалися такі методи проведення досліджень: методи аналізу ієрархій, теоретико-множинного опису, теорії ймовірностей і математичного програмування - при розробці метричного методу оцінки; методи теорії ймовірностей, аналізу та перетворення бульових матриць - при розробці методу оцінки надійності ПЗ з використанням ймовірнісних моделей; методи теорії ймовірностей і математичної статистики - при розробці комплексного методу оцінки та процедур обробки даних про тестування реальних проектів ПЗ.

Наукова новизна отриманих результатів:

1) вперше запропоновано метод комплексної оцінки якості та надійності ПЗ, який дозволяє забезпечити необхідну повноту та достовірність результатів оцінювання й базується на:

- спільному використанні та комплексуванні результатів метричного й модельного оцінювання;

- операціях аналізу й обробки первинних даних про виявлення й виправлення дефектів ПЗ, отриманих за результатами тестування;

2) удосконалено метод оцінки якості ПЗ з використанням систематизованої множини метрик, в основу якого, на відміну від відомих, покладені:

- формалізовані процедури профілювання та вибору метрик, що дозволяють визначити модель метричної оцінки якості ПЗ;

- представлення вихідних і кінцевих результатів оцінки у вигляді ієрархії радіальних метричних діаграм (РМД) і комплекс спеціальних операцій згортки РМД, що дозволяють одержувати скалярні оцінки або знижувати розмірність векторних оцінок;

- запропоновані показники оцінки якості експертизи ПЗ, які враховують склад вимог до ПЗ і повноту перевірки їх виконання, що дозволяють сформулювати оптимізаційні задачі забезпечення необхідної якості експертизи при мінімальних витратах;

3) удосконалено метод оцінки надійності ПЗ, що дозволяє здійснювати спрямований вибір і верифікацію ймовірнісних моделей надійності на основі формалізованого аналізу допущень про процеси і продукти розробки, який включає, на відміну від відомих:

- операції побудови й аналізу матриць відповідності ймовірнісних моделей надійності програмного забезпечення (МНПЗ) та їхніх допущень;

- спеціальні процедури комплексування по етапах життєвого циклу й верифікації МНПЗ;

- операції синтезу моделей надійності ПЗ шляхом урахування додаткових допущень.

Практичне значення отриманих результатів визначається тим, що на основі проведених досліджень і запропонованих методів:

- розроблено методики, алгоритми й інструментальні засоби оцінки якості та надійності ПЗ для системи підтримки експертизи та незалежної верифікації ПЗ ІУС АЕС і космічних комплексів;

- сформульовано положення проектів нормативних документів, що визначають вимоги та показники оцінки якості ПЗ і програмно-технічних засобів ракетно-космічних систем, порядок вибору та використання метрик;

- розроблено патентоспроможні засоби апаратно-програмної підтримки оцінки й управління якістю ПЗ в процесі проектування.

Реалізація. Результати досліджень впроваджені в:

- Сертифікаційному центрі АСУ Держцентрякості Державного комітету ядерного регулювання України при розробці інтегрованої інструментальної системи “SAVExpert System” і проектів нормативних документів, що регламентують методики оцінки ПЗ критичних систем в інтересах ДКЯРУ, НКАУ, НАЕК (акт впровадження від 23.02.2004);

- НТ СКБ “Полісвіт” при розробці систем оцінки й управління якістю проектування і верифікації ПЗ для авіаційних систем (акт впровадження від 4.02.2004);

- навчальному процесі Національного аерокосмічного університету ім. М.Є. Жуковського “ХАІ” при вивченні дисциплін “Методи дослідження й моделювання комп'ютерних систем і мереж”, “Надійність, контроль і діагностика ЕОМ” (акт впровадження від 1.03.2004).

Достовірність нових наукових положень і висновків дисертаційної роботи підтверджується:

- результатами їх практичного впровадження в інструментальних засобах і системах підтримки експертизи й верифікації ПЗ ІУС критичного застосування;

- результатами оцінки надійності ПЗ конкретних систем з використанням запропонованих методів, що довели можливість вибору моделей із застосуванням операцій аналізу допущень.

Особистий внесок здобувача полягає в розробці нових моделей, методів і інструментальних засобів, що забезпечують рішення поставлених у дисертації задач. Всі основні результати отримані автором особисто. Роботи [1-4] були опубліковані без співавторів. У роботах, опублікованих у співавторстві, здобувачу належать: розробка бази даних аварій і катастроф аерокосмічної техніки й аналіз причин відмов комп'ютерних систем управління [5], скалярна та векторна оцінки якості ПЗ з використанням радіальних метричних діаграм і операцій їх зовнішнього та внутрішнього перетворення [6], модель динамічної РМД для її використання в задачах управління якістю ПЗ упродовж життєвого циклу [7], запропоновані показники оцінки якості експертизи ПЗ та постановка оптимізаційної задачі забезпечення необхідної якості експертизи при мінімальних витратах [8], аналіз особливостей оцінки якості та надійності ПЗ за допомогою метрик і зазначення послідовності та змісту етапів оцінки якості ПЗ з використанням метричного підходу [9], методика профілювання метрик та їх системна класифікація за результатами аналізу базових нормативних документів з метричної оцінки якості ПЗ [10], аналіз особливостей застосування РМД для оцінки виконання вимог, що висуваються до ПЗ, а також функції інструментального засобу оцінки ПЗ за допомогою метрик [11], методика комплексної кількісної оцінки ПЗ з використанням множини метрик і моделей, структура та функції підсистеми “оцінювання” інтегрованої інструментальної системи SAVExpert-System [12], метод вибору ймовірнісних моделей надійності ПЗ за допомогою сформованих матриць допущень та процедур вибору й комплексування моделей для багатоверсійних й багатокомпонентних ПЗ [13, 14], їх верифікації [15], синтезу, а також обґрунтування і розробка послідовності спільного застосування цих процедур [16].

Апробація результатів наукових досліджень проводилася на постійно діючому міжгалузевому семінарі “Критичні комп'ютерні технології та системи” на кафедрі комп'ютерних систем і мереж Національного аерокосмічного університету ім. М.Є. Жуковського “ХАІ”, а також на таких наукових конференціях і симпозіумах: Міжнародній науково-практичній конференції “Інтегровані комп'ютерні технології в машинобудуванні ІКТМ” (м. Харків, 2001-2003 р.), 5-ій міській науково-практичній конференції “Актуальні проблеми сучасної науки в дослідженнях молодих вчених Харківщини” (м. Харків, 2002 р.), Міжнародній науково-практичній конференції “Сучасні інформаційні та електронні технології” (м. Одеса 2002-2003 р.)., 26^th Annual International Computer Software and Applications Conference (COMPSAC'2002) (м. Оксфорд, Англія, 2002 р.), Міжнародній науково-практичній конференції “Інформаційні технології управління екологічною безпекою, ресурсами та заходами в надзвичайних ситуаціях” (Крим, с. Рибаче, 2002 р.), The 7^th International Conference “CAD Systems in Microelectronics” (Львів, с. Славське, 2003 р.), 3-ій Міжнародній конференції “Інформаційні технології і безпека” (Крим, с.м.т. Партенит, 2003 р.), 16_ій Міжнародній науково-технічній конференції “Перспективні інформаційно-управляючі системи на залізничному, промисловому й міському транспорті” (м. Алушта, 2003 р.), 1^st International conference “Advanced Computer Systems and Networks: Design and Application” (м. Львів, 2003 р.), Міжнародній науково-практичній ювілейній конференції “Проблеми енергозабезпечення й енергозбереження в АПК України” (м. Харків, 2003 р.), Міжнародному симпозіумі “Виміри, важливі для безпеки в реакторах” (м. Москва, 2003 р.).

Публікації. Основні результати дисертації опубліковані в 16 друкованих працях, серед яких 2 статті в наукових журналах, 9 статей у збірниках наукових праць, з них 11 статей опубліковані в наукових виданнях, що включені до переліку ВАК України, а також 5 тез доповідей у збірниках праць наукових конференцій.

Структура і обсяг дисертації. Дисертація має вступ, чотири розділи, висновки й додатки. Повний обсяг дисертації складає 204 сторінок, у тому числі: 7 рисунків на 5 окремих сторінках, 9 таблиць на 10 сторінках, список з 159 використаних літературних джерел на 15 сторінках, 7 додатків на 31 сторінках.

Основний зміст роботи

Вступ дисертаційної роботи містить: обґрунтування актуальності теми й наукових задач; інформацію про зв'язок роботи з науковими програмами; мету й задачі дослідження; об'єкт, предмет і методи дослідження; характеристику наукової новизни й практичного значення отриманих результатів, а також особистого внеску здобувача; дані щодо реалізації, апробації та публікації результатів.

У першому розділі розглянуто вимоги, що висуваються до програмного забезпечення, а також виконано аналіз впливу ПЗ на надійність і безпеку інформаційних та управляючих систем критичного застосування. У процесі аналізу встановлено, що:

- якість і надійність є основними характеристиками програмного забезпечення ІУС КЗ, при цьому одними з ключових вимог нормативних документів в галузі програмної інженерії є вимоги до достовірної та всебічної кількісної оцінки цих характеристик;

- дефекти програмного забезпечення є одними з поширених джерел відмов ІУС і часто призводять до катастрофічних наслідків. Це підтверджується дослідженням причин аварій ракетно-космічної техніки (РКТ), для яких відмови ПЗ становлять 60% від загального числа причин відмов систем управління об'єктів РКТ. Більш того, спостерігається тенденція до подальшого зростання числа відмов ІУС внаслідок прояву дефектів ПЗ, що обумовлено збільшенням кількості задач, які реалізуються або підтримуються програмним забезпеченням;

- якість і надійність ПЗ суттєво залежить від досконалості методів аналізу й оцінки цих характеристик у процесі розробки й верифікації.

У результаті аналізу існуючих методів і інструментальних засобів оцінки якості та надійності ПЗ ІУС КЗ визначено, що найбільшого поширення набули підходи, засновані на методах інспекції, які припускають перевірку відповідності ПЗ вимогам нормативних документів шляхом неформалізованого аналізу документації і процесів розробки; використанні спеціальних показників - метрик, що дозволяють побічно судити про рівень якості та надійності ПЗ на підставі аналізу достовірно вимірюваних характеристик програмного продукту і процесів його проектування; застосуванні математичних моделей для оцінки ймовірнісних показників надійності.

Як показав аналіз, найбільш актуальними задачами в галузі оцінки якості та надійності ПЗ є:

систематизація множини існуючих метрик, представлених у різних нормативних документах, і розробка методів узагальнення й інтерпретації результатів метричних оцінок, аналізу їхньої повноти та достовірності;

розширення базового набору ймовірнісних моделей надійності ПЗ та удосконалення методів їх вибору з урахуванням відповідності допущень моделей особливостям продуктів та процесам розробки;

розробка інструментальних засобів підтримки експертизи й незалежної верифікації, що використовують метод метричної оцінки й математичні моделі для аналізу якості та надійності ПЗ.

Сформульована загальна наукова задача дисертації, що декомпозується на ряд часткових задач, пов'язаних з розробкою методів комплексної оцінки якості і надійності ПЗ. Обґрунтована трьохетапна методика досліджень.

Другий розділ дисертації присвячений розробці методу оцінки якості ПЗ із використанням систематизованої множини метрик.

В основу методу покладена модель метричної оцінки якості ПЗ

що описується такими елементами.

1. Модель якості ПЗ або її профіль, що визначає множину оцінюваних характеристик або вимог до ПЗ та задає їхній ієрархічний взаємозв'язок. Модель якості ПЗ може бути представлена у вигляді дерева , де MReq - множина оцінюваних властивостей (або вимог) (вершин дерева QM); R - множина ребер дерева, що визначають зв'язки між оцінюваними характеристиками якості.

2. Множина метрик , які використовуються для оцінки якості ПЗ, що розбивається на n_m підмножин, що відповідають n_m оцінюваним характеристикам нижнього m-го рівня ієрархії:

.

3. Набір базових процедур методу , що реалізують операції: формування профілю оцінюваної моделі якості (процедура рm₁); вибору фактичної множини метрик на основі аналізу доступності необхідної програмної документації (процедура рm₂); одержання узагальнених інформативних оцінок по характеристиках і групах характеристик якості (процедура рm₃); аналізу якості результатів оцінювання ПЗ із використанням метрик (процедура рm₄).

У результаті гармонізації положень стандартів IEEE 982.1:1989 і ISO/IEC 9126_1:2001 сформовано варіант загального профілю якості ПЗ. Часткові профілі моделі оцінки якості та надійності ПЗ формуються шляхом виділення окремих субдерев з дерева загального профілю моделі якості (рис.1).

Для аналізу й візуалізації результатів метричної оцінки, а також формування узагальненої оцінки якості ПЗ запропоновано використовувати ієрархію радіальних метричних діаграм. Формальна модель РМД має вигляд:

де - множина показників (метрик), що входять до складу РМД; Е - множина оцінених значень цих показників ; W - множина вагових коефіцієнтів ; S - множина шкал показників ; - узагальнений показник, що є функцією від значень показників , які входять до складу РМД, і коефіцієнтів вагомості .

Оцінка якості ПЗ із використанням запропонованого методу здійснюється за допомогою операцій згорток над метриками, що дозволяють на відміну від існуючих методів одержати підсумкову оцінку з урахуванням ієрархій оцінюваних характеристик або вимог до ПЗ. Операція згортки полягає в представленні множини значень показників РМД з урахуванням їх вагомості та типів шкал в узагальнений показник , що оцінює дану характеристику в цілому і є одним з показників РМД наступного рівня ієрархії.

Для оцінки якості експертизи ПЗ при використанні метричного підходу запропоновано комплекс показників, що враховують склад і повноту перевірки виконання вимог і дозволяють сформулювати оптимізаційні задачі забезпечення необхідної якості експертиза при обмежених витратах. Основним є загальний показник експертизи

де _i - коефіцієнт значимості i-ої оціненої вимоги (або характеристики якості) ; , - множини вимог, виконання яких повинно бути оцінене і які дійсно були оцінені; w_i - коефіцієнт вагомості j-ої метрики, призначеної для оцінки i-ої вимоги, , , - множини метрик, що повинні бути використані для перевірки вимоги і які були дійсно розраховані.

Якщо показниками витрат прийняти час Т і вартість С оцінки кожної метрики, то пряма й зворотна оптимизаційні задачі вибору номенклатури метрик для оцінки якості та надійності ПЗ у загальному вигляді можуть бути записані таким чином:

За результатами розробки методу запропоновано прилад для оцінки якості ПЗ, за яким подано заявку на винахід (№ 20031211197 від 09.12.2003).

Третій розділ присвячений розробці методу оцінки надійності ПЗ за допомогою ймовірнісних моделей на основі аналізу їх допущень.

Метод групується на систематизації відомих моделей надійності ПЗ (МНПЗ), допущень моделей і удосконаленні їхнього вибору шляхом аналізу відповідності допущень особливостям оцінюваного програмного забезпечення. Ключовим елементом удосконаленого методу є матриця допущень RD, що є бульовою матрицею, рядкам якої відповідає множина різних допущень MD={D_i}, а стовпцям - множина моделей

MM={M_j}:

;

Елементи матриці допущень a_ij приймають одне з двох значень, “1” або “0”. Якщо _ij = 1, то в j-й МНПЗ використовується i-е допущення. Якщо _ij = 0, то в j-й МНПЗ i-е допущення не використовується:

де s (s ) - відношення суттєвості (несуттєвості) допущення D_i моделі M_j.

У результаті аналізу відомих моделей надійності ПЗ була розроблена фасетно-ієрархічна класифікація й відібрано 17 базових (найбільш поширених) моделей (табл. 1). Для відібраних моделей була проведена систематизація допущень за типами, категоріями та класами. У результаті зіставлення отриманих ієрархій моделей і допущень сформована матриця допущень.

Таблиця 1. Систематизація базових ймовірнісних моделей надійності ПЗ

МНПЗ	Класифікаційні ознаки
	Група	Сімейство/клас	Тип	Категорія
1.1	Джелинського-Моранди	1	Де-еутрофікаційні	Експоненціальні	Біноміальні	Скінчені МНПЗ
1.2	Шумана
2.1	Гела-Окумото	2	НПП		Пуассонівські
2.2	Шнейдевінда
2.3	Муси
3.1	Основна гіперекспоненціальна	3	Гіперекспоненціальні
3.2	Лапрі
4.1	Основна S-подібна	4	S-подібні	Гамма- Вейбуллівські
4.2	Гіперекспоненціальна
4.3	Охба
4.4	Тестових зусиль
5.1	Шика-Уолвертона	5	Вейбуллівські		Біноміальні
5.2	Дюена				Пуассонівські	Нескінчені МНПЗ
6.1	1-я Моранди	6	Геометричні	Експоненціальні
6.2	2-я Моранди
6.3	Липова
7.1	Муси-Окумото	7	Логарифмічні

Метод оцінки надійності ПЗ із використанням ймовірнісних моделей на основі аналізу допущень містить набір базових процедур, що реалізують операції: формування вихідної матриці допущень; урахування нових моделей і допущень; вибору моделей з використанням матриці допущень; комплексування моделей надійності по етапах життєвого циклу ПЗ; визначення й уточнення параметрів моделей; верифікації моделей з використанням матриці допущень; синтезу моделей; вибору моделей надійності для багатоверсійних ПЗ.

Ключовими з них є процедури вибору, комплексування й верифікації. Вибір моделей здійснюється в такий спосіб. На основі аналізу ПЗ і особливостей його розробки визначається вектор допущень , відповідно до якого зі сформованої матриці допущень вибирається модель, чиї допущення збігаються з цим вектором. Якщо в RD така модель відсутня, формується підмножина моделей MM, для яких розбіжність за допущеннями є мінімальною. Далі проводиться аналіз підмножини MM з метою визначення можливості відповідної доробки наявних моделей або уточнюється критичність незбіжних допущень. Запропоновані процедури об'єднані в єдиній методиці, що дозволяє вирішувати різні задачі з урахуванням особливостей конкретного проекту.

У четвертому розділі дисертації запропоновано метод комплексної метрико-ймовірнісної оцінки якості та надійності ПЗ, заснований на спільному використанні метрик якості й моделей надійності, що ілюструється на рис. 4. Для підвищення точності та достовірності застосовується комплексування результатів метричної та модельної оцінок, коли вхідними параметрами для розрахунку деяких метрик є ймовірнісні показники, отримані за допомогою моделей надійності ПЗ, і навпаки.

Загальний алгоритм оцінки якості й надійності ПЗ або перевірки виконання вимог, які висуваються до ПЗ, складається з таких етапів: 1) визначення складу оцінюваних характеристик якості й надійності ПЗ або вимог, що перевіряються; 2) вибір підмножини метрик, що використовуються для оцінки цих характеристик або перевірки вимог; 3) визначення ймовірнісних показників МНПЗ, що комплексуються з вхідними параметрами відібраних метрик; 4) вибір МНПЗ на основі аналізу допущень і розрахунок значення ймовірнісних показників; 5) визначення значень вхідних параметрів метрик та їхній розрахунок; 6) аналіз результатів оцінки якості та надійності ПЗ або вимог, що перевірялися, за допомогою побудови та згортки ієрархії РМД; 7) аналіз повноти та достовірності виконаної оцінки.

Практична апробація методу була виконана при оцінці ПЗ інформаційно-обчислювальної системи (ІОС) Хмельницької АЕС, що відноситься до систем, важливих для безпеки атомних станцій. Результати апробації ілюструються на рис. 5. У процесі оцінки надійності ПЗ цієї системи на основі аналізу допущень була обрана модель Шика-Уолвертона, а потім, з використанням методів статистичної обробки результатів тестування, за критеріями сумарного квадратичного відхилення й хі-квадрат, було підтверджено те, що вона дає найкраще наближення для нормалізованих трендів дефектів. Крім того, результати проведеної модельної оцінки надійності дозволили розрахувати набір стандартизованих метрик і зробити важливі практичні висновки щодо додаткового тестування.

На базі запропонованих методів і моделей розроблені інструментальні засоби SRM (Software Reliability Modeling) і SQM (Software Quality Measurement), які реалізують два підходи до оцінки якості та надійності ПЗ - метричний і модельний та формують ядро підсистеми “Оцінювання” інтегрованої інструментальної системи підтримки експертизи та незалежної верифікації критичного програмного забезпечення “SAVExpert System” (рис. 6). Для збереження систематизованої множини метрик, моделей та їх допущень, а також результатів оцінки якості та надійності ПЗ розроблено відповідні бази даних. Апробація розроблених інструментальних засобів була виконана при експертизі якості верифікації ПЗ системи внутрішньо-реакторного контролю АЕС.

Висновки

У дисертації наведено теоретичне обґрунтування та нове вирішення актуальної наукової задачі розробки методів достовірної оцінки якості та надійності програмного забезпечення ІУС КЗ, що дозволяють створювати комплексні засоби й системи інструментальної підтримки верифікації й експертизи критичного ПЗ. При цьому були отримані такі наукові та практичні результати.

1. Виконано аналіз вимог до якості та надійності ПЗ ІУС КЗ, а також існуючих методів й інструментальних засобів їхньої оцінки, який показав, що відомі методи не забезпечують необхідну повноту й достовірність оцінки якості і надійності критичного ПЗ і підтримуються або ручними процедурами аналізу програмного забезпечення по технічній документації, або окремими утилітами, що реалізують різні способи тестування й верифікації, не пов'язані між собою.

2. У дисертації отримані такі нові наукові результати:

2.1. Вперше запропоновано метод комплексної оцінки якості та надійності ПЗ, який дозволяє забезпечити необхідну повноту й достовірність результатів і базується на:

- спільному використанні та комплексуванні результатів метричного й модельного оцінювання;

- операціях аналізу й обробки первинних даних про виявлення й виправлення дефектів ПЗ, отриманих за результатами тестування;

2.2. Удосконалено метод оцінки якості ПЗ з використанням систематизованої множини метрик, в основу якого, на відміну від відомих, покладені:

- формалізовані процедури профілювання та вибору метрик, що дозволяють визначити модель метричної оцінки якості ПЗ;

- представлення вихідних і кінцевих результатів оцінки у вигляді ієрархії радіальних метричних діаграм (РМД) і комплекс спеціальних операцій згортки РМД, що дозволяють одержувати скалярні оцінки або знижувати розмірність векторних оцінок;

- запропоновані показники оцінки якості експертизи ПЗ, які враховують склад оцінюваних характеристик або вимог до ПЗ і повноту перевірки їх виконання, та дозволяють сформулювати оптимізаційні задачі забезпечення необхідної якості експертизи при мінімальних витратах;

2.3. Удосконалено метод оцінки надійності ПЗ, що дозволяє здійснювати спрямований вибір і верифікацію ймовірнісних моделей надійності на основі формалізованого аналізу допущень про процеси і продукти розробки, який включає, на відміну від відомих:

- операції побудови й аналізу матриці сумісності ймовірнісних моделей надійності ПЗ та їхніх допущень;

- спеціальні процедури верифікації МНПЗ та їх комплексування по етапах життєвого циклу;

- операції синтезу моделей надійності ПЗ шляхом урахування додаткових допущень, що дозволяє формалізувати процес одержання нових моделей.

3. Розроблені й удосконалені моделі, методи й інструментальні засоби, що базуються на комплексному використанні метрик і моделей, а також формалізованих процедур їх вибору й аналізу, розвивають науково-методичні основи оцінки й забезпечення якості та надійності ПЗ, у тому числі для ІУС КЗ.

4. Практичне значення отриманих результатів полягає в тому, що на основі проведених досліджень і запропонованих методів:

- розроблені методики, алгоритми й інструментальні засоби оцінки якості та надійності ПЗ для систем підтримки експертизи і незалежної верифікації ПЗ ІУС АЕС і космічних комплексів;

- сформульовано положення проектів нормативних документів, що визначають вимоги та показники оцінки якості ПЗ програмно-технічних засобів ракетно-космічних систем, порядок вибору та використання метрик;

- розроблено патентоспроможні засоби апаратно-програмної підтримки оцінки й управління якістю ПЗ у процесі проектування.

Це дало можливість збільшити повноту оцінки якості ПЗ і його відповідності вимогам і довести її практично до стовідсоткової для заданого профілю за рахунок:

- введення узагальненого показника якості експертизи й показника її повноти, що враховують множину вимог, які перевіряються;

- розробки методик і інструментальних засобів підтримки процесу оцінки цих вимог, що дозволяють контролювати їхню повноту.

З огляду на результати аналізу експертиз критичного ПЗ можна говорити про 10_15-відсоткове підвищення повноти оцінки.

Запропоновані методи й інструментальні засоби, крім того, дозволяють підвищити достовірність оцінки характеристик якості та надійності, а також перевірки вимог до ПЗ з урахуванням можливих обмежень на часові та матеріальні ресурси й зменшити частку ручних операцій у процесі оцінки програмного забезпечення.

Їхнє подальше використання можливе при розробці нормативної бази, що регламентує методи оцінки якості, надійності ПЗ та ІУС критичного застосування в цілому, створенні інструментальних систем оцінки й управління якістю складних програмних комплексів для критичного й бізнес-критичного застосування на різних етапах життєвого циклу.

6. Достовірність нових наукових положень і висновків дисертаційної роботи підтверджується:

- результатами їхнього практичного впровадження в інструментальних засобах і системах підтримки експертизи й верифікації ПЗ ІУС критичного застосування;

- результатами оцінки надійності ПЗ конкретних систем з використанням запропонованих методів, що довели можливість вибору моделей із застосуванням операцій аналізу допущень.

7. Подальші дослідження доцільно спрямувати на розвиток науково-методичного забезпечення процесу управління якістю та надійністю ПЗ, уточнення і формалізацію всіх процедур, що виконуються в рамках цього процесу, та інтеграцію в єдиній експертній системі. Для підвищення точності оцінки ймовірнісних показників надійності ПЗ перспективним є поширення запропонованого підходу на клас байесовських моделей.

Список опублікованих праць за темою дисертації

1. Тарасюк О.М. Анализ современных методов оценки надежности программных средств // Вісник Харківського університету № 551. Серія: “Актуальні проблеми сучасної науки в дослідженнях молодих вчених м. Харкова”. Частина 1. - Харків: Харк. Нац. ун-т ім. В.Н. Каразіна, 2002. - С. 182-185.

2. Тарасюк О.М. Метод комплексной метрико-модельной оценки качества и надежности программного обеспечения // Системи обробки інформації: Зб. наук. праць. Вип. 2. - Харків: НАНУ, ПАНМ, ХВУ, 2004. - С. 105_111.

3. Тарасюк О.М. Метод синтеза моделей надежности программных средств с использованием расширяемых матриц допущений // Тр. 4-ой Междунар. научно-практ. конф. “Современные информационные и электронные технологии” (СИЭТ 2003). - Одесса: ОНПУ, 2003. - С. 156.

4. Тарасюк О.М. Методика и инструментальные средства оценки качества программного обеспечения // Тр. Міжнар. наук.-техн. конф. “Інтегровані комп'ютерні технології в машинобудуванні” (ІКТМ 2002). - Харків: Нац. аерокосміч. ун-т “Харк. авіац. ін-т”, 2002. - С. 156.

5. Харченко В.С., Скляр В.В., Тарасюк О.М. Анализ рисков аварий для ракетно-космической техники: эволюция причин и тенденций // Радіоелектронні та комп'ютерні системи: науково-технічний журнал. - Харків: Нац. аерокосміч. ун-т “Харк. авіац. ін-т”. - 2003. - №. 3. - С. 135_149.

6. Харченко В.С., Тарасюк О.М. Использование радиальных метрических диаграмм для оценки характеристик программного обеспечения // Открытые информационные и компьютерные интегрированные технологии: Сб. науч. трудов. Вып. 18. - Харьков: Нац. аэрокосмич. ун-т “Харьк. авиац. ин-т”, 2003. - С. 123-133.

7. Тарасюк О.М., Харченко В.С. Динамические радиальные метрические диаграммы в задачах управления качеством программного обеспечения // Зб. наук. праць. ін-ту проблем моделювання в енергетиці ім. Г.Є. Пухова. Вип. 22. - Київ: НАНУ, ІПМЕ, 2003. - С. 202_205.

8. Харченко В.С., Тарасюк О.М. Оценка качества экспертизы программного обеспечения: показатели, методика и инструментальные средства // Інформаційні технології та безпека: Сб. наук. праць. Вип. 4. - Київ: НАНУ, Інститут проблем реєстрації інформації, 2003. - С. 128_139.

9. Харченко В.С., Тарасюк О.М., Скляр В.В. О метрическом подходе к оценке качества и надежности программного обеспечения. // Системи обробки інформації: Зб. наук. праць. Вип. 6(22). - Харків: НАНУ, ПАНМ, ХВУ, 2002. - С. 342-345.

10. Тарасюк О.М., Харченко В.С. Разработка методики профилирования и системной классификации метрик качества и надежности программных средств // Авіаційно-космічна техніка і технологія: Зб. наук. праць. Вип. 35. - Харків: Нац. аерокосміч. ун-т “Харк. авіац. ін-т”, 2002. - С. 196-201.

11. Techniques and Tools of Safety-Related Software Requirements Profiling and Assessment / V.S. Kharchenko, B.M. Konorev, O.M. Tarasyuk, A.V. Volkoviy // Proc. 1^st International conf. “ACSN”. - Lviv (Ukraine), 2003. - P. 95_97.

12. Оценка качества, надежности и безопасности программного обеспечения информационно-управляющих систем АЭС: модели, методики и средства / В.С. Харченко, Б.М. Конорев, Г.Н. Чертков, О.М. Тарасюк, А.В. Волковой // Тр. Междунар. симп. “Измерения, важные для безопасности в реакторах”. - Москва, 2003. - С. 11_12.

13. Харченко В.С., Скляр В.В., Тарасюк О.М. Матрично-графовый метод выбора моделей роста надежности одноверсионных и многоверсионных программных средств // Открытые информационные и компьютерные технологии: Сб. науч. трудов. Вып. 11. - Харьков: Нац. аэрокосмич. ун-т “Харьк. авиац. ин-т”, 2002. - С. 65_85.

14. The method of software reliability growth models choice using assumptions matrix / V.S. Kharchenko, O.M. Tarasyuk, V.V. Sklyar, V.Yu. Dubnitsky // Proc. 26^th International conf. (COMPSAC 2002). - Oxford (England), 2002. - P. 541_546.

15. Харченко В.С., Тарасюк О.М., Скляр В.В. Процедуры выбора и верификации вероятностных моделей надежности программных средств // Автоматизація виробничих процесів. - 2002. - № 2(15). - С. 158_165.

16. Харченко В.С., Тарасюк О.М. Процедури аналізу і синтезу моделей надійності програмних засобів з використанням матриць припущень // Вісник національного університету “Львівська Політехніка”, №470 “Комп'ютерні системи проектування. Теорія і практика”. - Львів: Нац.ун-т “Львівська Політехніка”, 2003. - С. 97-101.

Анотація

Тарасюк О.М. Методи та інструментальні засоби метрико-ймовірнісної оцінки якості програмного забезпечення інформаційно-управляючих систем критичного застосування. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 - автоматизовані системи управління та прогресивні інформаційні технології. - Національний аерокосмічний університет ім. М.Є. Жуковського “Харківський авіаційний інститут”, Харків, 2004.

Дисертація присвячена розробці методів і інструментальних засобів оцінки якості та надійності програмного забезпечення інформаційно-управляючих систем критичного застосування на основі комплексного використання метрик і ймовірнісних моделей.

Науковими результатами є: 1) метод комплексної оцінки якості та надійності ПЗ, який базується на спільному використанні та комплексуванні результатів метричного і модельного оцінювання та дозволяє забезпечити необхідну повноту та достовірність результатів оцінювання; 2) метод оцінки якості ПЗ з використанням систематизованої множини метрик, що дозволяє визначити модель метричної оцінки якості ПЗ, одержати скалярну оцінку або знизити розмірність векторних оцінок, а також проаналізувати достовірність метричної оцінки ПЗ; 3) метод оцінки надійності ПЗ, що дозволяє здійснювати спрямований вибір і верифікацію ймовірнісних моделей надійності на основі формалізованого аналізу допущень про процеси і продукти розробки.

Запропоновані методи й інструментальні засоби дозволяють підвищити повноту і достовірність оцінки характеристик якості та надійності, а також перевірки вимог до ПЗ з урахуванням можливих обмежень на часові та матеріальні ресурси й зменшити частку ручних операцій у процесі оцінки програмного забезпечення.

Ключові слова: якість програмного забезпечення, метрики, радіальні метричні діаграми, ймовірнісні моделі надійності.

Аннотация

Тарасюк О.М. Методы и инструментальные средства метрико-вероятностной оценки качества программного обеспечения информационно-управляющих систем критического применения. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 - автоматизированные системы управления и прогрессивные информационные технологии. - Национальный аэрокосмический университет им. Н.Е. Жуковского “Харьковский авиационный институт”, Харьков, 2004.

Диссертация посвящена разработке методов и инструментальных средств оценки качества и надежности программного обеспечения информационно-управляющих систем (ИУС) критического применения (КП) на основе комплексного использования метрик и вероятностных моделей.

Как показывает проведенный анализ, качество и надежность современных информационных и управляющих систем становятся все более зависимыми от характеристик программного обеспечения (ПО). Для ИУС аэрокосмических комплексов, атомных станций и других критических приложений эта зависимость особенно существенна, во-первых, из-за повышенных требований к их надежности и безопасности и, во-вторых, вследствие того, что ПО является одним из наиболее вероятных источников отказов несмотря на предпринимаемые меры, связанные с совершенствованием технологий проектирования и верификации. Кроме того, для критического ПО исключительно важным является вопрос обеспечения полноты и достоверности оценки его качества и надежности при разработке, независимой верификации и экспертизе. Поэтому задача разработки методов достоверной оценки качества и надежности программного обеспечения ИУС КП, позволяющих создавать комплексные средства и системы инструментальной поддержки верификации и экспертизы критического ПО является актуальной и имеет важное научно-практическое значение.

Первым научным результатом является метод оценки качества ПО с использованием множества метрик, основу которого составляют формализованные процедуры профилирования и выбора метрик, позволяющие задать модель метричной оценки качества ПО. Для представления исходных и конечных результатов метричной оценки предложено использовать иерархии радиальных метрических диаграмм (РМД) и комплекс специальных операций свертки РМД, позволяющих получать скалярные оценки или снижать размерность векторных оценок.

С целью анализа качества результатов метричной оценки предложен комплекс показателей, учитывающих состав и полноту проверки выполнения требований и позволяющих сформулировать оптимизационные задачи обеспечения требуемого качества экспертизы при ограниченных затратах.

Вторым научным результатом является метод оценки надежности ПО с использованием вероятностных моделей на основе анализа допущений. Основной идеей этого метода является повышение точности оценки надежности за счет выбора таких моделей, чьи допущения наиболее адекватны особенностям оцениваемого ПО. Для этого разработаны формализованные процедуры построения и анализа матриц допущений вероятностных моделей надежности ПО (МНПО), процедуры верификации и комплексирования МНПО по этапам жизненного циклам, а также операции синтеза моделей надежности ПО на основе расширения иерархий допущений, позволяющие формализовать процесс получения новых моделей.

Проведенные исследования послужили основой для разработки метода комплексной оценки качества и надежности ПО с использованием метрик, вероятностных моделей и методики анализа данных о дефектах ПО полученных в результате тестирования, который является третьим научным результатом.

Разработанные и усовершенствованные модели, методы и инструментальные средства, базирующиеся на комплексном использовании метрик, моделей и формализованных процедур их выбора и анализа, развивают научно-методические основы оценки и обеспечения качества и надежности ПО, в том числе для ИУС КП.

Практическое значение полученных результатов состоит в том, что на основе проведенных исследований и предложенных методов: а) разработаны методики, алгоритмы и инструментальные средства оценки качества и надежности ПО для системы поддержки экспертизы и независимой верификации ПО ИУС атомных электростанций и космических комплексов; б) сформулированы положения нормативных документов, определяющих требования и методики оценки качества ПО программно-технических комплексов для ракетно-космических систем, в части выбора и порядка использования метрик; в) разработаны патентоспособные средства аппаратно-программной поддержки оценки и управления качеством ПО в процессе проектирования.

Это дало возможность увеличить полноту оценки качества ПО и его соответствия предъявляемым требованиям и довести ее практически до стопроцентной за счет:

- введения обобщенного показателя качества экспертизы и показателя ее полноты, учитывающих множество проверяемых требований ;

- разработки методик и инструментальных средств поддержки процесса оценки этих требований, позволяющих контролировать их полноту.

Учитывая результаты анализа экспертиз критического ПО, можно говорить о 10-15-процентном повышении полноты оценки. Предложенные методы и средства позволяют повысить также достоверность оценки проверяемых требований, в том числе оценки надежности ПО, с учетом возможных ограничений на временные и материальные ресурсы. а также уменьшить долю ручных операций в процессе оценки качества программного обеспечения.

Ключевые слова: качество программного обеспечения, метрики, радиальные метрические диаграммы, вероятностные модели надежности.

Abstract

Tarasyuk О.М. Methods and tools of metric-probabilistic quality assessment of the software for information and control systems of critical application. - Manuscript.

Thesis on competition of scientific degree of Candidate of Technical Sciences by specialty 05.13.06 - automated control systems and progressive information technologies. - National Aerospace University “Kharkiv Aviation Institute”, Kharkiv, 2004.

The dissertation is devoted to development of methods and tools of software quality and reliability assessment for the information and control systems of critical applications based on complex usage of the metrics and probabilistic models.

Scientific results are: 1) a method of a complex assessment of software quality and reliability based on co-operative usage and integration of metrics and models outcomes, which allows to provide required completeness and validity of estimation; 2) a method of software quality assessment using the classified metrics set, which allows to define model of metric assessment of software quality, to obtain a scalar estimation or to reduce dimension of evaluation vector, and also to analyze goodness of the software metric assessment ; 3) a method of the software reliability assessment, which allows to realize systematic choice and verification of software reliability models on the basis of the formalized analysis of assumptions about processes and products of software development.

The developed methods and tools allow to improve completeness and validity of estimation of software quality and reliability characteristics and verification of requirements implementation taking into account possible resources limitations, and also to reduce a part of manual operations during software quality estimation.

Key words: software quality, metrics, radial metric diagrams, software reliability models.

Размещено на Allbest.ru