Размещено на http://www.allbest.ru/

Міністерство освіти і науки, молоді та спорту України

Національний технічний університет України

«Київський політехнічний інститут»

УДК 006.91

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Удосконалення відображення характеристик складного об'єкту шкалами порядку з оцінкою невизначеності

Спеціальність 05.01.02 - Стандартизація, сертифікація та метрологічне забезпечення

Сікоза Олена Миколаївна

Київ - 2011

Дисертацією є рукопис

Робота виконана на кафедрі інформаційно-вимірювальної техніки Національного технічного університету України «Київський політехнічний інститут» Міністерства освіти і науки, молоді та спорту України.

Науковий керівник:

кандидат технічних наук, доцент Яремчук Ніна Антонівна, Національний технічний університет України «Київський політехнічний інститут», завідувач кафедри інформаційно-вимірювальної техніки.

Офіційні опоненти: гомоморфний шкала коефіцієнт

доктор технічних наук, професор Щербак Леонід Миколайович, Національний авіаційний університет, професор кафедри інформаційно-вимірювальних систем,

кандидат технічних наук, доцент Маловик Костянтин Миколайович, Севастопольський національний університет ядерної енергії і промисловості, керівник навчально-наукового інституту нанотехнологій інформаційно-вимірювальних та спеціалізованих комп'ютерних систем в енергетиці.

Захист відбудеться «12» грудня 2011 р. о 1400 годині на засіданні спеціалізованої вченої ради К 26.002.20 в Національному технічному університеті України «Київський політехнічний інститут» за адресою: 03056, м. Київ, просп. Перемоги, 37, корп. 22, ауд. 316.

З дисертацією можна ознайомитись у бібліотеці Національного технічного університету України «Київський політехнічний інститут» за адресою: 03056, м. Київ, просп. Перемоги, 37.

Автореферат розісланий «___» листопада 2011 р.

Учений секретар спеціалізованої вченої ради А.М. Ковальчук

Загальна характеристика роботи

гомоморфний шкала коефіцієнт

Актуальність теми. За теперішнього часу існує багато практичних задач, в яких виникає необхідність оцінки, порівняння і вибору складних об'єктів (кваліметрія, прийняття рішень, оптимальний вибір). Такі задачі вирішуються при створенні нової техніки, проектуванні складних систем, кількісній оцінці якості продукції, побудові вирішальних правил, оцінюванні ефективності різних процесів, управлінській діяльності, оцінюванні учбових досягнень. При вирішенні таких задач визначають загальну оцінку якості складного об'єкту (СО) за сукупністю його характеристик (показників) або властивостей.

Класичний варіант побудови узагальненого показника (УП) якості СО полягає у визначенні вектора вхідних характеристик (властивостей) з можливістю завдання нормуючих функцій, синтезуючої функції і вектора вагових коефіцієнтів, що характеризують значущість окремих показників. Складність вирішення такої формалізованої задачі на практиці обумовлена різнорідністю властивостей СО, що можуть відображатися за різними шкалами і різними процедурами (вимірювання, спостереження, експертне оцінювання, тестування тощо), багаточисельністю властивостей і різноманітністю відношень між ними. Тому вирішення такої наукової задачі на базі використання шкал порядку є актуальною з точки зору забезпечення метрологічної зіставленості різнорідних даних і забезпечення вимог метрологічної простежуваності.

Крім того, як вважають автори праць з оцінки якості складних об'єктів, вибір функцій і векторів, що визначають загальну оцінку СО утруднений на практиці тим, що формування УП зазвичай проходить за умов дефіциту інформації, коли має місце неоднозначність вибору функцій і невизначеність, яка викликана тим, що всі вказані компоненти задані з певною точністю до існуючої множини варіантів. Тому за теперішнього часу ставиться актуальна задача оцінювання невизначеності або точності узагальнених показників СО за конкретних умов, тобто в контексті конкретної задачі. В зв'язку з цим в роботі досліджуються два аспекти: перший - це відображення узагальненого показника СО відповідною шкалою порядку, другий - оцінювання невизначеності узагальненого показника СО відповідно до обраного варіанту його отримання.

Проведений аналіз наукових праць в області теорії вимірювань та теорії шкал виявив, що задача визначення властивостей СО, що подані за шкалами порядку, з оцінкою їх невизначеності, включаючи технічні, економічні й соціальні аспекти, займає особливе місце і є однією з найскладніших, до якої незмінно повертаються вітчизняні й закордонні фахівці. Дана задача не вирішена остаточно й лишається актуальною.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційне дослідження відповідає тематичному плану наукових досліджень Національного технічного університету України «Київський політехнічний інститут» (НТУУ «КПІ») при розробці комплексного проекту «Створення сучасного інформаційного середовища» № 2004-п «Розробка середовища розподілених віртуальних лабораторій для освіти і наукових досліджень з використанням мобільних технологій» (№ державної реєстрації 0107U002638, код КВНТД 658-u; 28.12.09), що проводилася в Науково-дослідному інституті експериментальної інформатики та метрології при НТУУ «КПІ», та при виконанні пілотного проекту «Дистанційне навчання для підготовки бакалаврів за напрямком 6.051001 «Метрологія та інформаційно-вимірювальні технології» (наказ НТУУ «КПІ» № 1-114 від 1 серпня 2005 року).

Мета і задачі дослідження. Основною метою дисертаційної роботи є дослідження особливостей гомоморфного відображення окремих та узагальнених властивостей СО шкалами порядку та розроблення підходів оцінювання їх невизначеності.

Для досягнення цієї мети в роботі вирішуються наступні задачі.

1. Аналіз особливостей застосування шкал порядку з урахуванням обмежень в перетвореннях і операціях з даними, що отримані з їх використанням.

2. Розроблення математичної моделі гомоморфного відображення узагальнених властивостей СО шкалами порядку і дослідження особливостей формування таких шкал з розробленням практичних рекомендацій до застосування.

3. Аналіз процедури оцінювання вагових коефіцієнтів при формуванні УП і розроблення підходів оцінювання їх невизначеності.

4. Розроблення рекомендацій щодо побудови УП (рейтингових оцінок) та обчислення УП з характеристикою невизначеності за умов подання даних за шкалами порядку.

5. Дослідження можливостей використання нечітких оцінок при відображенні властивостей СО шкалами квазіпорядку.

6. Розроблення підходів оцінювання невизначеності результату вимірювання за шкалою квазіпорядку.

Об'єкт дослідження - процес отримання характеристик СО за рядом його властивостей, зв'язок між якими є неявним, з використанням шкал порядку.

Предмет дослідження - побудова шкали порядку для відображення окремих та узагальнених властивостей СО з оцінкою невизначеності.

Методи дослідження. Основні положення системного аналізу та теорії вимірювань; методи багатокритеріального оцінювання, регресійного аналізу, теорія ймовірностей, математична статистика, теорія нечітких множин та методи експертного оцінювання.

Наукова новизна одержаних результатів дисертаційної роботи. На основі проведених досліджень отримано наступні результати.

Удосконалено класифікацію шкал порядку за наявністю певних відношень між проявами властивості, що дозволило сформулювати новітні підходи оцінювання невизначеності за різновидами шкал порядку.

Вперше використано відношення конгруентності як вирішальну ознаку при виборі виду комбінування властивостей СО, що забезпечує побудову моделі відображення СО з урахуванням відношень між властивостями і його шкали.

На основі аналізу умов гомоморфного відображення узагальнених властивостей СО шкалами порядку з різними способами комбінування (еквівалентними шкалами), вперше запропоновано математичну модель складного комбінування, що дозволяє одночасно враховувати наявність певного відношення порядку і відсутність відношення конгруентності в обмеженій області.

Розроблено підходи з обчислення невизначеності УП з використанням інтервального аналізу, нечітких L-R чисел, - зрізів нечітких чисел, що дозволяють отримати невизначеність УП за умов різнорідності вхідних даних і оцінок їх точності з урахуванням нормалізації вагових коефіцієнтів; розроблено практичні рекомендації із застосуванням цих способів.

Розроблено підходи до отримання вагових коефіцієнтів окремих властивостей (у відповідності зі шкалою порядку) як медіани оцінок експертів. Вперше винайдено залежність для оцінювання невизначеності медіани оцінок експертів за методом попарного порівняння, що дозволяє отримати оцінку невизначеності при малій кількості експертів, які приймають участь при визначенні цих вагових коефіцієнтів; розроблено таблиці для практичного застосування цього підходу, що можуть бути використані для інших застосувань медіани, як оцінки результату вимірювання.

Розроблено рекомендації з обчислення невизначеності за кількістю класів еквівалентності (для часткових показників) і за кількістю класів конгруентності (для УП).

Удосконалено залежність для оцінювання неузгодженості експертів при вимірюванні окремих властивостей за шкалою квазіпорядку, що дозволяє визначити кількість розрізнюваних градацій вербальної шкали порядку і квазіпорядку без використання арифметизації шкали.

Проаналізовано перехід від відображення узагальнених властивостей СО за шкалою порядку до їх відображення за шкалою квазіпорядку за умов поліморфізму процедури вимірювання, що дозволило отримати характеристики невизначеності даних за шкалою квазіпорядку, рекомендації з підвищення точності відображення та з подання і використання даних за шкалою квазіпорядку у вигляді нечітких чисел.

Запропоновано і розроблено спосіб порівняння вербальних шкал квазіпорядку з використанням матриці нечіткого відношення між градаціями шкал, що дозволяє наочно представити результат порівняння шкал і забезпечити можливість переведення отриманих оцінок від однієї шкали до іншої.

Практичне значення одержаних результатів визначається тим, що розроблено рекомендації та підходи з побудови шкал порядку як для окремих, так і для узагальнених властивостей СО та шкал УП; способи оперування даними, отриманими в цих шкалах з оцінкою невизначеності. При цьому використано винайдені залежності для оцінювання невизначеності вагових коефіцієнтів та оцінювання неузгодженості експертів при вимірюванні окремих властивостей; розроблено підходи до оцінювання невизначеності для даних, поданих за шкалами порядку.

Результати дисертаційної роботи впроваджено в методичних матеріалах ДП «Київоблстандартметрологія» (Акт про впровадження результатів дослідження від 26 травня 2010 року) та методиках оцінювання якості СО комплексного проекту «Створення сучасного інформаційного середовища» № 2004-п «Розробка середовища розподілених віртуальних лабораторій для освіти і наукових досліджень з використанням мобільних технологій» (державний реєстраційний № 0107U002638) (Акт про впровадження результатів дослідження від 21 жовтня 2010 року).

Матеріали з оцінювання вагових коефіцієнтів окремих властивостей і їх невизначеності, а також з обчислення невизначеності від нестабільності латентного параметру впроваджено в пілотному проекті «Дистанційне навчання для підготовки бакалаврів за напрямком 6.051001 «Метрологія та інформаційно-вимірювальні технології» (наказ НТУУ «КПІ» № 1-114 від 1 серпня 2005 року).

Рекомендації з опрацювання даних, поданих за шкалами квазіпорядку у вигляді нечітких чисел впроваджено у навчальний процес при розробці системи дистанційного навчання з індивідуальною траєкторією за дисципліною «Метрологічне забезпечення програмних засобів» (Акт про впровадження результатів дослідження від 10 листопада 2010 року).

Особистий внесок здобувача. Результати теоретичного аналізу та експериментальних досліджень, висновки та рекомендації, які представлено до захисту, одержані автором особисто.

У спільних публікаціях автором зроблено наступне: проведено визначення латентних параметрів - рівнів навченості, що визначаються за результатами неадаптивного та адаптивного тестування та розроблено алгоритм [1]; розроблено класифікаційну схему отримання рейтингових оцінок [3]; проаналізовано способи побудови рейтингових оцінок та їх подання [4]; розроблено блок 5, що відповідає за розрахунок УП за зв'язаним комбінуванням [6]; досліджено спосіб побудови «зв'язаного» комбінування [7]; проведено патентний пошук та складено формулу винаходу [8]; розроблено алгоритм переходу від рейтингової шкали до шкали квазіпорядку [9]; проведено порівняльний аналіз адитивного та мультиплікативного комбінування, а також проаналізовано змішану форму подання УП [10]; розроблено алгоритм переходу та проведено моделювання переведення оцінок в еквівалентних шкалах [11]; розроблено способи отримання прогнозованої оцінки за умов використання нечітких даних [14]; розроблено спосіб порівняння вербальних шкал квазіпорядку з використанням матриці нечіткого відношення [15]; розроблено класифікацію шкал порядку, отримано співвідношення для отримання нечіткої оцінки властивості СО за думками декількох експертів [16].

Апробація результатів дисертації. Наукові положення і результати дослідження доповідалися на IX Всеукраїнській науково-практичній конференції «Молодь, освіта, наука, культура і національна самосвідомість» 25-27 квітня 2006 р., Київ, Європейський університет; VIII Міжнародній науково-методичній конференції «Вища технічна освіта: проблеми та перспективи розвитку в контексті Болонського процесу» 21-22 вересня 2007 р., Київ, НТУУ «КПІ»; Всеукраїнській науково-практичній конференції «Проблеми забезпечення якості вищої освіти України в умовах інтеграції до Болонського процесу» 16-18 грудня 2009 р., Київ, КНУ ім. Т. Шевченка; ІХ Всеукраїнській науково-методичній конференції «Болонський процес: стан та перспективи розвитку вищої освіти в Україні» 18-19 листопада 2010 р., Київ, НТУУ «КПІ»; VIII Міжнародному науково-технічному семінарі «Невизначеність вимірювання: наукові, прикладні, нормативні та методичні аспекти (UM-2011)» 24-25 лютого 2011 р., Яремче. Результати досліджень доповідалися на наукових семінарах кафедри інформаційно-вимірювальної техніки НТУУ «КПІ».

Публікації. Основні положення дисертаційної роботи опубліковано у 16 наукових працях, з них: 6 статей у наукових фахових виданнях, затверджених ВАК України; співавтор 2 патентів України на корисну модель.

Структура та обсяг дисертаційної роботи. Дисертаційна робота складається зі вступу, чотирьох розділів, висновків, викладених на 150 сторінках друкованого тексту. Робота містить 18 рисунків, 32 таблиці, список використаних джерел зі 132 найменувань та додатки на 3 сторінках. Загальний обсяг дисертації 166 друкованих сторінок.

Основний зміст дисертації

У вступі обґрунтовано актуальність досліджень, сформульовані мета та завдання дослідження, наведені відомості про зв'язок роботи з науковими програмами, наукову новизну та практичну значущість роботи, апробацію та публікації результатів дослідження, їх впровадження.

У першому розділі на основі аналізу вітчизняних та закордонних літературних джерел наведено визначення СО як такого, що має певні характеристики та властивості, взаємозв'язок між якими є неявним, причому характеристики і властивості можуть бути різнорідними фізичними і нефізичними величинами. Крім того, СО може характеризуватися латентними (прихованими) параметрами. Оцінка якості СО може бути проведена як за профілем СО, тобто за сукупністю характеристик або властивостей, так і за комплексним, інтегральним, узагальненим показником. Узагальнені показники, що характеризують якість СО, формуються на основі об'єднання окремих показників, характеристик або властивостей СО. Їх використовують при прийнятті рішень про стан СО, оцінюванні якості продукції, оцінюванні рівня досягнень в навчанні тощо.

В дисертаційній роботі розглянуто питання використання шкал порядку як при вимірюванні окремих властивостей СО і оцінюванні їх вагових коефіцієнтів, так і при отриманні узагальнених показників СО.

Враховуючи те, що в межах одного типу шкали можуть мати різні властивості, запропоновано класифікувати шкали порядку на три різновиди: шкали порядку з відношенням еквівалентності та порядку; асоціативні шкали порядку, що є впорядкованими системами з частковим відношенням комбінування між інтервалами (наприклад, промислові шкали твердості, а в даній роботі - шкали УП та рейтингові шкали); шкали квазіпорядку з впорядкуванням сукупності класів еквівалентності (наприклад, чотирьохпозиційна шкала оцінювання учбових досягнень або шкала ECTS (European Credit Transfer System)).

В запропонованій класифікації враховано допустимі алгебричні операції з ординальними даними за відсутності відношення пропорційності результатів вимірювання або експертного оцінювання, що дозволило обґрунтовано обрати оцінки результатів вимірювання: для шкали порядку - медіану, для шкали квазіпорядку - відповідний клас еквівалентності, а за наявності «розсіювання» результатів за декількома класами еквівалентності - моду розподілу. Обрані відповідні характеристики невизначеності: для шкал квазіпорядку - ймовірність віднесення до певного класу еквівалентності або розмах за класами еквівалентності; для шкал порядку - розмах; для асоціативних шкал порядку - середнє квадратичне відхилення, тобто стандартна невизначеність та розширена невизначеність.

У другому розділі було проведено дослідження гомоморфного відображення окремих та узагальнених властивостей СО шкалами порядку на основі розробленої математичної моделі з використанням репрезентативної теорії вимірювань, що заснована на концепції не тільки метричних шкал, а й порядкових, а також найменувань. За визначенням СО охарактеризовано властивостями, де кожна з властивостей має відповідну множину проявів . Результатом об'єднання або комбінування проявів окремих властивостей є множина станів об'єкту, яку відображають як , де , а , де - декартовий добуток. Кожен стан визначають за - послідовністю проявів або кортежем , для якого . СО, як емпіричну систему з відношеннями, охарактеризовано кортежем:

(1)

де - множина властивостей; а - множина відношень між ними.

Вираз (1) є математичною моделлю об'єкту, прийнятою при дослідженні. Профіль СО , що відповідає стану СО, охарактеризовано множиною . Формальний опис СО наведено в роботі у вигляді ієрархічної структури або спрямованого графа, де кожний стан об'єкту визначено за комбінацією проявів властивостей. Для вимірювання УП або для вимірювання якості СО треба встановити відповідність між градаціями якості і значеннями УП за шкалою.

Формування шкали УП проведено на основі емпіричної підсистеми (1), прийнятих правил комбінування і числової системи , тобто <A, M, >. Так як шкала УП якості є впорядкованою множиною балів або умовних одиниць вимірювання, що відображають оцінки стану СО, то за своїм характером (при виконанні певних правил) її віднесено до шкали порядку з частковим відношенням комбінування інтервалів (асоціативної шкали).

Оскільки УП запропоновано визначати за ієрархічною структурою СО, то кожну властивість відображено її нормованим і зваженим значенням, які об'єднуються. Рівність зважених і нормованих значень властивостей свідчить про еквівалентність впливу різних властивостей на УП. Визначено, що для заміни прояву однієї властивості проявом іншої при формуванні УП потрібне більш обмежене відношення еквівалентності, а саме відношення конгруентності між властивостями СО. Еквівалентність проявів властивості свідчить (як і конгруентність) про співмірність (спільномірність) проявів властивості, а конгруентність ще й про їх взаємозамінність.

Так як при формуванні шкали в множині станів СО виділяють еквівалентні стани, що відповідають одним і тим же значенням УП, але різним профілям СО, то за однаковими значеннями УП ці стани є взаємозамінними або конгруентними. Встановлено, що елементами шкали УП є класи конгруентності. В роботі вперше використано відношення конгруентності як одну з вирішальних ознак при виборі виду комбінування властивостей СО. Так, якщо відношення рівності за числовими значеннями УП не відповідає відношенню конгруентності між проявами властивостей, гомоморфізм відображення станів об'єкту шкалою УП не виконується. При сумірних проявах властивостей відображення можна вважати приблизно гомоморфним, але якщо малі прояви однієї властивості не можуть компенсуватися більшими проявами іншої, це повинно враховуватися при виборі способу комбінування, а також при формуванні шкали УП. Тому при дослідженні шкал УП в роботі вирішувалися наступні задачі: визначення правил комбінування, нормалізація часткових показників (рейтингів), знаходження вагових коефіцієнтів, шкалювання УП, оцінювання невизначеності вимірювання УП. Було проаналізовано адитивне, мультиплікативне, змішане і «зв'язане» або складне комбінування.

Показано, що адитивне комбінування враховує вагові коефіцієнти окремих властивостей, але при цьому прояв однієї властивості може компенсувати відсутність прояву іншої, тобто воно забезпечує гомоморфізм відображення тільки при наявності відношення конгруентності. При відсутності відношення конгруентності між проявами властивості адитивне комбінування можна використати тільки за введенням додаткових умов, наприклад, відомі роботи, де використано коефіцієнт вето, що обмежує нижні границі часткових показників.

Показано, що мультиплікативне комбінування обмежує можливість компенсації одних часткових показників іншими, тому що чутливе до відносних змін часткових показників, але не дає можливості введення вагових коефіцієнтів, тобто воно забезпечує гомоморфізм відображення при рівнозначності часткових показників.

Доведено, що жодна з шкал (адитивного чи мультиплікативного комбінування) не може гомоморфно відобразити комплексні властивості СО за різних умов. Змішані і більш складні форми комбінування дозволяють більше наблизитись до гомоморфного відображення комплексних властивостей СО. Змішані форми комбінування є поєднанням адитивного та мультиплікативного комбінувань. До складних форм комбінування відноситься розроблена залежність так званого «зв'язаного» комбінування, що дозволяє одночасно враховувати наявність певного відношення порядку і відсутність відношення конгруентності в обмеженій області:

(2)

де , - корегуючі множники для отримання номінального значення за обраною шкалою; - вагові коефіцієнти; - часткові показники.

Однією з задач комбінування є визначення вагових коефіцієнтів, що найчастіше вирішується за експертним оцінюванням. Показано, що результати експертного оцінювання вагових коефіцієнтів можуть відрізнятися як за шкалою відображення (порядку чи метрична), так і за способом подання (точкові значення або границі можливих значень).

Відомі способи експертного оцінювання вагових коефіцієнтів окремих властивостей, що засновані на методі попарних порівнянь, де в практичних розрахунках обчислюють середнє арифметичне (значення вагового коефіцієнта) і середнє квадратичне відхилення (характеристика точності). Але ці операції не відповідають допустимим перетворенням для ординальних величин. Зважаючи на характер шкали, запропоновано обчислювати вагові коефіцієнти за медіаною

; ,, (3)

де - медіана ряду оцінок , отриманих від експертів; - кількість експертів; а характеристики точності (невизначеності) - за розмахом порядкових статистик, що відповідають довірчому інтервалу медіани.

Для обчислення номерів порядкових статистик (що характеризують розмах) , можна скористатися співвідношенням:

 та ), (4)

де - квантиль функції нормального розподілу для заданої ймовірності . Наведені залежності (4) не дозволяють отримати границі в області малих значень за наявності похибки заокруглення, яка виявляється значною при малій кількості . Саме цим обумовлено обмеження застосування залежності (4) границею . Як показали розрахунки, відстань між 4-ою та 12-ою порядковими статистиками навіть при відповідає інтервалу ймовірностей від 0,89 до 0,96 ( від 1,6 до 2,06). При зменшенні інтервал ймовірностей збільшується.

В зв'язку з цим було розроблено залежність, що дозволяє отримати ймовірність знаходження медіани між двома порядковими статистиками, що відповідають номерам , :

, (5)

де - неповна бета-функція.

Показано, що за залежністю (5) можна точно обчислити ймовірність при заданих номерах порядкових статистик, що є границями розмаху, тобто ймовірність, що відповідає розширеній невизначеності медіани. Так як таблиці неповних бета-функцій табульовано для великої кількості , тобто для вибірок з великим об'ємом, то для практичного застосування розроблено табл. 1, що дозволяє отримати ймовірності для розширеної невизначеності, заданої розмахом порядкових статистик при .

Розроблений підхід до оцінювання невизначеності медіани може бути застосований не тільки при визначенні вагових коефіцієнтів, а й при обробці даних, отриманих за шкалою порядку, якщо оцінкою результату вимірювання обрано медіану.

Таблиця 1 Ймовірності знаходження медіани в довірчому інтервалі, що заданий номерами порядкових статистик ( - для нижньої границі, - для верхньої границі)

Границі довірчого інтервалу для медіани	Кількість експертів
	3	4	5	6	7	8	9	10	11	12	13	14
,	0,75	0,88	0,94	0,97	0,98	0,992	0,996	0,998	0,999	1	1	1
,	-	-	0,63	0,78	0,88	0,93	0,96	0,98	0,988	0,994	0,997	0,998
,	-	-	-	-	0,55	0,71	0,82	0,89	0,93	0,96	0,98	0,987
,	-	-	-	-	-	-	0,49	0,66	0,77	0,85	0,91	0,94

При обчисленні часткових показників виходимо з наступного. Якщо часткові показники вимірюються за асоціативною шкалою порядку, тоді характеристикою невизначеності може бути середньоквадратичне відхилення, якщо за шкалою порядку, то - розмах класів еквівалентності градацій шкали.

Як приклад асоціативної шкали порядку розглянуто вимірювання латентного параметра СО - рівня навченості, що визначають за результатами тестування як відношення кількості правильних відповідей до загальної кількості завдань в тесті, і використовують при побудові УП - рейтингових оцінок. Для моделювання було обрано біноміальний розподіл і розподіл Пуассона з параметрами, що відповідають кількості незалежних випробувань при тестуванні або кількості градацій дискретної шкали порядку, і гіпотетичному рівню навченості. Отримано значення стандартної невизначеності, що залежить від довжини тесту або кількості класів еквівалентності.

Як приклад використання експертного оцінювання за шкалою порядку проаналізована ситуація, за якої оцінювання здійснюється у відповідності до формального відтворення шкали, коли розглянуті властивості (часткові показники) порівнюються з формальними еталонами, що відповідають градаціям шкали порядку.

Так як однією з головних характеристик шкали порядку при експертному оцінюванні є кількість розрізнюваних градацій або кількість класів еквівалентності, то в роботі проведено дослідження з визначення кількості цих градацій або класів. З літературних джерел відомо, що таку кількість можна отримати, виходячи з трудності експертного оцінювання і неузгодженості оцінок експертів, що визначається за відношенням площин під функціями приналежності перетину і об'єднання оцінок окремих експертів. Але така оцінка може бути використана для асоціативних шкал порядку і шкал порядку з відповідною арифметизацією. Для вербальних шкал порядку і шкал квазіпорядку потрібна оцінка ступеня неузгодженості, що побудована з використанням допустимих операцій з даними, отриманими від цих шкал. Тому винайдено формулу ступеня неузгодженості експертів:

, (6)

де - об'єднання ступенів приналежності до -ї градації шкали оцінок експертів; - перетин ступенів приналежності до -ї градації шкали оцінок експертів. При повній узгодженості думок експертів дорівнює нулю. Результати обчислень за залежністю (6) запропоновано використовувати для визначення кількості розрізнюваних градацій шкали.

Якщо оцінки часткових показників отримано без характеристик невизначеності, тоді для оцінки узагальненого показника запропоновано використати інформаційний підхід, за яким

, (7)

приймають як розширену невизначеність з рівнем довіри , де , - границі діапазону; - контрексцес приписаного розподілу; - кількість класів еквівалентності шкали.

Проведені дослідження дозволили отримати характеристики невизначеності вагових коефіцієнтів і часткових показників, що підлягають комбінуванню при формуванні УП. Показано, що вони можуть бути різними за поданням (стандартна невизначеність, розширена невизначеність, розмах за класами еквівалентності), за рівнем довіри, а необхідна інформація може бути недостатньою або зовсім відсутньою.

Розроблено підходи і практичні рекомендації з обчислення невизначеності УП з використанням інтервального аналізу, нечітких L-R чисел та - зрізів нечітких чисел, що дозволяють отримати невизначеність УП за умов різнорідності вхідних даних і оцінок їх точності з урахуванням нормалізації вагових коефіцієнтів. Для адитивного комбінування виду

,

де - метрика, що відображає УП СО за нормалізованими частковими показниками ; - коефіцієнт, що враховує можливість переходу до еквівалентних шкал за необхідністю; - вільний член рівняння (наприклад, при рейтингових оцінках - штрафні очки, бонуси).

Ілюстрація підходів обчислення невизначеності УП за умов різних форм подання невизначеності вагових коефіцієнтів і часткових показників представлена на рис. 1.

Визначено, що застосування інтервального аналізу дає завищену оцінку, особливо при великій кількості складових. Аналіз показав, що вплив первинного «розсіювання» вагових коефіцієнтів на оцінку сумарної невизначеності за умов нормалізації зменшиться в 1,5…2 рази. Тому розроблені підходи з застосуванням інтервального аналізу і пошуку звужених границь за умов нормалізації, що дозволяють більш точно обчислити сумарну невизначеність за умов «розсіювання» вагових коефіцієнтів.

На основі дій з нечіткими L-R числами (сума, добуток) було отримано залежності для обчислення параметра «розсіювання» гаусіани, що відображає сумарне нечітке число, і розширеної невизначеності УП з заданим рівнем довіри. Але слід зауважити, що в використаних співвідношеннях важко врахувати вплив нормалізації вагових коефіцієнтів. Це в свою чергу призводить до завищення оцінки розширеної невизначеності, що допустимо для розрахункових методів.

Рис. 1. Ілюстрація підходів обчислення невизначеності узагальненого показника

Проведено оцінювання невизначеності УП за інформаційним підходом, який можна застосувати у випадках, коли невизначеності окремих часткових показників і вагових коефіцієнтів невідомі. При обчисленні невизначеності за інформаційним підходом для УП запропоновано використати кількість класів конгруентності шкали, що визначає кількість розрізнюваних градацій шкали, яка за даних умов є незвідною системою.

Запропонована наступна послідовність визначення кількості розрізнюваних градацій шкали УП: обчислюється загальна кількість розрізнюваних станів СО за кардинальним числом множини, що визначається декартовим добутком розрізнюваних градацій шкал часткових показників (); визначається кількість еквівалентних станів , на основі чого визначається кількість класів конгруентності шкали УП або кількість розрізнюваних станів : .

У третьому розділі було проведено дослідження використання шкали квазіпорядку для оцінювання стану СО. Проведено аналіз переходу від відображення стану СО за шкалою порядку до його відображення за шкалою квазіпорядку при поліморфізмі вимірювальної процедури з оцінкою невизначеності за цими шкалами.

Для дослідження було обрано навчальну ситуацію, за якою для оцінювання знань студентів використано рейтингову оцінку зі стандартною невизначеністю латентного параметру, отриманою за біноміальним розподілом або розподілом Пуассона, що в свою чергу залежить від кількості класів еквівалентності. Метою дослідження обрано перехід до оцінки стану СО за дихотомічною шкалою квазіпорядку - «зараховано», «незараховано», чотирьохпозиційною вербальною шкалою - «незадовільно», «задовільно», «добре», «відмінно» і за шкалою ECTS () з оцінкою характеристик невизначеності.

Аналіз показав, що стандартна невизначеність від нестабільності латентного параметру за шкалою порядку в 2…3 рази перевищує невизначеність за інформаційним підходом, заснованим на кількості класів еквівалентності. Невизначеність результату за дихотомічною шкалою оцінювалася як ймовірність прийняття неправильного рішення, для вербальних шкал - за «розмитістю» оцінки, тобто за розмахом класів еквівалентності з обчисленням ймовірності віднесення до певного класу еквівалентності (див. рис. 2).

За результатами моделювання і розрахунків отримано характеристики невизначеності (розмах за класами еквівалентності з ймовірністю віднесення до певного класу еквівалентності) для чотирьохпозиційної шкали і шкали ECTS в залежності від кількості градацій попередньої рейтингової шкали (див. рис. 2). Показано, що для чотирьохпозиційної шкали при «розмитість» оцінки практично не виходить за межі одного класу еквівалентності, крім випадків, коли рейтингова оцінка близька до критеріального балу, що розділяє два класи еквівалентності. Тоді «розмитість» оцінки становить два класи еквівалентності. При збільшенні кількості градацій шкали квазіпорядку підвищуються вимоги до попередньої шкали порядку.

Розроблено послідовність дій для отримання характеристик невизначеності за шкалою квазіпорядку ECTS від нестабільності латентного параметру при апроксимації біноміального розподілу нормальним. Для цього на первинній рейтинговій шкалі визначено критеріальні бали , які відповідають градаціям шкали квазіпорядку. Обчислено ймовірності отримання результату вимірювання як певного класу конгруентності (еквівалентності) або градації шкали квазіпорядку за розробленими залежностями, що наведені на рис. 2.

На рис. 2 позначені: - функція нормального розподілу попередньої рейтингової шкали; - кількість градацій рейтингової шкали; - гіпотетичний рівень навченості за рейтинговою шкалою ; - кількість градацій шкали квазіпорядку.

Таким чином можна отримати дискретний розподіл невизначеності за класами конгруентності (еквівалентності) шкали квазіпорядку. Остаточне рішення, тобто результат вимірювання запропоновано визначати за модою цього розподілу. Розроблено рекомендації для отримання характеристики невизначеності як розмаху розподілу або «розмитості» оцінки за сукупністю класів конгруентності (еквівалентності), що відповідають певній ймовірності знаходження результату в межах встановленого розмаху, тобто .

Тип шкали квазіпорядку	Характеристика невизначеності	Спосіб визначення	Результат моделювання
Дихотомічна (наприклад, «зараховано», «незараховано»)	ймовірність правильного віднесення результату до певного класу еквівалентності	; , ; , де - критеріальний бал
Вербальна чотирьохпозиційна (наприклад, «незадовільно», «задовільно», …)	«розмитість» оцінки, тобто розмах за класами еквівалентності з ймовірністю віднесення до певного класу еквівалентності	;
Вербальна семипозиційна (наприклад, ECTS - «A», «B», «C»…)

Рис. 2. Ілюстрація подання характеристик невизначеності від нестабільності латентного параметру за шкалами квазіпорядку, отриманих моделюванням

В роботі прийнято . Тоді за межами розмаху залишається 5% розподілу, що відповідає його зрізаній частині. При виконанні цих рекомендацій класи конгруентності (еквівалентності), які отримали малі значення ймовірності, не зараховуються до розмаху, що підвищує стійкість оцінки невизначеності.

Тестування, що складається зі 100 або 200 запитань, не можна провести за один сеанс. Тому, за умов гомогенності тестів за складністю, можна поєднувати результати декількох тестувань на рівні складання УП (рейтингу) за асоціативною шкалою.

Показано, що для шкали ECTS при максимальна «розмитість» оцінки становить три класи еквівалентності. Для зменшення невизначеності при оцінюванні стану СО можна ще збільшувати , а зменшення пропорційне . Тому, навіть при , «розмитість» оцінок за шкалою ECTS в області критеріальних балів становила два класи еквівалентності. В таких ситуаціях запропоновано використовувати нечіткі оцінки стану СО, при формуванні яких розмах за класами еквівалентності є областю визначення нечіткої оцінки, а ступінь належності визначається за ймовірністю віднесення до певного класу еквівалентності. Фрагмент шкали з нечітким оцінюванням для наведено в табл. 2.

Таблиця 2 Фрагмент шкали з нечітким оцінюванням

Градації рейтин-гової шкали	Нечіткі оцінки за градаціями шкали квазіпорядку: , ,	Градації рейтин-гової шкали	Нечіткі оцінки за градаціями шкали квазіпорядку: , ,
0,86	{0|;0,56|;0,44|}	0,93	{0,16|;0,84|;0|}
0,87	{0|;0,67|;0,33|}	0,94	{0,26|;0,74|;0|}
0,88	{0,01|;0,77|;0,22|}	0,95	{0,41|;0,59|;0|}
0,89	{0,02|;0,85|;0,13|}	0,96	{0,60|;0,40|;0|}
0,90	{0,03|;0,90|;0,07|}	0,97	{0,81|;0,19|;0|}
0,91	{0,06|;0,91|;0,03|}	0,98	{0,96|;0,04|;0|}
0,92	{0,10|;0,89|;0,01|}	0,99	{1|;0|;0|}

В підрозділі 4.3 роботи наведено приклади і рекомендації з практичного використання нечітких даних, які отримані за шкалою квазіпорядку, в навчальних системах, що дозволяє зберегти отриману інформацію і використати її для цілей прогнозування учбових досягнень.

Як показав аналіз, універсальна рейтингова шкала є основою для побудови вербальних шкал успішності, але ці шкали відрізняються за критеріальними балами в різних навчальних закладах. Тому актуальною задачею є розробка способів порівняння вербальних шкал квазіпорядку і переведення оцінок з однієї шкали до іншої. Для встановлення співвідношення між вербальними градаціями шкал використано нормовані частоти потрапляння до різних вербальних градацій шкали квазіпорядку.

Запропоновано і розроблено спосіб порівняння вербальних шкал квазіпорядку за допомогою побудови матриці нечіткого відношення між вербальними градаціями шкал з урахуванням правил збереження порядку між класами еквівалентності і з використанням моди, як адекватної статистики для шкали найменувань. Наочно результат порівняння представлено у вигляді чіткого і нечіткого біграфа, що показано на рис. 3.

Размещено на http://www.allbest.ru/

Рис. 3. Ілюстрація способу порівняння шкал квазіпорядку: а) матриця нечіткого відношення; б) нечіткий та в) чіткий біграфи відповідності градацій вербальних шкал квазіпорядку, що порівнюються

Як було вже зазначено, одним зі шляхів збереження інформації, отриманої при переході від шкали порядку до шкали квазіпорядку, є оперування нечіткими даними, що характеризують стан СО. Нечіткі дані про стан СО є вхідними для систем опрацювання отриманої інформації. Запропоновано використати адекватну характеристику «вхід-вихід» цих систем за нечіткими відношеннями між градаціями вербальних шкал квазіпорядку на вході і виході системи.

Досліджено використання нечіткого відношення в системах для опрацювання даних, поданих за шкалою квазіпорядку. Проаналізовано способи побудови нечітких відношень за апріорними даними і за експертними оцінками з забезпеченням властивостей якісного відображення і чутливості. Чутливість нечіткого відношення проявляється (в навчальній системі) в відображенні вимог при вивченні певної дисципліни відповідними змінами функції приналежності нечіткої оцінки на виході за однієї і тієї ж функції приналежності нечіткої оцінки на вході.

У четвертому розділі розглянуті питання практичного впровадження результатів роботи. Як СО обрано систему метрологічного забезпечення окремих видів вимірювання в метрологічних організаціях. Ієрархічна структура СО і спосіб комбінування часткових показників (адитивний) були обумовлені заздалегідь. В роботі було вирішено задачу отримання УП якості цієї системи за асоціативною шкалою порядку і за шкалою квазіпорядку з оцінкою невизначеності за умов різнорідності вхідних даних і оцінок їх точності з урахуванням нормалізації вагових коефіцієнтів. Отримано оцінку розширеної невизначеності з використанням гаусових L-R чисел і - зрізів нечітких чисел. При застосуванні нечітких L-R чисел отримана оцінка завищена, тому що не враховано зменшення впливу «розсіювання» вагових коефіцієнтів при застосуванні їх нормалізації. При застосуванні - зрізів нечітких чисел використано розроблений алгоритм визначення границь вагових коефіцієнтів за умов їх нормалізації. Але застосування інтервального комбінування також призводить до завищення оцінки. Тому результати обчислення невизначеності УП, отримані двома способами, практично збігаються.

При обчисленні УП і його невизначеності для СО - віртуального навчального середовища, вирішена аналогічна задача, але для її виконання необхідно було побудувати ієрархічну модель СО і обрати спосіб комбінування. Відсутність відношення конгруентності між двома групами показників обумовила вибір змішаного комбінування, яке полягає в тому, що дві рівноцінні групи показників об'єднуються за мультиплікативним комбінуванням, а їх складові - за адитивним.

Вербальні шкали квазіпорядку з нечітким оцінюванням були впроваджені в навчальній системі з вибором індивідуальної траєкторії навчання. Для прогнозування індивідуальної траєкторії використано характеристику «вхід-вихід» як нечітке відношення, що отримане за експертними оцінками та подано матрицями переходу, і вхідну нечітку оцінку за шкалою квазіпорядку. Показано, що використання нечітких даних, отриманих за шкалою квазіпорядку, дозволяє зберегти інформацію про стан СО і використати її в навчальних системах.

Висновки

В роботі проведено дослідження особливостей процесу гомоморфного відображення окремих та комплексних властивостей СО шкалами порядку на основі математичної моделі СО. В результаті отримано рекомендації, що забезпечують удосконалення процесу відображення і дозволяють отримати оцінку невизначеності. Використання запропонованих підходів дозволяє обрати спосіб комбінування окремих показників і математичну модель УП. Розроблено підходи формування шкали УП і підходи оцінювання невизначеності за умов різнорідності окремих властивостей СО, їх шкал і відношень між ними, а також процедур експериментальної інформатики, що використовуються.

Наукові та практичні результати дисертаційної роботи полягають в наступному.

1. Удосконалено класифікацію шкал порядку за наявністю певних відношень між проявами властивості, що дозволило сформулювати новітні підходи до оцінювання невизначеності за різновидами шкал порядку.

2. Розроблено математичну модель гомоморфного відображення узагальнених властивостей СО шкалами порядку, де вперше використано відношення конгруентності як вирішальну ознаку при виборі виду комбінування властивостей СО, що забезпечує побудову моделі відображення СО з урахуванням відношень між властивостями і відповідної шкали.

3. Показано, що жодна з шкал з використанням адитивного чи мультиплікативного комбінування властивостей СО не може гомоморфно відобразити узагальнені властивості СО за різних умов. У зв'язку з цим запропоновано математичну модель складного комбінування, що дозволяє врахувати наявність певного відношення порядку та відсутність відношення конгруентності в обмеженій області.

4. Розроблено підходи отримання вагових коефіцієнтів окремих властивостей (у відповідності зі шкалою порядку) як медіани оцінок експертів; винайдено залежність для оцінювання невизначеності медіани при малій кількості експертів , що також при більшій кількості експертів дозволяє виключити похибку заокруглення, яка становить близько 10 %; розроблено таблиці для практичного застосування винайденої залежності, що можуть бути використані для інших застосувань медіани, як оцінки результату вимірювання.

5. Розроблено підходи і практичні рекомендації з обчислення невизначеності УП з використанням інтервального аналізу, нечітких L-R чисел та - зрізів нечітких чисел, що дозволяють отримати невизначеність УП за умов різнорідності вхідних даних і оцінок їх точності з урахуванням нормалізації вагових коефіцієнтів.

6. Проаналізовано перехід від відображення узагальнених властивостей СО за шкалою порядку до їх відображення за шкалою квазіпорядку за умов поліморфізму процедури вимірювання, що дозволило отримати характеристики невизначеності даних за шкалою квазіпорядку, рекомендації з підвищення точності відображення та з подання і використання даних за шкалою квазіпорядку у вигляді нечітких чисел.

7. Оцінено невизначеність від нестабільності латентного параметру і обмеженості класів конгруентності або еквівалентності (яка становить 2…3 класи еквівалентності), що дозволяє отримати оцінку невизначеності рейтингу за шкалами порядку і квазіпорядку в навчальних системах, розроблено рекомендації по застосуванню шкал з нечітким оцінюванням.

8. Винайдено залежність для оцінювання неузгодженості експертів при вимірюванні окремих властивостей за шкалою квазіпорядку, що дозволяє визначити кількість розрізнюваних градацій вербальної шкали порядку і квазіпорядку без використання арифметизації шкали.

9. Розроблено спосіб порівняння вербальних шкал квазіпорядку з використанням матриці нечіткого відношення між градаціями шкал, що дозволяє наочно представити результат порівняння шкал і забезпечити можливість переведення отриманих оцінок від однієї шкали до іншої.

Список опублікованих праць за темою дисертації

1. Способи отримання рейтингових оцінок / Сікоза О.М. // Наукові вісті НТУУ «КПІ». - 2007. - №5. - С. 68-76.

2. Аналіз переходу від рейтингової шкали до шкали квазіпорядку за умов поліморфізму / Яремчук Н.А., Сікоза О.М. // Наукові вісті НТУУ «КПІ». - 2009. - № 5. - С. 96-103.

3. Дослідження метрик побудови рейтингових оцінок / Н. Яремчук, О. Сікоза // Науково-виробничий журнал «Техніка і технології АПК». - 2009. - №2/жовтень 2009/. - С. 25-29.

4. Сікоза О.М., Редьога О.Ю., Яремчук Н.А. Аналіз функціонування системи з індивідуальною траєкторією навчання // Механіка гіроскопічних систем. - Київ, 2010. - Вип. №21. - С. 94-102.

5. Н.А. Яремчук, О.М. Сікоза. Побудова лінгвістичних шкал при експертному оцінюванні властивостей складних об'єктів // Системи обробки інформації. - Харків, ХУПС, 2010. - № 5(86). - С. 153-157.

6. О.М. Сікоза, Н.А. Яремчук. Обчислення невизначеності при експертному оцінюванні вагових коефіцієнтів // Системи обробки інформації. - Харків, ХУПС, 2011. - №1 . - С. 48-52.

7. Пат. u200806893 Україна, МПК G06Q 90/00, G06N 5/00. Пристрій для визначення рейтингових оцінок / Яремчук Н.А., UA; Сікоза О.М., UA; НТУУ «КПІ», UA. - № 36106; Заявл. 19.05.2008; Опубл. 10.10.2008, Бюл. №19.

8. Пат. u200900914 Україна, МПК G09B 7/00. Система дистанційного навчання / Яремчук Н.А., UA; Сікоза О.М., UA; Кельберг С.М., UA; НТУУ „КПІ”, UA. - № 42514; Заявл. 06.02.2009; Опубл. 10.07.2009; Бюл. № 13.

9. Дослідження способу побудови зв'язаного рейтингу / Н. Яремчук, О. Сікоза // Науково-технічний журнал «Техніка АПК». - 2008. - №11-12(листопад-грудень). - С. 26-29.

10. Циделко В.Д., Яремчук Н.А., Сикоза Е.Н. Использование адаптивного тестирования для повышения информативности и точности результатов оценивания уровня знаний при дистанционном обучении // Материалы I Международной научно-практической конференции «Наука и технологии: шаг в будущее - `2006» (20-31 марта 2006 года). Том 6. - Педагогические науки. - Белгород: Руснаучкнига, 2006. - С. 16-20.

11. Сікоза Олена. Використання адаптивного тестування при дистанційному навчанні // «Молодь, освіта, наука, культура і національна самосвідомість»: Зб. матеріалів IX Всеукр. наук.-практ. конф., Київ, 25-27 квітня 2006 р.; У 5-ти т. - К.: Вид-во Європ. ун-ту, 2006. - Т. 1(II). - С. 236-239.

12. Циделко В.Д., Яремчук Н.А., Сикоза Е.Н. Классификация способов получения рейтинга для оценивания уровня знаний при дистанционном обучении // Матеріали V Міжнародної науково-практичної конференції «Динаміка наукових досліджень - `2006» (17-28 липня 2006 року). Том 8. - Педагогічні науки. - Дніпропетровськ: Наука і освіта, 2006. - С. 3-9.

13. Ціделко В.Д., Яремчук Н.А., Сікоза О.М. Аналіз особливостей побудови рейтингових оцінок // VIII Міжнародна науково-методична конференція «Вища технічна освіта: проблеми та перспективи розвитку в контексті Болонського процесу» (21-22 вересня 2007 року): Тези доповідей. - К.: ВПК «Політехніка», 2007. - С. 77-79.

14. Сікоза О.М., Яремчук Н.А. Аналіз переведення оцінок в еквівалентних шкалах на основі нечітких відношень // Тези Всеукраїнської науково-практичної конференції «Проблеми забезпечення якості вищої освіти України в умовах інтеграції до Болонського процесу» (16-18 грудня 2009 року). - К.: Видавничо-поліграфічний центр «Київський університет», 2009. - С. 154-158.

15. О.М. Сікоза. Рекомендації з обрання правил комбінування для визначення узагальнених показників якості - рейтингів // Болонський процес: стан та перспективи розвитку вищої освіти в Україні [Текст]: зб. тез доповідей IХ всеукр. наук.-метод. конф., 18-19 листоп. 2010 р., Київ. Ч. 2. - К.: НТУУ „КПІ”, 2010. - С. 52-54.

16. О.М. Сікоза, О.Ю. Редьога. Особливості впровадження систем дистанційного навчання з індивідуальною траєкторією // Болонський процес: стан та перспективи розвитку вищої освіти в Україні [Текст]: зб. тез доповідей IХ всеукр. наук.-метод. конф., 18-19 листоп. 2010 р., Київ. Ч. 1. - К.: НТУУ „КПІ”, 2010. - С. 222-224.

Анотація

Сікоза О.М. Удосконалення відображення характеристик складного об'єкту шкалами порядку з оцінкою невизначеності. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.01.02 - Стандартизація, сертифікація та метрологічне забезпечення. - Національний технічний університет України «Київський політехнічний інститут», Київ, 2011.

В дисертації проведено дослідження особливостей гомоморфного відображення властивостей складного об'єкту шкалами порядку на основі розробленої математичної моделі складного об'єкту і формування на його основі узагальнених показників з характеристикою їх невизначеності; дослідження способів формування шкал порядку для визначення комплексних властивостей складного об'єкту з оцінкою невизначеності і способів оперування даними, отриманими в цих шкалах,. На основі проведеного дослідження вирішена важлива науково - практична задача визначення загальної оцінки стану складного об'єкту за сукупністю його окремих показників або властивостей з характеристикою невизначеності.