Застосування методу експертних оцінок при розробці нормативних документів в галузі систем управління

Вступ

Вивчення, аудит та удосконалення моделей систем управління (СУ) завжди супроводжується наявністю значної частини суб'єктивізму у прийнятті рішень стосовно результативності та ефективності СУ.

Дійсно, параметри більшості СУ, особливо пов'язаних із чинниками соціальної відповідальності (системи екологічного керування [1], системи управління безпечністю дорожнього руху [2], системи енергетичного менеджменту [3], системи управління соціальною відповідальністю

[4] ), практично не можливо визначити об'єктивними методами вимірювання, чи контролю, тому суспільство і визнало можливість використання методу експертних оцінок при аналізуванні відповідності діяльності організації вимогам значної кількості стандартів. Система управління якістю (СУЯ) вищого навчального закладу (ВНЗ) також відносять до СУ, параметри яких визначити об'єктивними методами вимірювання та контролю досить складно, разом із тим актуальність впровадження даних систем значно зросла оскільки у контексті Болонського процесу, до якого Україна приєдналась у травні 2005 р., підвищення якості освіти розглядається як стратегічна мета кожного вищого навчального закладу. Отже перед кожним навчальним закладом постає проблема побудови навчального процесу у такий спосіб і у такому об'ємі, щоб підготувати фахівців, кваліфікація яких буде взаємно визнаватись країнами ЄС та розвиненими країнами світу. Очевидно, що досягнення мети взаємного визнання кваліфікації фахівців можливо лише за умови впровадження у закладах освіти сучасних систем забезпечення та управління якістю, побудованих в рамках концептуальних засад визнаних міжнародних стандартів

ISO серії 9000, досвід використання яких сприяв розвитку міжнародної торгівлі в останні десятиліття. Вітчизняні науковці вже мають позитивний досвід використання методу експертних оцінок при впровадженні СУЯ у ВНЗ [5, 6] . Зокрема за допомогою даного методу отримали систему показників, які характеризують кожен процес, а також оптимізували кількість показників, що дозволило розробити методичні підходи для оцінювання ключових процесів. Автор у використовує метод експертних досліджень в умовах ВНЗ для кількісного оцінювання якості послуг.

Яскравим прикладом подальшого розвитку вказаного методу є робота [7], у якій показана можливість його використання при дослідженні національної системи стандартизації України. Технічні комітети що розробляють стандарти фактично є групами експертів і можна сказати, що вимоги будь якого із стандартів що розробляються формуються також ґрунтуючись на думках, знаннях і переконаннях конкретних експертів даного технічного комітету. Такий підхід є досить результативним, коли вимоги стандартів виражені у будь-які чисельні значення норм параметрів, які в свою чергу отримані експертами за результатами комплексу експериментальних досліджень. Коли ми кажемо про вимоги стандартів у яких так чи інакше присутні вимоги до систем управління, головний принцип розробки стандартів це принцип консенсусу, очевидно підштовхує нас до необхідності врахування думок не тільки малої групи декількох авторів розробників стандарту, членів ТК, для того щоб остаточний текст стандарту і вимоги, що в цьому прописані був прийнятний для широкого кола користувачів зацікавлених сторін а не тільки подобався авторам. Особливо складно формувати вимоги стосовно систем управління в сфері соціальної відповідальності та освіти у зв'язку із відсутністю можливості чіткого вимірювання результатів функціонування таких систем.

Метою даної роботи є обґрунтування можливості застосування методу експертних оцінок при розробці нормативних документів щодо систем управління на прикладі стандартів, пов'язаних із чинниками соціальної відповідальності.

Відповідно до задачі дослідження проводилось оцінювання експертної думки шляхом анкетування. Під час організації та проведення процедури анкетування потрібно дотримуватися ряду загально відомих правил, які описані у [8, 9].

Важливою умовою швидкого отримання результатів обробки є застосування сучасного ліцензованого програмного забезпечення. За даним дослідженням значна кількість робіт із обчислення статистичної інформації проводилася за допомогою сучасного програмного забезпечення SPSSStatistics 17.0.0.

Враховуючи специфіку дослідження та значну географічну розрізненість експертів, найбільш доцільним є проведення віддаленого (заочного) анкетування шляхом відповіді на закриті питання наданої анкети.

Після вибору методу анкетування потрібно визначити експертів, думка яких повинна бути оцінена.

Механізм вибору експертів полягає у відборі організацій, які публічно заявили про свою СВ через програми, звіти, проведення різноманітних соціальних, культурних, освітніх заходів. Враховуючи повідомлення у засобах масової інформації, різноманітних спеціалізованих журналах, оцінюючи інформацію, приведену на офіційних Web-сайтах та інших джерелах інформації, було нараховано 171 організація, що підпадають під критерій соціально відповідальних організацій.

В Україні є кілька рейтингів, що визначають відповідність певної компанії критеріям СВ. Серед найпопулярніших рейтинг журналу «Гвардія» під назвою «Рейтинг соціально відповідальних компаній» [10-11], початком проведення якого став 2008 рік. Зазначене рейтингове видання виходить із періодичністю 1 раз на рік. Аналізуючи результати приведених рейтингів за останні 5 років, середня кількість соціально відповідальних організацій, які відповідають наведеним раніше вимогам щодо проведення оцінювання експертної думки склала 41,25.

Після відповідних розрахунків необхідна чисельність експертної групи складає 32,54.

Отож, для отримання результатів опитування експертної думки із заданою ймовірністю 0,954 кількість експертної групи має складати 33 експерта.

Для залучення відповідних організацій до експертної оцінки була розроблена опитувальна анкета та супроводжувальний лист.

Результати анкетування стосовно задоволеності існуючими нормативними документами у галузі СВ, який досліджувався, приведено на рис. 1.

Із результатів опитування стає зрозумілим, що існуючі нормативні документи з питань СВ не задовольняють 82,9% респондентів. Враховуючи це, виникає необхідність у розробленні нових нормативних документів, що мають охоплювати питання СВ.

Рисунок 1 Рівень задоволеності організацій нормативними документами з питань соціальної відповідальності. Так, задовольняють Ні, не задовільняють

Таким чином експериментально обґрунтували необхідність у розробленні нових нормативних документів, що мають охоплювати питання СВ фис 2). Так

Рисунок 2 Необхідність створення Національного стандарту з питань СВ

Кількість відповідей у %

На запитання про необхідність створення Національного стандарту України з регулювання питань СУСВ організації 77,1% респондентів відповіли схвально, а 22,9% не визначилися.

• Показовим є відсутність негативних відповідей із цього питання. Адже компанії, що не визначилися, очевидно відносно недавно почали займатися питаннями СВ або ще не мають єдиної думки з цього приводу. Виходячи з отриманих результатів рис. 1-2, створення Національного стандарту з розробки та сертифікації СУСВ є доцільним та обґрунтованим кроком. Цим же методом автор у [7] скористався для отримання інформації щодо:

• недоліків існуючих нормативних документів з питань СВ;

• критеріїв, за якими ці документи є незадовільними для організацій;

• етапів що мають формувати СУСВ;

• потреби у сертифікації СУ СВ;

• очікувань експертів щодо структури, вимог, побудови та застосування нового стандарту з питань СВ;

• основних питань, які мають бути охоплені національним стандартом із СВ.

Отримана інформація дозволила автору сформувати дані, на основі яких було сформовано наступні висновки:

- відповіді респондентів є узгодженими між собою, тому таке дослідження є валідним;

- підтверджена необхідність створення національного стандарту з питань розробки, впровадження та сертифікації СУСВ;

- розроблений стандарт із СВ буде використовуватися організаціями в своїй діяльності;

- організації очікують такий НД у галузі СВ, який дасть можливість розробляти, впроваджувати, інтегрувати та сертифікувати СУСВ.

• Отже проаналізувавши успішний досвід застосування методу експертних оцінок при розробці вимог проекту стандарту у галузі СУСВ, ми можемо зробити висновок про доцільність використання, запропонованого методу при розробці нормативного документу щодо СУ у специфічній освітній сфері, оскільки такий підхід дозволить набагато глибше проаналізувати проблеми, які виникають при впровадженні та використанні СУЯ у ВНЗ описані автором у [12] а саме:

• відсутність однозначно визначеної нормативно правової бази для чіткого розуміння і послідовної організації робіт по створенню системи управління якістю освіти у ВНЗ;

• недостатня кількість методичних посібників і рекомендацій по впровадженню принципів менеджменту якості в освітніх закладах;

• послаблення зв'язку із організаціями промисловості, і як результат ведення освітньої діяльності у відриві від реальних потреб сьогодення;

• недостатня кількість кваліфікованих менеджерів на середньому рівні управління ВНЗ;

• проблеми у сприйнятті викладацьким складом нових принципів управління;

• недостатня підтримка ВНЗ по впровадженню принципів менеджменту якості із сторони органів управління;

• недостатня кількість фінансових засобів для ефективного проведення змін і удосконалень своєї діяльності.

• Необхідність забезпечення якості вищої освіти в Україні визначено на законодавчому рівні. Прийнятий Закон України «Про освіту» [13] у 5 розділі описує вимоги до системи забезпечення якості вищої освіти (СЗЯ ВО), як такої, що складається із трьох підсистем:

• системи забезпечення вищих навчальних закладів якості освітньої діяльності та якості вищої освіти (система внутрішнього забезпечення якості);

• системи зовнішнього забезпечення якості освітньої діяльності вищих навчальних закладів та якості вищої освіти;

• системи забезпечення якості діяльності Національного агентства із забезпечення якості вищої освіти і незалежних установ оцінювання та забезпечення якості вищої освіти.

Національне агентство із забезпечення якості вищої освіти (НАЗЯВО)

• формування вимоги до СЗЯ вищої освіти;

• розроблення положення про акредитацію освітніх програм і подає його на затвердження центральному органу виконавчої влади у сфері освіти і науки;

• ведення реєстру сертифікованих експертів аудиторів СЗЯ;

• проведення ліцензійних та акредитаційних робіт;

• погодження стандартів СЗЯ.

Фактично в Україні, згідно із вимогами цього Закону, має бути побудована національна система забезпечення якості вищої освіти (СЗЯВО), що повинна базуватися на міжнародних принципах взаємного визнання результатів оцінки відповідності та якості навчальних послуг.

СЗЯВО має ґрунтуватись на розроблених національних стандартах освіти України, побудованих на основі стандартів і рекомендації щодо забезпечення якості вищої освіти у Європейському просторі, відповідно до запропонованої схеми функціонування рис. 3. Центральний орган виконавчої влади у сфері освіти і науки

• надання повноважень;

• затвердження стандартів ЗЯВО;

• видача ліцензій та атестатів акредитації на освітню діяльність на підставі позитивного експертного висновку Національного агентства із забезпечення якості вищої освіти.

Навчальні заклади вищої освіти

* проведення навчання у рамках вимог СЗЯ.

Орган з акредитації Європейського Союзу

проведення акредитаційних робіт та нагляду за органом сертифікації.

Навчальний центр підготовки експертів аудиторів СЗЯ навчання експертів-аудиторів НАЗЯВО; навчання внутрішніх аудиторів СЗЯ ВНЗ; розробка стандартів СЗЯ; розробка методичних матеріалів щодо впровадження стандартів СЗЯ; розробка стандартів СЗЯ; розробка методичної документації із впровадження СЗЯ

Орган сертифікації експертів аудиторів СЗЯ

• визначення вимог до експертів-аудиторів;

• встановлення вимог до навчальних програм

підготовки експертів аудиторів;

• сертифікація експертів аудиторів та навчальних програм

Рисунок 3 Загальна схема функціонування системи якості вищої освіти згідно вимог Закону України «Про освіту» 2014 року

Для експериментального обґрунтування необхідності розробки НД щодо СУ у ВНЗ автори використали метод експертних оцінок. З метою забезпечення належного функціонування схеми приведеної на рисунку У якості експертів вибрані сертифіковані аудитори системи УкрСЕПРО, які на протязі 2014 р. навчалися в ВСПІПК ОДАТРЯ.

Для експертної оцінки була розроблена опитувальна анкета. Усього на протязі 2014 р. отримали заповнених 38 анкет.

Необхідність розробки стандарту, що регламентував би вимоги до СУ ВНЗ, визначена за результатами анкетування, приведена на рис.4 Рисунок 4 Результати експертних оцінок необхідності розробки національного стандарту, що регламентував би вимоги до СУ ВНЗ

Обробка отриманих 38 анкет експертів показала, що 31 з них погоджуються із потребою побудувати модель СУ ВНЗ із визначеними параметрами, які дозволять проаналізувати діяльність ВНЗ на відповідність регламентованим вимогам, 7 експертів не визначились; проти не висловився жоден з експертів

35 із 38 експертів підтримали розробку НД, що надасть можливість розробляти, впроваджувати, інтегрувати та сертифікувати СУ ВНЗ. З експертів утрималось, жодного експерта проти.

Результати експертних оцінок щодо необхідності вдосконалення вітчизняної нормативної бази в сфері освіти шляхом розробки НД побудованих в рамках концептуальних засад визнаних міжнародних стандартів ISO серії 9000 приведено на рис. 6 Результати опитування щодо потреби у розробці НД, який дасть можливість сертифікувати СУ ВНЗ приведено на рис. 5

Рисунок 5 Результати експертних оцінок необхідності розробки НД, який дасть можливість сертифікувати СУ ВНЗ

Необхідність такого вдосконалення підтримали 37 експертів із 38, утримався 1 експерт.

Отримані дані експертних оцінок не охоплюють оцінкою всі зацікавлені сторони, оскільки таке опитування потребує значно більшої кількість часу, але дозволяють продемонструвати дієвість запропонованого методу, і рекомендувати його до використання під час отримання інформації від решти зацікавлених сторін.

Висновки