Цифровізація звітних процесів та процедур оцінювання в сфері науки

Размещено на http://www.allbest.ru/

Міжнародний Європейський Університет

ДП «Український науковий центр розвитку інформаційних технологій»

ЦИФРОВІЗАЦІЯ ЗВІТНИХ ПРОЦЕСІВ ТА ПРОЦЕДУР ОЦІНЮВАННЯ В СФЕРІ НАУКИ

Нестеренко О.В.,, Поліщук В.Б., Жарінов С.С.

Вступ

В умовах інтеграції науково-інноваційної системи країни до міжнародного дослідницького простору та активізації взаємовигідного науково-технічного та інноваційного співробітництва, діяльного розвитку принципів відкритої науки постійно актуалізується роль державної підтримки українських суб'єктів науково-технічної діяльності. Державна підтримка надається науковим установам (НУ) усіх форм власності, діяльність яких має важливе значення для науки, економіки та виробництва, у відповідності до Закону України про наукову і науково-технічну діяльність.

За умови проходження державної атестації та відповідного оцінювання відомості про НУ включаються до Державного реєстру наукових установ, яким надається підтримка держави (далі - Реєстр). Звітні процеси наукових установ та процедури їх оцінювання та реєстрації в Реєстрі підтримуються Міністерством освіти і науки України.

Однак, незважаючи на розвинене нормативне забезпечення науково-технологічної сфери в Україні, чимало дослідників звертають увагу, що його реалізація у частині актуалізації звітних процесів НУ і критеріїв їх оцінювання з метою державної підтримки залишається незадовільною [1 - 3]. Так, наприклад, у роботі [3] на основі аналізу існуючого ста вітчизняної практики оцінювання діяльності наукових установ у порівнянні із світовим досвідом зроблено висновки про ненадійність метрик оцінки діяльності та необхідність застосування експертних методів оцінювання, доповнених кількісними показниками. З іншого боку, поточний стан безпеки держави, її економіки, суспільства та динаміка в розвитку сучасних технологій вимагають періодичного перегляду критеріїв оцінювання НУ з метою орієнтації їх діяльності на стратегічні цілі держави та перспективні наукові напрями, а також покращення прозорості процесів оцінювання та підвищення об'єктивності його результатів.

Зазначені проблеми в даній предметній області, як і в багатьох інших, значною мірою пов'язані з багатокритеріальністю задачі, з інформаційним навантаженням та з проблемою підтримки діяльності експертів різних тематичних напрямів [4]. Для вирішення подібних задач зазвичай використовуються вебтехнології та системи підтримки прийняття рішень (СіПІР) на основі відповідних методів і моделей. Тому актуальним завданням має стати цифровізація звітних процесів НУ, процедур їх оцінювання та реєстрації, що передбачає використання відкритих офіційних баз даних і державних реєстрів з даними про діяльність НУ, оприлюднення результатів оцінювання для інституцій, які приймають участь у формуванні і проведенні державної політики у науково-технологічній сфері, та широкого наукового загалу [5, 6]. цифровізація оцінювання науковий установа

Виклад основного матеріалу

Питання оцінювання діяльності наукових установ постійно залишається в полі уваги фахівців і вчених в багатьох країнах світу, у тому числі й в Україні. В їх дослідженнях здійснюється пошук кращих методів, показників та критеріїв оцінювання, за допомогою яких можна було б отримати реальну оцінку ефективності наукової діяльності, зокрема йдеться про перевагу якісного (експертного) оцінювання перед кількісним оцінюванням.

Природнім є звернення уваги вітчизняних дослідників до закордонного досвіду оцінювання ефективності діяльності наукових установ, зокрема європейського. Одним з основних висновків таких студій є широке використання інформаційно-комунікаційних технологій [6, 7]. Разом із тим звертається увага на необхідність розробки нових методів оцінювання продуктивності суб'єктів наукової діяльності на основі моделей й інформаційних технологій як інструментарію для МОН й інших відомств у здійсненні управління науковою діяльністю, зокрема, раціонального розподілу фінансування досліджень із потенційно максимальною продуктивністю [8].

Розглядаючи приклади процесів оцінювання в європейських країнах та їх досвід у цій сфері можна відмітити, що, наприклад, у Польщі для отримання державної допомоги для фінансування фундаментальних досліджень, тобто на гранти для виконання проєктів, заявники заповнюють форми своїх пропозицій на спеціальній платформі ZSUN/OSF - інтегрованої системі послуг для науки, що використовується для реєстрації та обробки заявок. Оцінювання проводиться групами експертів, а результати оцінювання використовуються для прийняття рішень щодо фінансування проєктів.

У Франції оцінювання НУ проводиться в різних інституціях, але державна підтримка наукових установ здійснюється через Міністерство вищої освіти, досліджень та інновацій (MESRI). На їхньому веб-сайті можна знайти інформацію про підтримку наукових установ та дослідників.

В Італії існує декілька веб-сайтів та реєстрів, які надають інформацію про наукові установи та підтримку, яку вони отримують від держави. Один з таких веб-сайтів ведеться Міністерством університетів та досліджень (MIUR). Також і в Іспанії існує низка веб-сайтів та реєстрів, які надають інформацію про наукові установи, а також про державну підтримку, яку вони можуть отримати. Одним з основних джерел інформації про наукові установи та дослідницькі центри в Іспанії є Система наукової інформації про дослідження. Ця система включає веб-портал наукової інформації, де можна знайти інформацію про наукові установи, наукові проекти, публікації та інші наукові ресурси.

Оцінювання НУ в європейських країнах проводиться за допомогою різних методів та критеріїв. Ці методи можуть використовуватися окремо або в комбінації, залежно від контексту та цілей державної підтримки науки. Залежно від конкретної країни та її системи оцінювання науки можуть використовуватися різні підходи. Серед них передусім експертна оцінка, зокрема за допомогою експертної комісії або групи фахівців. При цьому установи можуть бути зобов'язані подавати регулярні звіти про свою діяльність та досягнення з самооцінкою. Цей підхід дозволяє отримати незалежну оцінку та сприяє обміну найкращими практиками.

Необхідно зазначити, що для підтримки прийняття рішень при проведенні оцінювання НУ активно використовуються інформаційні технології. Допомагають автоматизувати процес оцінювання та забезпечити більш об'єктивні результати системи електронного збору та аналізу великих обсягів даних, пов'язаних з дослідницькою продуктивністю, публікаціями, цитуваннями та іншими показниками наукової діяльності. Використання спеціальних веб-порталів та систем електронного звітування спрощує процес обміну інформацією між оцінювачами, оцінюваними установами та державними органами. Серед інформаційних технологій, що сприяють покращенню ефективності, точності та об'єктивності процесу оцінювання наукових установ та допомагають прийняти кращі рішення, є комп'ютерне моделювання та застосування аналітичних інструментів, які дозволяють проводити прогнозування, сценарний аналіз та оцінку впливу різних факторів на наукову продуктивність та якість досліджень [9].

У зв'язку із цим, як свідчить досвід європейських країн, для таких широкомасштабних застосувань вважається доцільним використовувати технологію національного порталу - так звані системи CRIS (Current research information systems) [10]. Такі системи є засобом подання наукової інформації з різних джерел в єдиному порядку, забезпечення навігації тематичними сайтами, узгодження контролю над процедурами для множини застосунків і баз даних. У відповідності до європейської практики в Україні також створюється подібна Національна науково-інформаційна система, що отримала акронім URIS, метою якої є збирання, формування, збереження, верифікація даних у сфері наукової діяльності та забезпечення доступу до них, а також автоматизація процедур та процесів взаємодії суб'єктів наукової діяльності та зацікавлених користувачів, що сприяє інтеграції вітчизняного сектору наукових досліджень та полегшує доступ до відкритої інформації про сферу науки [11].

У складі функціональних модулів цієї системи передбачено «Модуль проведення процедури реєстрації наукових установ, яким надається підтримка держави» (далі - Модуль). Його завданням є автоматизація процедур із заповнення заявок, анкет, звітів та інших документів щодо суб'єктів наукової діяльності. Можливості Модулю також передбачають забезпечення взаємодії відповідальних осіб МОН щодо визначення експертів для проведення експертизи поданих документів. Експерти проводять експертизу та вносять результати до відповідної форми висновку, підписуючи результати електронним цифровим підписом.

Державний реєстр наукових установ, яким надається підтримка держави, безпосередньо публікується у модулі «Портал реєстрів у сфері науки України».

Додатковим засобом до вищезазначених функціональних можливостей URIS є система підтримки прийняття рішень щодо власне оцінювання наукових установ, яка забезпечує вирішення достатньо складних задач експертного оцінювання в умовах багатокритеріальності та неоднозначності трактувань багатьох показників, що характеризують діяльність наукової установи. Основою такої СИПЕ є інтеграційна методологія експертного прийняття рішень (ІЕМ), яка включає експертні методи ранжування альтернативних варіантів для вирішення завдань різної інформаційної складності, зокрема метод схвального голосування (МСГ), онтологічне представлення даних предметної області для формування ієрархії та векторів критеріїв для оцінювання альтернатив в методах аналізу ієрархій (МАІ) та аналітичних мереж (МАМ), а також застосування теорії графів для оптимізації процесів експертної діяльності шляхом візуалізації парного порівняння альтернатив [4, 12, 13].

СППР на основі методології ІЕМ може бути застосованою безпосередньо при виконанні експертних процедур оцінювання ефективності діяльності наукових установ. При цьому у якості альтернатив розглядаються конкретні варіанти оцінок кількох експертів. Іншим напрямом використання СППР є періодичне поліпшення методики оцінювання ефективності діяльності НУ шляхом ранжування запропонованих експертами альтернативних варіантів показників, балів та критеріїв для оцінювання НУ.

На рис. 1 показано застосування СННР разом з середовищем URIS при виконанні експертних процедур вирішення проблем оцінювання НУ.

Рис. 1 Застосування СППР разом з URIS для вирішення проблем оцінювання НУ

Підтримка прийняття рішень при оцінюванні НУ відбувається за кількома етапами.

На першому етапі проводиться аналіз проблеми щодо оцінювання діяльності НУ групою експертів з використанням даних, які можна отримати, застосовуючи функціонал URIS, та узгодження спільного бачення експертів, зокрема щодо розробки альтернатив, визначення ієрархічної структури задачі та ін. Найбільш поширеним способом прийняття колективного рішення в експертних групах при вирішенні подібних спеціалізованих питань є голосування. З цілої низки існуючих методів в ІЕМ прийнято метод схвального голосування з модифікацією, за яким кожний експерт має право не лише підтримати одну або декілька пропозицій або утриматись від рішення, але й відхилити будь яку кількість альтернатив (голосування проти).

Далі експерти переходять до аналізу критеріїв, показників та інших даних щодо діяльності НУ. Для цього корисно побудувати загальну модель предметної області, яку дуже зручно подавати у вигляді бази знань на основі онтології, що наочно представляє сукупність концептів та відношень, притаманних даній предметній області.

Після проведення такої підготовчої роботи експерти порівнюють альтернативні оцінки наукових установ, використовуючи попарне порівняння їх важливості для кожного критерію з використанням методу аналізу ієрархій, який дозволяє проводити розрахунок ваг критеріїв і альтернатив, застосовувати метод синтезу на основі лінійної згортки на основі порівнянь, зроблених різними експертами. Найбільш трудомістким для експертів в МАІ є процес парного порівняння та заповнення відповідних таблиць. Для спрощення цих процедур пропонується їх візуалізація на орієнтовному графі з автоматичним заповнення таблиць.

Після розрахунку ваг критеріїв і альтернатив проводиться ранжування наукових установ залежно від їх загального балу, що враховується при прийнятті рішення щодо включення НУ до Реєстру. Необхідно зазначити, що при реалізації методики оцінювання ефективності діяльності НУ моделі, які відображають зв'язки між альтернативами і критеріями, можуть мати не ієрархічну, а більш складну - мережеву структуру. У цьому випадку доцільно використати метод аналітичних мереж, який є розвитком МАІ.

Висновки

Проведений огляд досвіду європейських країн свідчить, що оцінювання наукових установ, яке проводиться із застосуванням інформаційних технологій, суттєво впливає на ефективність науково-технічної діяльності. Цей чинник запропоновано реалізувати у вигляді Національної науково-інформаційної системи та спеціалізованої СППР, які доцільно використовувати при організації процесів оцінювання в сучасних умовах. Їх застосування сприятиме підвищенню об'єктивності, що базується на узгодженості рішень експертів, та забезпечується відносна простоту їх роботи.

Список використаних джерел

1. Одотюк І. Оцінка результатів наукової діяльності в Україні: нормативно-правовий аспект. Проблеми інноваційно-інвестиційного розвитку. 2012. № 3. С. 38-42.

2. Карпенко А. В., Будицька Ю. О. Теоретико-методичні основи оцінювання результативності наукової діяльності в Україні. Наукові праці Кіровоградського національного технічного університету. Економічні науки. 2017. №. 31. С. 51-57.

3. Єгоров І. Ю., Жукович І. А. Розвиток підходів до оцінювання результатів діяльності науково-дослідних установ. Наука та наукознавство. 2022. № 3(117). С. 36-50. https://doi.org/ 10.15407/sofs2022.03.036

4. Nesterenko O., Netesin I., Polischuk V., Selin Y. Multifunctional Methodology of Expert Evaluation Alternatives in Tasks of Different Information Complexity. Proceedings of 2021 IEEE 3rd International Conference on Advanced Trends in Information Theory (ATIT), 2021. Pp. 226-231. https://doi.org/ 10.1109/ATIT54053.2021.9678742

5. Артюхіна М.В., Дьогтєва І.О., Жарінов С.С. та ін. Цифровізація процесів управління розвитком міжнародного науково-технічною співробітництва. Актуал. пробл. економіки. 2022. № 6-7 (252-253). С. 6-19

6. Биков В., Спірін O., Білощицький А. та ін. Відкриті цифрові системи в оцінюванні результатів науково-педагогічних досліджень. Information Technologies and Learning Tools, 2020. 75. С. 294-315. https://doi.org/10.33407/itlt.v75i1.3589

7. Spirin O. M., Ivanova S. M., Luparenko L. A., et all. Experiment on the development of information and research competence of scientists and teachers on the basis of open electronic systems. Information technologies and learning tools, 2020. 80 (6). С. 281-308. https://doi.org/10.33407/itlt.v80i6.4201

8. Методи оцінювання продуктивності суб'єктів наукової діяльності: монографія / Білощицький А. О. [та ін.]. Київ: Компринт, 2021. 243 с.

9. Hobday A. J., Boschetti F., Moeseneder C., et all. Quantitative foresighting as a means of improving anticipatory scientific capacity and strategic planning. One Earth, 2020. 3(5). 631-644. https://doi.org/10.1016/ j.oneear.2020.10.015

10. Bittner S., Muller A. Social networking tools and research information systems: Do they compete? Proceedings of the ACM WebSci. Germany: ACM, 2011. P. 1-4.

11. Kalyuzhna N., Augunas S. Building Ukrainian Research Information System. 15th International Conference on Current Research Information Systems - Poster Submission, Dubrovnik, Croatia, May 12-14, 2022. https://dspacecris.eurocris.org/bitstream/ 11366/1992/1/Kaliuzhna-Auhunas_CRzS2022_Building%20UkrainianResearch-Information-System.pdf

12. Nesterenko O. Ontology and Analytic Hierarchy Process in the information and analytical systems // In book: Lecture Notes in Computational Intelligence and Decision Making. Chapter No: 19 / S. Babichev et al. (Eds.): ISDMCI 2020, AISC 1246, 2021. Pp. 302-314

13. Nesterenko O., Netesin I., Polischuk V., Selin Y. Graph-based decision making for varying complexity multicriteria problems. Computer Science Journal of Moldova, 2022, vol. 30, no. 3(90), 391-412. https://doi.org/10.56415/csjm.v30.21

Размещено на Allbest.ru