Експертна оцінка як ключовий елемент процедури оцінювання ефективності діяльності наукових установ НАН України

Размещено на http://www.allbest.ru/

ДУ «Центр оцінювання діяльності наукових установ та наукового забезпечення розвитку регіонів України НАН України»

ЕКСПЕРТНА ОЦІНКА ЯК КЛЮЧОВИЙ ЕЛЕМЕНТ ПРОЦЕДУРИ ОЦІНЮВАННЯ ЕФЕКТИВНОСТІ ДІЯЛЬНОСТІ НАУКОВИХ УСТАНОВ НАН УКРАЇНИ

Артюшенко В. В., кандидат технічних наук,

старший науковий співробітник

Ступіна Л. В., кандидат геологічних наук,

старший науковий співробітник

Анотація

оцінка оцінювання науковий установа

У статті показано важливість процедури оцінювання ефективності діяльності наукових установ в цілому. Доведено, що основними підходами у процедурі оцінювання є кількісний та якісний підходи. Здійснено порівняльний аналіз використання кількісного методу оцінювання ефективності діяльності наукових установ з якісним (експертним) методом. Доведено, що підхід до визначення ефективності діяльності наукових досліджень має бути комплексним та ґрунтуватися як на експертних - якісних - оцінках, так і на кількісних - наукометричних та бібліометричних показниках. Визначено, що впровадження експертного оцінювання у загальну процедуру оцінювання ефективності діяльності наукових установ НАН України стимулюватиме розвиток нової моделі фінансування окремих підрозділів та установ НАНУ в цілому.

Ключові слова: оцінювання, ефективність діяльності, наукова установа, експертна оцінка, кількісний метод, категорії оцінювання.

Annotation

EXPERT ASSESSMENT AS A KEY ELEMENT OF THE PROCEDURE FOR EVALUATION THE EFFICIENCY OF SCIENTIFIC INSTITUTIONS OF THE NAS OF UKRAINE

Artiushenko Viktor, PhD, Senior Researcher, State Institution “Center for Evaluation of Activity of Research Institutions and Scientific Support of Regional Development of Ukraine of the National Academy of Sciences of Ukraine”, Kyiv,

Stupina Lada, PhD, Senior Researcher, State Institution “Center for Evaluation of Activity of Research Institutions and Scientific Support of Regional Development of Ukraine of the National Academy of Sciences of Ukraine”, Kyiv,

TThe article shows that the procedure for evaluating the results of the activities of scientific institutions is the most important mechanism for determining the results of the activities of scientific institutions in a number of world countries. The article shows the importance of the procedure for evaluating the effectiveness ofscientific institutions as a whole. It has been proven that the main approaches in the assessment procedure are quantitative and qualitative. A comparative analysis of the use of the quantitative method of evaluating the effectiveness of scientific institutions with the qualitative (expert) method was carried out. It is shown that the approach to determining the effectiveness of scientific research activities should be comprehensive and based on both expert - qualitative - assessments and quantitative - scientometric and bibliometric indicators. It was determined that the introduction of expert evaluation into the general procedure for evaluating the effectiveness of scientific institutions of the National Academy of Sciences of Ukraine stimulates the development of a new model offinancing individual divisions and institutions of the National Academy of Sciences of Ukraine as a whole. In addition, it has been proven that the implementation of the evaluation procedure stimulates the development ofa new model of financing academic units and institutions as a whole, which is an important step on the way to reform and further development of the Academy.

Key words: evaluation, activity efficiency, scientific institution, expert assessment, quantitative method, evaluation categories.

Постановка проблеми

Доцільність оцінювання результатів діяльності наукових організацій вже досить давно не є предметом обговорення провідними науковими спільнотами світу. Відійшло у минуле саме питання щодо того, чи можна взагалі виміряти та оцінити ефективність наукових розробок. Як результат, протягом останніх двох десятиліть у різних країнах світу було розроблено різні концепції оцінювання, зросла різноманітність застосованих методологій та нюансів проведення процедури оцінювання безпосередньо. Проте сформувались два основних підходи - кількісна оцінка та якісна (експертна) оцінка, кожен з яких має свої переваги та недоліки. Кількісна оцінка не враховує якість досліджень, погано відображає важливість результатів і, як наслідок, призводить до завищення показників. Інтегрування всіх показників в один комплексний індикатор не може повністю охарактеризувати рівень досліджень та ефективність діяльності установи, а бібліометричні показники дуже сильно залежать від культури цитування. Деякі країни використовують кількісний підхід, який частково або повністю базується на різних комбінаціях наукометричних показників; інші - спираються на експертну оцінку. Експерти при оцінюванні результативності також можуть враховувати кількісні показники. Якісна оцінка вимагає грошових витрат на оплату праці експертів та їх пересування до місця оцінювання, а також багато часу на свою реалізацію. Окрім цього, досить значною проблемою є суб'єктивізм фахівців-експертів, що викликає необхідність досить ретельного їх підбору. Проте ключовою та практично безальтернативною ланкою процедури оцінювання у переважній більшості розвинених країн є експертна оцінка.

Аналіз останніх досліджень і публікацій

Існування різних поглядів на процедуру оцінювання в цілому обумовлює те, що основні підходи до проведення експертного оцінювання у різних країнах теж мають як спільні риси, так і суттєві відмінності. Так, наприклад, у Франції Вища рада з оцінки досліджень і вищої освіти (HCERES), спираючись на європейські стандарти і рекомендації (ESG), пропонує дві взаємопов'язані послуги: зовнішню оцінку у вигляді експертного висновку та подальшу акредитацію установи за результатами цієї оцінки [1]. Для кожної установи, що оцінюється, формується спеціальна комісія згідно з її специфікою. До такого колегіального органу входять дослідники-спеціалісти у відповідній галузі, експерти з інших областей науки, а також представники державного і приватного секторів. Експерти, французькі та іноземні, обираються з існуючого переліку згідно з профілем діяльності установи та її особливостями. Наукову підтримку експертна комісія отримує від наукових консультантів, які є представниками дослідних установ, навчальних закладів, а також громадськості. Після ознайомлення зі звітом установи і візиту до установи експерти виносять колегіальне рішення за переліком основних показників: публікаційна активність, винахідницька діяльність, кількість зареєстрованих патентів та деякі інші, що враховують специфіку установи. Тобто, як зазначає HCERES, процес оцінювання здійснюється як з боку наукових консультантів (керівників) проєктів, які спеціалізуються у певній галузі науки, так і з боку груп експертів, які працюють колегіально.

Досить особливі риси притаманні системі експертного оцінювання, що склалася протягом останніх двадцяти років у Нідерландах. Оцінювання наукових установ у цій країні проводиться раз на шість років, водночас може оцінюватися як установа загалом, так і окремі її підрозділи. Рада установи пропонує дослідному підрозділу призначити кандидата на голову і членів комісії. Перед призначенням членів комісії рада знову має надати свій остаточний склад комісії до дослідницького відділу. Оцінювана дослідницька одиниця вказує, чи погоджується вона з радою директорів та чи буде комісія здатна адекватно оцінювати якість роботи підрозділу у цьому конкретному складі. У кінцевому підсумку комісія з оцінювання має оцінювати результати різних видів діяльності дослідницького підрозділу відповідно до трьох критеріїв і двох додаткових аспектів. Першим критерієм є якість дослідження. Комісія оцінює якість досліджень підрозділу і внесок, який робить дослідження у сукупність наукових знань. Комісія також оцінює обсяг результатів досліджень підрозділу (наукові публікації, інструменти і інфраструктуру, розроблені підрозділом, та інші). Другим критерієм є актуальність для суспільства. Комісія оцінює якість, масштаби і значимість вкладів, зроблених конкретним підрозділом в економічну, соціальну або культурну сферу життя країни. Йдеться про оцінку вкладів в областях, які сама дослідницька одиниця визначила в якості цільових. Третій критерій - «життєздатність» підрозділу. Комісія оцінює стратегію, яку дослідницька одиниця має намір переслідувати в майбутні роки, і якою мірою вона здатна виконати свої завдання в дослідженнях і суспільстві протягом цього періоду. У ньому також розглядаються управлінські та лідерські навички керівництва дослідницького підрозділу [2].

Система Research Excellence Framework (механізм національної оцінки якості досліджень у Великобританії) використовує процес експертної оцінки для всіх галузей науки за загальними критеріями і стандартами: оригінальність, значущість, вплив на економіку, довкілля та якість життя, «життєздатність» досліджень. Кожен з критеріїв має свій ваговий коефіцієнт у відсотках. Експерти - досвідчені вчені з Великої Британії та інших країн, які працюють у відповідній галузі. Експертні ради можуть проводити оцінку за різними схемами, але із забезпеченням національних стандартів [3].

В Італії оцінювання наукової діяльності проводить Національне агентство з оцінки університетів і досліджень (ANVUR). В країні використовується два підходи до оцінювання досліджень: інтегрована система з використанням бібліометричних показників WoS/Scopus та оцінка, заснована виключно на експертному висновку [4]. Критика системи вказує, що ці два методи дають різні результати. Використання бібліометрії менш ресурсо-витратне і користується популярністю в деяких галузях. Експертна оцінка проводиться з використанням спеціальних індикаторів - ясність та послідовність досліджень, економічна доцільність тощо - та враховує самооцінювання установи. Експерти обираються публічно зі спеціального реєстру, опираючись на їх компетенції та досвід.

Вирішальну роль у німецькій системі оцінювання відіграє бездоганна наукова і етична репутація експертів, намагання повністю уникнути конфлікту інтересів - експерти у жодному разі не мають бути пов'язані з інститутом, який вони оцінюють [5]. Мається на увазі не лише відсутність родинних зв'язків чи прямих наукових стосунків, а ще й відсутність спільних робіт чи участі у спільних проєктах. До складу комісії включають фахівців найвищого рівня з того чи іншого напряму. Взагалі, процедура оцінювання науково-дослідних установ у Німеччині базується на принципах, що спираються на основні положення Лейденського маніфесту - прозорість процедури та участь колективу установи в роботі експертної групи [6]. Інститути німецької Асоціації Лейбніца - всесвітньо відомого об'єднання німецьких науково-дослідних організацій - проходять експертну оцінку ефективності з інтервалом у 7-8 років. Методи, що використовуються в процесі оцінки, це - якісна оцінка експертною групою та бібліометричний метод. Дуже важливим моментом оцінювання є те, що результати оцінювання мають бути пов'язані з наданням бюджетного фінансування. Висновки роботи експертної комісії дуже важливі для подальшого фінансування установи. Характерною рисою роботи експертів є безумовна конфіденційність під час оцінювання. Після винесення вердикту всі учасники процедури оцінювання повинні дотримуватись абсолютної публічності і відкритості. Обговорення з урядом питання фінансування того чи іншого науково-дослідного підрозділу стає можливим тільки після того, як експертна група виносить свою оцінку. Отже, уряд не має можливості вплинути будь-яким чином на хід оцінки діяльності інституту експертною групою [5].

Вищенаведене свідчить, що підходи до експертної оцінки, яка є найважливішою складовою частиною процедури оцінювання, мають досить різноманітні риси навіть у країнах зі схожою науково-організаційною структурою. Слід зазначити, що у низці країн, які застосовують процедуру оцінювання, тривають постійні дебати про те, наскільки релевантні бібліометричні методи в оцінці діяльності інститутів. Це є наслідком того, що кожен науковий напрямок має свою передісторію та ряд суттєвих особливостей, так що мають відрізнятися і методи оцінки ефективності того чи іншого підрозділу, що займається тим чи іншим напрямком наукової діяльності.

Відокремлення невирішених раніше частин загальної проблеми

У низці європейських країн, у тому числі і в Україні, протягом останніх років були спроби використання виключно кількісного методу оцінювання. Проте аналіз результатів процедури оцінювання у переважній більшості країн показав, що найбільш ефективним є поєднання кількісного та якісного (експертного) методів. Виходячи з цього, визначення оптимального підходу до експертного оцінювання діяльності наукових установ є важливою проблемою.

Мета дослідження

Метою роботи є дослідження підходів до оцінювання результатів діяльності наукових організацій та особливостей експертної оцінки як ключового елемента процедури оцінювання в умовах структури Національної академії наук України.

Основний матеріал

Процедура оцінювання ефективності діяльності наукових установ НАН України була впроваджена в Академії у 2016 році рішенням її Президії. Оцінювання відбувається за методикою, яку було розроблено на основі методики оцінювання установ Асоціації Лейбніца з урахуванням особливостей вітчизняних наукових установ [7]. Задіяння такого механізму у масштабах найбільшої наукової структури країни було здійснене вперше. За минуле п'ятиріччя оцінювання пройшли 163 установи НАН України та 1175 їх наукових підрозділів. Участь в оцінюванні взяли 938 експертів, з яких 346 - позаакадемічні (представники наукових установ, що не входять до складу НАН України), в тому числі - 111 іноземні [8].

За «Методикою оцінювання ефективності діяльності наукових установ Національної академії наук України» (далі - Методика оцінювання), загальна процедура проходить три основні стадії [9]. На першій стадії за участю відповідних відділень НАН України створюються склади Експертних комісій (ЕК) за принципом відсутності конфлікту інтересів з установою, що оцінюється, та затверджуються Постійними комісіями за науковими напрямами (ПКНН) відповідних секцій НАН України. Кількісний склад Експертної комісії за Методикою оцінювання - мінімум п'ять експертів, два серед яких є представниками позаакадемічних структур, в тому числі іноземні фахівці. Експерти обираються, виходячи з їх професійних характеристик: знані фахівці відповідної галузі науки, представники бізнесу та промисловості. На другій стадії на підставі отриманих від ЕК матеріалів та їх аналізу, ПКНН готує презентацію про діяльність установи, де зазначає досягнення підрозділів та їх оцінку, а також оцінку установи в цілому. ПКНН передає до установи висновок ЕК, після ознайомлення з яким установа надсилає ПКНН свою заяву щодо цього висновку. Після отримання заяви ПКНН передає до Постійної комісії НАН України з оцінювання ефективності діяльності установ (далі - ПК НАНУ): висновок ЕК, анкету, пакет з оцінювання та заяву установи, презентацію ПКНН, проєкт звіту ПК НАНУ та рекомендації. На третій стадії процедури оцінювання на підставі отриманих від ПКНН матеріалів та їх аналізу ПК НАНУ розглядає проєкт звіту щодо оцінювання ефективності діяльності установи та після консультацій з ПКНН, затверджує його з поданням такого звіту та рекомендацій щодо подальшої діяльності установи до Президії НАН України.

Проведення експертної оцінки передбачає виконання низки обов'язкових елементів, що передбачені Методикою оцінювання: опрацювання анкетних матеріалів з визначенням пріоритетних показників, найбільш вагомих для оцінювання ефективності діяльності установи, візит до установи, проведення співбесід з представниками партнерських організацій та науковцями і, врешті-решт, складання висновку, що містить оцінку установи згідно з критеріями оцінювання. Оцінювання здійснюється за ієрархічним принципом: від розгляду анкетної інформації щодо результатів діяльності окремих підрозділів установи до оцінювання установи в цілому.

Робота ЕК дозволяє враховувати індивідуальну думку кожного з експертів та в результаті отримати об'єктивну оцінку установи. Участь ЕК у процедурі оцінювання установ НАН України складається з семи основних етапів (рис. 1).

Одним з найважливіших елементів процедури оцінювання є формування експертних комісій. До складу ЕК для оцінювання конкретної установи входять експерти - фахівці за науковими напрямами діяльності установи. Велике значення мають наукова репутація ученого, авторитет та повага серед своїх колег, а також рекомендації колег щодо можливості включення до експертної комісії. Відповідно до Методики оцінювання НАНУ, умовою для зарахування експерта до комісії є відсутність конфлікту інтересів експерта з установою. При визначенні потенційного конфлікту інтересів береться до уваги не лише відсутність родинних зв'язків чи прямих наукових стосунків типу керівник - аспірант, близьке наукове чи комерційне співробітництво. Враховується також пряма наукова або комерційна конкуренція та відсутність спільних робіт чи участі у спільних проєктах упродовж останніх п'яти років. Для запобігання конфлікту інтересів кожен експерт підписує бланк-згоду бути експертом з оцінювання діяльності конкретної установи, чим також підтверджує, що не має конфлікту інтересів відповідно до зазначених вище пунктів. Після візиту Експертної комісії за місцем оцінювання установа, що оцінюється, отримує одну з чотирьох категорій, визначених Методикою оцінювання. Ухвалення результатів здійснюється експертами на основі якісного аналізу інформації, що охоплює різні аспекти діяльності установи: відповідність кадрового складу (чи є оптимальним штатний розклад Установи та її підрозділів), її устаткування та фінансового забезпечення, кар'єрне зростання молодих вчених, характер співпраці на вітчизняному та міжнародному рівні (участь у міжнародних проєктах, конференціях, участь у діяльності керівних органів міжнародних наукових товариств), найвизначніші результати НДР стратегічні плани установи в цілому та її підрозділів. Кількісні показники - такі, як кількість працівників, задіяних у виконанні НДР, публікаційна активність, створення та комерційна реалізація об'єктів права інтелектуальної власності тощо, служать важливим доповненням до експертного аналізу.

Рис. 1 Етапи участі ЕК у процедурі оцінювання установ НАН України

Джерело: власна розробка авторів

На основі використання результатів оцінювання установ НАН України у 2016-2022 рр. розроблено механізм розподілу базового бюджетного фінансування, що стало однією з складових нової моделі фінансування наукової діяльності Академії. Ця модель враховує ефективність діяльності установ та необхідність пріоритетної підтримки конкурентоспроможних наукових колективів. Важливим компонентом цієї моделі є запроваджена у 2018 році бюджетна програма «Підтримка розвитку пріоритетних напрямів наукових досліджень» [10]. Впровадження цієї бюджетної програми дозволило, зокрема, надавати суттєву адресну підтримку науковим підрозділам, які за результатами оцінювання отримали найвищу категорію, забезпечити збільшення асигнувань на виконання найважливіших академічних програм і проєктів, запровадити нові форми підтримки робіт молодих дослідників.

Для забезпечення більшої об'єктивності при проведенні оцінювання особливо актуальним стає залучення незалежних іноземних експертів. Але вирішення цього питання потребує значних фінансових витрат (оплата відряджень, переклад на англійську мову пакету матеріалів для проведення оцінювання тощо). У сучасних умовах постійного недофінансування НАН України такі витрати стають неможливими. Вітчизняні та іноземні експерти проводять оцінювання на безоплатній основі. Одним із шляхів вирішення питання є залучення як міжнародних експертів представників наукової діаспори, які можуть брати участь в оцінюванні без оплати праці. Також для забезпечення незалежності експертів у межах Академії продовжується робота над створенням спеціальної бази експертів за напрямами та галузями наукової діяльності.

Висновки

Отже, дослідження розвитку ринку кредитних послуг України дозволяє констатувати Визначено, що експертна оцінка є основним методом, що застосовується у процедурі оцінювання - найважливішого механізму визначення результатів діяльності наукових академічних установ і чи не єдиним інструментом реформування існуючої системи НАН України. Використання методу експертної оцінки у першому п'ятирічному колі оцінювання діяльності академічних установ продемонструвало свою безумовну дієвість та значущість, сприяло створенню нової моделі фінансування академічних підрозділів та установ в цілому, що є важливим кроком на шляху реформування та подальшого розвитку Академії. Окремо слід зазначити, що пріоритетним завданням стає створення бази даних незалежних експертів і якнайшвидше введення її в дію, що сприятиме прозорості процедури оцінювання, її об'єктивності та неупередженості.

Список літератури

1. Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). Brussels, Belgium, 2015.27 р. URL: https://enqa.eu/wp-content/uploads/2015/11/ ESG_2015.pdf (дата звернення 23.02.2023).

2. The Strategy Evaluation Protocol 2021-2027. Publication of VSNU, KNAW and NWO. The Hague, March 2020. 47 p. URL: https://www.universiteitenvannederland.nl/files/documenten/ Domeinen/Onderzoek/SEP_2021-2027.pdf. (дата звернення 25.01.2023).

3. Pinar M., Unlu E. Evaluating the potential effect of the increased importance of the impact component in the Research Excellence Framework of the UK. British educational research journal. 2020. Vol. 46, No. 1, P. 140-160. (Eng.). https://doi.org/10.1002/berj.3572. (дата звернення .

4. Bando Valutazione della Qualita della Ricerca 2015-2019 (VQR 2015-2019). Decreto del Presidente del 25 settembre 2020. URL: https://www.anvur.it/attivita/vqr/vqr-2015-2019. (дата звернення 17.02.2023).

5. International Landscape Study of Research and Innovation Systems. Annex report - country profiles. UK, Technopolis group, July 2019. 162 p.

6. The Leiden Manifesto for research metrics. Nature, April 2015, vol. 520, pp. 429-431. URL: https://doi.org/10.1038/520429a. (дата звернення 17.02.2023).

7. Щодо методики оцінювання наукових установ НАН України. Постанова Президії НАН України від 03.02.2016 р. № 22. URL: https://newin.nas.gov.ua/legaltexts/corporate/Pages/ regulation.aspx?ffn1=ActID&fft1=Eq&ffv1=P-160203-22. (дата звернення 31.01.2023).

8. Єгоров І. Ю., Жукович І. А., Ступіна Л. В., Артюшенко В. В. Аналіз результатів оцінювання ефективності діяльності наукових установ НАН України в першому раунді оцінювання за період 2016-2022 рр. Вісник Національної академії наук України, 2022. № C. 79-89. URL: https://doi.org/10.15407/visn2022.11.079. (дата звернення 31.01.2023).

9. Артюшенко В. В., Ступіна Л. В. Оцінювання діяльності наукових установ НАН України як дієвий механізм реформування Академії. Інноваційний розвиток економіки: інфраструктурний та інвестиційний аспекти: матеріали міжнар. наук.-практ. конф., м. Запоріжжя, 26-27 лист. 2021 р. Запоріжжя, 2021. С. 32-37.

10. Богданов В. Л., Кубальський О. Н. Про концепцію розвитку Національної академії наук України на 2021-2025 роки. Вісник Національної академії наук України, 2021. № 12. С. 38-45. URL: https://visnyk-nanu.org.ua/ojs/index.php/v/article/view/190. (дата звернення.

References

1. Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG) (2015). Brussels, Belgium. Retrieved from https://enqa.eu/wp-content/uploads/2015/11/ ESG_2015.pdf.

2. The Strategy Evaluation Protocol 2021-2027. (2020). Publication of VSNU, KNAW and NWO. The Hague. Retrieved from https://www.universiteitenvannederland.nl/files/documenten/ Domeinen/Onderzoek/SEP_2021-2027.pdf. (accessed January 25, 2023).

3. Pinar, M., Unlu, E. (2020). Evaluating the potential effect of the increased importance of the impact component in the Research Excellence Framework of the UK. British educational research journal, 46, 1, 140-160. Retrieved from https://doi.org/10.1002/berj.3572. (accessed February 17, 2023).

4. Bando Valutazione della Qualita della Ricerca 2015-2019 (VQR 2015-2019). (2020). Decreto del Presidente del 25 settembre. Retrieved from https://www.anvur.it/attivita/vqr/vqr2015-2019. (accessed February 17, 2020).

5. International Landscape Study of Research and Innovation Systems. Annex report - country profiles. UK (2019), Technopolis group.

6. The Leiden Manifesto for research metrics. Nature, April 2015, 520, 429-431. Retrieved from https://doi.org/10.1038/520429a. (accessed February 17, 2023).

7. Regarding the evaluation methodology of scientific institutions of the National Academy of Sciences of Ukraine. Resolution of the Presidium of the National Academy of Sciences of Ukraine dated February 2016, 3, 22. Retrieved from https://newin.nas.gov.ua/legaltexts/corporate/ Pages/regulation.aspx?ffn1= ActID&fft1=Eq&ffv1=P-160203-22. (accessed January 31, 2023). [In Ukrainian].

8. Yegorov, I. Yu., Zhukovych, І. А., Stupina, L. V., Artiushenko, V V Analysis of the results of evaluation of the efficiency of scientific institutions of the NAS of Ukraine in the first round of evaluation for the period 2016-2022 (2022). Visnyk of the National Academy of Sciences of Ukraine, 11, 79-89. Retrieved from https://doi.org/10.15407/visn2022.11.079. (accessed January 31, 2023). [In Ukrainian].

9. Artiushenko, V. V., Stupina, L. V Evaluation of the activities of scientific institutions of the NASU as an effective mechanism for reforming the Academy (2021). Innovative development of the economy: infrastructural and investment aspects. Materials of international science and practice conference, Zaporizhzhia. November, 26-27, 32-37. [In Ukrainian].

10. Bohdanov, V. L., Kubalskyi, O. N. (2021). About the concept of development of the National Academy of Sciences of Ukraine for 2021-2025. Visnyk of the National Academy of Sciences of Ukraine, 12, 38-45. Retrieved from https://visnyk-nanu.org.ua/ojs/index.php/v/article/view/190. (accessed February 06, 2023). [In Ukrainian].

Размещено на Allbest.ru