Оцінювання ефектів від впровадження проектів для українських ЗМІ у контексті європейської інтеграції

На даний момент активно здійснюється впровадження серії практичних тренінгів з цієї проблематики через реалізацію відповідних проектів, програм проектів та портфелівпроектів. Проте доволі часто такі проекти орієнтовані на обмежену цільову аудиторію чи реалізовуються лише у деяких регіонах України, що відповідно зменшує сферу їх охоплення. Розповсюдженою є також проблема однотипності завдань проектів в межах портфелів чи програм, що реалізовуються, а також виникнення труднощів у поширенні отриманих напрацювань на більше коло зацікавлених осіб, що працюють у сфері одного спрямування.

Аналіз останніх досліджень та публікацій. Тематика формування програм та портфелів проектів, що відображають особливості впровадження та якісного оновлення стандартів функціонування журналістики загалом, а також їх адаптованості до європейських нормативів зокрема, є без сумніву актуальною в сьогочасних умовах, проте ступінь її розробки є недостатній. Так, окремі питання цієї теми частково досліджуються у роботах Л. Агапової, Є. Вартанової, С. Виноградової, В. Гояна, В. Дончика, Ю. Єлісовенко, В. Іванова, С. Караванського, В. Качкана, С. Квіта, І. Куляса, В. Лизанчука, І. Мащенка, М. Недопитанського, Н. Нікітіна, В. Різуна, О. Сербенської, B. Соколова, Д. Теленкова, Л. Федорчука, О. Чекмишева, А. Яковця та ін. Натомість неохопленими в повній мірі залишаються питання оцінювання ефектів від впровадження проектів, програм проектів та портфелів проектів у аналізованій сфері.

Мета статті полягає у розробленні методики оцінювання ефектів від впровадження проектів та її апробації на прикладі проектів, орієнтованих на проведення навчальних тренінгів для українських засобів масової інформації за тематикою європейської інтеграції.

Виклад основного матеріалу. В цілому для оцінювання ефектів від впровадження проектів, програм проектів та портфелів проектів застосовуються різноманітні методологічні підходи, котрі полягають у визначенні ряду критеріїв оцінки та відповідної системи показників. При цьому, переважна частина дослідників у своїх наукових працях ототожнюють поняття "ефект" з поняттям "ефективність". Проте такий підхід є не зовсім коректним, виходячи зі змістовного наповнення цих наукових категорій.

У загальному розумінні, ефект є вимірюваним результатом, досягнутим внаслідок певних причин та/або дій. Натомість ефективність визначається відношенням ефекту до витрат, що забезпечили його отримання. Тобто поняття ефективності показує не сам результат, а те, якою ціною він був досягнутий. журналістика навчання кваліфікація соціальний

Актуальною проблемою оцінювання ефектів від впровадження проектів є вирішення завдань з визначення величини ефекту та ступеня його впливу на діяльність організації, яка його ініціює, зацікавлених сторін проекту та суспільства в цілому.

У науковій літературі зустрічаються різні точки зору щодо виду ефекту від впровадження проектів. Здебільшого здійснюється їх поділ на такі групи: 1) науково-технічний, економічний, соціальний, екологічний [1]; 2) ресурсний, фінансовий, економічний, науковий, технічний, соціальний, екологічний [2, 3]; 3) науково-технічний, економічний, соціально- політичний, екологічний, етнічно-культурний [4, 5]; 4) науковий, науково-технічний, технологічний, економічний, соціальний [6, 7]; 5) науково-технологічний, економічний, фінансовий, податковий, маркетинговий, ресурсний, екологічний, соціальний, регіональний та етнічно-культурний [8].

Виходячи зі змістового наповнення проектів, орієнтованих на проведення навчальних тренінгів для українських ЗМІ за європейською тематикою, та з огляду на їх особливості, для подальшого дослідження за основу оберемо підхід, який передбачає виділення технічного, ресурсного, економічного та соціального ефектів.

Розглянемо кожний з видів ефекту почергово та його змістове наповнення. Технічний ефект проекту відображається в прийнятих або впроваджених у технологіях технічних рішеннях, котрі, своєю чергою, відповідають вимогам інноваційного розвитку країни та сприяють її подальшому сталому розвитку; в перспективності проектних технологій; у визначеності груп зацікавлених осіб, на яких орієнтовані результати проекту. Ресурсний ефект проекту відображає вплив інновацій на обсяги використання певного ресурсу і подолання проблем його обмеженості або надмірно високої вартості. Економічний ефект визначається з врахуванням величини реальних грошових потоків проекту кожного учасника проекту. Соціальний ефект вимірюється внеском проекту у поліпшення умов життя зацікавлених осіб, а також враховує вплив результатів проекту на вирішення соціальних та інституційних проблем його цільової аудиторії.

Для оцінювання вищезазначених ефектів проведено вибірку проектів, які отримали фінансування від Міжнародного фонду "Відродження" протягом 2012-2013рр., і були орієнтовані на проведення навчальних тренінгів для українських ЗМІ за тематикою якісного оновлення стандартів функціонування журналістики, відповідно до європейських стандартів (табл.1).

Таблиця 1. Вибірка проектів 1, орієнтованих на навчання та підвищення кваліфікації українських ЗМІ за тематикою європейської інтеграції за 2012-2013рр.

Для згенерованої сукупності проектів проведемо оцінювання видів ефектів від їх впровадження з використанням методу експертних оцінок. Зауважимо, що наявність різних за своїм змістовим наповненням видів ефектів обумовлює необхідність формування єдиного методологічного підходу щодо визначення ваги кожного ефекту у співмірних одиницях, котрий надалі дасть змогу визначити сумарний ефект від реалізації проекту.

З метою отримання відповідних результатів було сформовано групу експертів з п'яти осіб, які провели відповідну роботу з оцінювання ефектів від реалізації проектів шляхом відзначення певною кількістю балів у діапазоні від 0 до 100 їх вагомості (табл. 2).

Таблиця 2. Розподіл оцінок експертів щодо ефектів проектів

Відтак фактично визначалось не лише те, наскільки певний ефект переважає над іншими, але й оцінювалось наскільки він вагоміший, на думку експерта, у бальному вимірі (табл. 3).Для обробки результатів роботи експертів значення оцінювання відповідних ефектів були проранжовані відповідно до тієї кількості балів, що попередньо були ними виставлені (табл. 3). Це дозволило обрати із аналізованої сукупності найвагоміші.

Таблиця 3. Обробка результатів експертного оцінювання ефектів проектів

Узагальнено ранжування здійснювалось за таким принципом: якщо кількість ефектів позначити як n, то у результаті їх ранжування кожен з них отримував оцінку x_ij, тобто ранг, що відповідає i -му ефекту відповідно до оцінок j -го експерта, причому значення x_ij належало до інтервалу від 1 до n. Відтак ранг ефекту, який був визначений як найвагоміший, апріорі одержував значення, що дорівнювало одиниці, найменш вагомий - n .

Таким чином, ранжування оцінок j -го експерта можна було представити у вигляді послідовності рангів x_1j, x_2j,...,x_nj.. Водночас рангова шкала, сформована в результаті ранжування експертних оцінок, відповідала умові рівності кількості рангів (N) кількості досліджуваних елементів, що підлягали ранжуванню (n). Якщо ж експерт давав однакову бальну оцінку відповідним ефектам, а відтак кількість рангів (N) не дорівнювала кількості досліджуваних елементів, що підлягали ранжуванню (n), ранги стандартизували, щоб забезпечити дотримання цієї умови. З цією метою загальна кількість стандартизованих рангів встановлювалась рівною n, а досліджувані елементи з однаковими рангами отримували стандартизований ранг, значення якого становить середнє від суми місць, поділених між досліджуваними елементами з однаковими рангами.

Враховуючи вищезазначене, на основі оцінок експертів отримано узагальнену інформацію щодо вагомості ефектів від впровадження проектів(табл. 3). Для подальшої обробки результатів було застосовано методи математичної статистики. Відповідно до поставленої мети вирішувались завдання узагальнення експертних оцінок в розрізі кожного з досліджуваних елементів, а також визначення ступеня узгодженості думок експертів.

Для формування узагальненої оцінки думок групи експертів використовувалось середньоарифметичне значення (), розраховане за такою формулою[10, c.114 - 115]:

(1)

де x_{j -} оцінка j -го експерта, m - кількість експертів.

Додатково проведено дослідження розсіювання і узгодженості оцінок експертів. У цьому контексті проведено розрахунок таких величин:

1) абсолютні показники варіації:

· варіаційний розмах (R_v):

(2)

де x_max та x_min - максимальна та мінімальна оцінки досліджуваного елемента відповідно [10, c.115].

· середньоквадратичне відхилення ()[10, c.115]::

(3)

2) відносний показник варіації - коефіцієнт варіації (V) [10, с. 115]:

4)

Для виявлення загальної узгодженості думок експертів розраховано коефіцієнт конкордації (W). Зауважимо, що для розрахунку коефіцієнта конкордації спершу слід визначати суму рангів для кожного з досліджуваних елементів, отриману від усіх експертів , а потім різницю між отриманою сумою та середньою сумою рангів. Відтак першочергово було розраховано суму квадратів відхилень (S) [11, с.205]:

(5)

Оскільки під час ранжування, проведеного на основі бальних оцінок експертів, виявились пов'язані ранги, додатково розраховано показник пов'язаних рангів (T_j):

(6)

де H_j - кількість груп рівних рангів при ранжуванні оцінок j -ого експерта; h_K - кількість однакових рангів в K-й групі пов'язаних рангів при ранжуванні оцінок j -го експерта [11, с.205].

В той же часкоефіцієнт конкордації (W) розраховувався за такою формулою:

(7)

Зауважимо, що коефіцієнт конкордації (W)може набувати значення на проміжку [0; і]. За повної узгодженості думок експертів значення коефіцієнта конкордації дорівнює одиниці, в разі цілковитої розбіжності - нулю.

Далі проведено оцінювання значущості коефіцієнта конкордації (W)шляхом апроксимації даних на основі z - розподілу Фішера:

(8)

(9)

де v₁ та v₂ - ступені свободи.

Після отримання фактичних значень z_ф, вони підлягали порівнянню з відповідними табличними критичними значеннями z_m, що наведені у спеціалізованій літературі [12] у вигляді таблиць z-розподілу Фішера відповідно до 1 % рівня значущості аналізованих вели- чин. Надалі експертні оцінки, отримані в розрізі дослідження, було упорядковано у зведений експертний висновок (табл.4).

Таблиця 4. Результати оброблення оцінювання ефектів проектів

Оцінювання значущості коефіцієнта конкордації (W) за z-розподілом Фішера (при 1% рівні значущості та ступенях свободи v₁ = 2,8 та v₂ = 28,2) дало змогу встановити факт узгодженості думок експертів.

Проведене дослідження показало, що протягом 2012-2013рр. найбільша питома вага в структурі ефектів від впровадження проектів, які своєю чергою були орієнтовані на проведення навчальних тренінгів для працівників українських засобів масової інформації з тематики якісного оновлення стандартів функціонування журналістики відповідно до європейських стандартів, виділялась соціальному ефекту.

Отримані результати підтверджують те, що проекти з розвитку рівня кваліфікації журналістської аудиторії були спрямовані на вирішення проблем їх цільової аудиторії, проте більшою мірою це були якісні показники - наявність перспектив подальшого співробітництва з іноземними колегами, підвищення рівня професіоналізму (досвіду, знань, умінь, навичок); пізнання специфічних особливостей якісного оновлення стандартів функціонування журналістики відповідно до європейських стандартів тощо.