Big data - бібліотекар: можливості для України

Размещено на http://www.Allbest.Ru/

Київський університет імені Бориса Грінченка

Інститут журналістики

Кафедра бібліотекознавства та інформології

Big data - бібліотекар: можливості для України

І. Стамбол, к.і.н., доцент

Анотація

Мета дослідження. Проаналізувати розвиток технологій Великих даних та з'ясувати можливі інновації для українських бібліотек, пов'язані з цим напрямом.

Методологія дослідження ґрунтується на системному та структурному підходах, на методах порівняльного, логічного та структурно-функціонального аналізу, включаючи міждисциплінарний підхід.

Наукова новизна. Розкрито поняття та основні підходи Великих даних та відзначено можливості їх впровадження як додаткового завдання для бібліотечних працівників. Проаналізовано найновіші закордонні дослідження щодо реалізації проектів, заснованих на масивах великих статистичних даних. Відзначено роль бібліотек у обробці Великих даних та підходи, якими відзначаються західні бібліотеки у цьому контексті. Серед них виділено чотири основні концепції використання Big data, яких вже дотримуються багато бібліотек: бібліотека як місце зберігання і опису великих масивів даних; бібліотека як перетворювач наявних текстових ресурсів у формати, прийнятні для оброблення за методами Big data; використання статистичних масивів для поліпшення і оптимізації роботи самих бібліотек; створення і розвиток «робочого місця» - бібліотекар великих даних, що передбачає виконання певних завдань із застосування «data science». Крім того, запропоновано декілька можливих напрямів для інноваційної діяльності з даними для галузевих, районних, наукових та університетських бібліотек.

Висновки. Світовий досвід свідчить, що технології Великих даних вже більше п'яти років активно впроваджуються у бібліотеках і цей процес розвивається. Незважаючи на те, що підходи до Big data досить різноманітні, одним із найбільш перспективних напрямів є виокремлення обробки великих статистичних даних у окремий вид діяльності бібліотеки. В Україні такі впровадження теж абсолютно реальні за умови навчання бібліотекарів та оснащення програмним забезпеченням. Значення від такої інновації було б неоціненним, адже вітчизняні бібліотеки нарешті змогли б подолати технологічне відставання та пропонувати користувачам сучасні інформаційні послуги.

Ключові слова: Великі дані, бібліотеки, інновації, бібліотекар великих даних.

Annotation

Big data - librarian: opportunities for Ukraine

I. Stambol, PhD in Historical Sciences Associate Professor, Department of the Department of Library Studies and Informology, Institute of Journalism, Borys Grinchenko Kyiv University

Purpose of the article. To analyze the development of Big Data technologies and find out possible innovations for Ukrainian libraries related to this area.

Methodology of the research is based on systemic and structural approaches, on methods of comparative, logical and structural-functional analysis, including interdisciplinary approach.

Scientific novelty. The concepts and basic approaches of Big Data are revealed and the possibilities of their implementation as an additional task for librarians are noted. The latest foreign research on the implementation of projects based on arrays of large statistical data is analyzed. The role of libraries in Big Data processing and the approaches of Western libraries in this context are noted. Among them are four main concepts of using Big data, which are already followed by many libraries: the library as a place to store and describe large data sets; library as a converter of available text resources into formats acceptable for processing by Big data methods; use of statistical arrays to improve and optimize the work of the libraries themselves; creation and development of "workplace" - a librarian of big data, which involves the implementation of certain tasks in the application of "data science". In addition, several possible areas for innovation with data for industry, district, research and university libraries are proposed.

Conclusions. World experience shows that Big Data technologies have been actively implemented in libraries for more than five years and this process is still developing. Despite the fact that the approaches to Big data are quite diverse, one of the most promising areas is the separation of large statistical data processing into a separate type of library activities. In Ukraine, such implementations are also absolutely real, provided that librarians are trained and equipped with software. The value of such an innovation would be invaluable, as domestic libraries would finally be able to overcome the technological gap and offer users modern information services.

Keywords: Big Data, libraries, innovations, big data librarian.

Актуальність дослідження

Внаслідок розвитку інформаційних технологій і розповсюдження мережі Інтернет на сьогодні накопичуються велетенські статистичні дані, що можуть використовуватися з різною метою, але потребують нових підходів у обробленні. Це тисячі петабайт інформації, що в процесі еволюції інформаційного суспільства отримали власну назву, технологію обробки і застосування, які позначають визначенням Big data. Цей термін введено в науковий обіг ще у 2008 році доктором з інформатики університету Берклі Кліффордом Лінчем. Надалі термін отримав поширення в працях інших, переважно американських дослідників, і на сьогодні успішно побутує у вітчизняній науці [5, с. 163]. Сьогодні це поняття також досить часто згадується як новий напрям діяльності бібліотек, а спеціалістів, що працюють із подібними технологіями, називають «бібліотекарями великих даних».

Аналіз досліджень і публікацій. Незважаючи на те, що у світі технології обробки масивів великої статистичної інформацій все частіше пов'язують з бібліотеками, у вітчизняному науково-інформаційному просторі трапляються лише поодинокі згадки. Зокрема, в статті С. Назаровця і Є. Кулик побіжно згадується, що Великі дані, можуть стати частиною концепції «Бібліотеки 4.0.» [4]. Водночас є досить багато статей, присвячених технологіям та методам оброблення масивів інформації, зокрема, І. Онищенка, О. Верес, О. Захарової та інших. Закордонні публікації щодо ролі Великих даних у бібліотеках є досить різноманітними, і одна з них навіть містить огляд подібних публікацій - стаття Б. Блумер і Дж. Кентона, у якій проаналізовано 76 статей та розділено їх за предметом дослідження, зокрема на: Big data-менеджмент у бібліотеках, забезпечення бібліотекарів сервісами «великих даних», інформаційні статті про «великі дані» та можливості Big data тренувань для бібліотекарів [10]. Вони і покладені в основу даної статті.

Виклад основного матеріалу

інновація бібліотека великий статистичний даний

Великі дані як сукупність різноманітних способів обробки даних характеризуються трьома «V»: Volume (об'єм); Velocity (швидкоплиність та швидке оброблення); Variety (різноманітність) [5, с. 168]. Тобто велика кількість невпорядкованих даних має різну актуальність і зазвичай швидко поповнюється новими і різноманітними даними, які обробляються з певною метою. Прикладом доступних масивів даних можуть бути різні види повідомлень у соцмережах, показники гідрометцентрів, медичних закладів, різноманітних лабораторій, GPS-карт, банківських установ тощо.

На сьогодні існують сотні методів, що застосовуються для оброблення масивів інформації (Data science), які поділяють на основні групи: методи інтелектуального аналізу даних (Data Mining) (що дозволяє класифікувати, кластеризувати, асоціювати, з'ясовувати послідовність, прогнозувати, визначати відхилення, оцінювати, аналізувати зв'язки, візуалізувати і підбивати підсумки з досліджених даних); технології Text Mining (при роботі з неструктурованими текстами дозволяє класифікувати, кластеризувати, будувати семантичні мережі, здобувати феномени, факти, поняття, автоматичне реферування, створення анотацій, робити відповіді на запити, проводити тематичне індексування, пошук за ключовими словами, створення тезаурусів, проведення контент-аналізу); технологія MapReduce (розподілення даних на різних файлових системах та створення карти доступу до них); візуалізація даних (подання аналітики у формі графікі, діаграм тощо); інші технології досліджень (наприклад, мережевий аналіз, моделювання, краудсорсинг тощо) [1, с. 87-90].

Звичайно, вирішення завдань, пов'язаних із «Великими даними» неможливо без спеціального програмного забезпечення. Одним із поширених рішень є фреймворк (програмна платформа) Hadoop, створений Apache Sotware Foundation. Він дозволяє зберігати дані у доступному форматі завдяки використанню пов'язаних пристроїв зберігання даних та механізму MapReduce [3, с. 104]. Різні покоління фреймворків дозволяють легше пристосуватися до зберігання і оброблення даних, хоча їх використання потребує певного навчання.

Також робота з Великими даними потребує знань і розуміння мов програмування. Сьогодні в обробленні даних використовують переважно: R, Python, Scala і Java [2, с. 47]. Вибір мов також суб'єктивний і залежить від завдань та якостей користувача. Так, мова R розроблена для статистичних обчислень, тому володіє низкою якостей, що пришвидшують виконання статистичних завдань. Водночас Python, хоч і є повільнішим, але краще підходить для різних задач генерування: пре-процесінг даних, пост-оброблення результатів та ін. [2, с. 49].

Використання методів Великих даних часто приносить несподівані результати, які раніше було складно з'ясувати. Наприклад, одне з останніх досліджень у галузі туризму, із використанням доступної бази оцінок 25 тисяч гостей, що відвідали готелі Парижу, дозволило з'ясувати, що на їхні оцінки вплинуло місце і культура, до яких вони належать, адже ідеали чистоти і комфорту різняться у патерналістських, особистісно-орієнтованих чи колективістських суспільствах. Тому, за свідченням дослідників цих даних, і вважати однаковими оцінки від різних гостей є не зовсім справедливим [19, с. 7-10].

Виміри різноманітних показників ґрунтів та погодних умов, перетворені у статистичні звіти (це також частина «інтернету речей») називають «електронним ДНК» сільського господарства. Використання Великих даних веде до становлення нового «точного сільського господарства» із найменшими ризиками і найбільшою врожайністю [15, с. 10]. Такі ж можливості бачать дослідники в освітній галузі та медицині.

Технології Великих даних активно впроваджуються і в Україні. Так, вітчизняні медики опрацьовують дані, що накопичуються у нещодавно створеній системі баз даних «e-health», до якої входить інформація про більшу частину населення України [17]. За Великі дані як додатковий вид діяльності взялися корпорації, які вже давно на українському ринку інформаційних послуг. Зокрема, сьогодні постачальник послуг зв'язку «Київстар» пропонує послуги аналізу Великих даних та обіцяє створити «портрет клієнта», тобто надати характеристики типового користувача певною продукцією [9]. Поступово подібні послуги починають пропонувати й інші приватні компанії.

Але як щодо основної установи, яка вже кілька тисяч років забезпечує інформаційні потреби людства - бібліотек? Як стає зрозуміло зі сказаного вище, документ або інший одиничний носій інформації - це лише один із варіантів, який часто не може зрівнятися за інформативністю з масивними даними. Чи мають бібліотеки віддати цю функцію приватним установам, орієнтованим на комерційну роботу з Великими даними? Для науковців розвинених економік світу відповідь на це питання однозначне і посада «бібліотекар великих даних» вже трапляється серед запитів на спеціалістів від роботодавців.

Щоправда, ще на початку поширення Великих даних бібліотечна спільнота бачила своє завдання в іншому - у описі та каталогізації кожної одиниці даних. Зокрема, такі сподівання втілилися у домовленість між Бібліотекою Конгресу та Твіттером, за якою кожен допис у цій соціальній мережі мав би бути описаний і внесений у спеціальну базу даних бібліотеки. Проте після оголошення така робота не пішла далі, адже рівень інформації виявився у наступні роки просто велетенським [16].

Інший підхід - це бібліотека як один з центрів оброблення масивів даних. У цьому питанні варто виокремити кілька підходів. Один з них передбачає перетворення наявних у бібліотеках ресурсів на такі, що будуть доступні для оброблення за технологією Великих даних. Як приклад, - створення системи метаданих про книги у фондах Гарвардської бібліотеки [8, с. 4]. Інший варіант демонструє Бруклінська публічна бібліотека, яка використовує дані для покращення роботи самої бібліотеки та забезпечення працівників новими можливостями [8, с. 7].

Але найбільш перспективний і привабливий у контексті популяризації бібліотек варіант - робота бібліотекарів з Великими даними для вирішення суспільно-важливих (або й комерційних) завдань. Про такі можливості дослідники масово почали писати з 2015 року. Зокрема, бібліотекарям пропонувалося відслідковувати повідомлення у соціальних мережах і у такий спосіб допомагати, наприклад, юридичним фірмам слідкувати за їхньою репутацією [7, с. 196]. Більшість дослідників погоджуються, що бібліотекарі вже володіють потрібними знаннями для обробки даних, тому їм легше буде засвоїти і нові методи Великих даних [10].

Так, в одній з технічних бібліотек Австралії аналізуються геологічні та геофізичні показники, що отримуються в результаті судноплавства та діяльності енергетичного гіганта «Shell» [13]. Розроблені проекти для виконання подібних завдань із геопросторовими даними для наукових бібліотек США [14]. Академічні університетські бібліотеки можуть проводити прогностичні дослідження на основі масивів анкет студентів і визначати фактори, що впливають на їхню успішність. Проте приклади бібліотек США свідчать що такі дослідження найпростіше проводити в межах ґрантових проектів: так ліпше покривати фінансові витрати та можливо залучати сторонніх спеціалістів [18, с. 38-41].

Зважаючи на сказане вище можна спробувати визначити орієнтири у Big data і для українських бібліотек. Міжнародна федерація бібліотечних асоціацій (IFLA) опублікувала навіть методичні рекомендації, у яких пропонує чотири основних варіанти організації роботи з Великими даними у бібліотеці:

1) один бібліотекар (Solo librarian);

2) робоча група (Dedicated working group);

3) багатофункціональна команда (Multifunctional team);

4) спеціалізована команда (Specialised team) [6].

Який саме вид організації обрати має вирішувати, звісно, сама бібліотека залежно від завдань, які планується виконувати.

Зважаючи на структуру бібліотечної системи України та залежно від галузевої орієнтації бібліотек, вони могли б розширити коло послуг, базуючись на Великих даних. Зокрема:

1) Медична бібліотека - може розробляти інфографіку або інші продути на основі статистики медичних закладі, діагнозів, операцій, запитів на ліки тощо;

2) Сільськогосподарська бібліотека у поєднанні з даними інтернету може направляти фермерів щодо логістики, посівів, врожайності і т. д.;

3) Обласні та районні бібліотеки - могли б поширювати безліч цікавих інфографік місцевого значення, працювати із запитами щодо окремих тем або співпрацювати з малим та середнім бізнесом, створюючи потрібну для цієї сфери статистику або прогнозування;

4) Педагогічні бібліотеки - можуть опрацьовувати кількісні показники оцінювання і перенацілювати педагогічні ЗВО на певні напрями посилення викладання, визначати тенденції, зміни підходів тощо;

5) Університетські бібліотеки - можуть продукувати аналітику щодо популярних у світі курсів та професій, зайнятості молоді, сприяти студентським стартапам, формулювати запит на громадську діяльність та ін.;

6) Будь-яка бібліотека може співпрацювати з науковою установою в межах грантів, виконуючи певні завдання в напрямі аналітики Великих даних.

Зрозуміло, що використання методів Big data вимагає від бібліотекарів нових знань, зокрема у програмуванні та статистиці. Тому одним із першочергових завдань для впровадження нового напряму бібліотечної діяльності є освітні програми. Поки такі не з'явилися у закладах вищої освіти, можна проводити спеціальні тренінги по навчанню технології «Великих даних» для бібліотекарів. Прикладом таких тренінгів можуть бути організовані практикуми від Гарвардського університету [11]. Школа бібліотекознавства та інформаційних наук університету Іллінойсу у США пропонує студентам та вже працюючим спеціалістам декілька курсів по теорії та практиці «data science», візуалізації даних і ресурсам «відкритих даних», а також досить модерний курс «data science storytelling», що поєднує технології Великих даних зі створенням та презентацією «історій» [12].

Висновок

Підсумовуючи, варто відзначити, що світовий досвід свідчить, що технології Великих даних вже більше п'яти років активно впроваджуються у бібліотеках і цей процес буде розвиватися. Незважаючи на те, що підходи до Big data досить різноманітні, одним із найбільш перспективних напрямів є виокремлення обробки великих статистичних даних у окремий вид діяльності. В Україні такі впровадження теж абсолютно реальні за умови навчання бібліотекарів та оснащення програмним забезпеченням. Значення від такої інновації було б неоціненним, адже вітчизняні бібліотеки нарешті б змогли подолати технологічне відставання та пропонувати користувачам насправді сучасні інформаційні послуги.

Список бібліографічних посилань

1. Верес О.М. Класифікація методів аналізу Великих даних. Вісник Національного університету «Львівська політехніка». Інформаційні системи та мережі. 2017. №872. С. 84-92.

2. Гришанова І.Ю. Технологічні рішення для інтелектуального аналізу Big Data. Мови програмування. Проблеми програмування. 2018. №4. С. 4558.

3. Захарова О.В. Платформи великих даних. Основні задачі, властивості та переваги Проблеми програмування. 2019. №3. С. 101-115.

4. Назаровець С., Кулик Є. Бібліотека 4.0: технології та сервіси майбутнього. Бібліотечний вісник. 2017. №5. С. 3-14.

5. Онищенко І.М. Удосконалення методів обробки та зберігання даних за допомогою інструментів Big Data та MapReduce. Економіко-математичне моделювання соціально-економічних систем: Зб. наук. пр. Київ: МННЦІТС НАН та МОН України, 2017. Вип. 22. С. 159-178.

6. A concept data science framework for libraries.

7. Amy L. The Accidental Data Scientist: BigDataApplications and Opportunities for Librarians and Information Professionals. New Jersey: Information Today, Inc. 2015. 222 p.

8. Ball R. Big Data and Their Impact on Libraries. American Journal of Information Science and Technology. 2019. Vol. 3. №1. Pp. 1-9.

9. Big Data від Київстар.

10. Blummer B. Big Data and Libraries: Identifying Themes in the Literature / Barbara Blummer, Jeffrey M. Kenton. Internet Reference Services Quarterly. 2018. Vol. 23: 1-2, 15-40.

11. Erdmann C. Data Scientist Training for Librarians. Library and Information Services in Astronomy VII: Open Science at the Frontiers of Librarianship ASP Conference Series. 2015. Vol. 492, Pp. 31-37.

12. Graduate School of Library and Information Science at the University of Illinois [digital source].

13. Johnson V. Big Data, Small Library. Australian Library and Information Association National Conference. 2016. 38 p.

14. Kong N. Exploring Best Management Practices for Geospatial Data in Academic Libraries. Journal of Map & Geography Libraries. 2015. Vol. 11, Issue 2. Pp. 207-225.

15. Kuch D., Kearnes M., Gulson K. The promise of precision: datafication in medicine, agriculture and education. Policy studies. 2020. Pp. 1-20.

16. Library Of Congress Will No Longer Archive Every Tweet.

17. Ratushna K., Dobrova V, Popov O. Health research and big data in ukraine: perspectives and concerns. Value in health. 2019. Vol. 22. Pp. 767-768.

18. Travis T., Ramirez C. Big Data and Academic Libraries: The Quest for Informed Decision-Making. Portal-libraries and the academy. 2020. Vol. 20. Pp. 33-47.

19. Zhang P., Gerdes Jr JH, Meng F. The impact of national culture on hotel guest evaluation - A bigdata approach. International Journal of Tourism Research. 2020. (Pp. 1-1).

References

1. Veres, O. M. (2017). Klasyfikaciia metodiv analizu Velykykh danykh. [Classification of Big Data analysis methods]. Visnyk Nacionalnogo Universytetu "Lvivskapolitexnika". Informacijni systemy ta merezhi. 872, 84-92. [in Ukrainian].

2. Gryshanova, I. Y (2018). Tekhnologichni rishennia dlia intelektualnogo analizu Big Data. Movy programuvannya. [Technological features of Big Data analysis Programming languages]. Problemy Programuvannia, 4, 45-58]

3. Zaharova, O. V. (2019). Platformy velykykh danykh. Osnovni zadachi, vlastyvosti ta perevagy. [Big data platforms. Their main tasks, attributes and avantages]. Problemyprogramuvannia, 3, 101-115.

4. Nazarovets, S., Kulyk, Y (2017). Biblioteka 4.0: tehnologii ta servisy maibutniogo. [Library 4.0. Technologies and services of future]. Bibliotechni Visnyk, 5, 3-14. [In Ukrainian].

5. Onyshhenko, I. M. (2017). Udoskonalennia metodiv obrobky ta zberigannia danykh za dopomogoiu instrumentiv Big Data ta MapReduce. [Methods of data processing and storage improvement with the help of Big Data tools and MapReduce]. Ekonomiko-matematychne Modeliuvannia Socialno-ekonomichnykh System: Zb. nauk. pr. Kyiv: MNNCITS NAN ta MON Ukrayiny, 22, 159-178. [in Ukrainian].

6. A concept data science framework for libraries.

7. Amy, L. (2015). The Accidental Data Scientist: Big Data Applications and Opportunities for Librarians and Information Professionals. New Jersey: Information Today. [in English].

8. Ball, R. (2019). Big Data and Their Impact on Libraries. American Journal of Information Science and Technology. (Vol. 3. no. 1, 1-9).

9. Big Data від Київстар.

10. Blummer, B. (2018). Big Data andLibraries: Identifying Themes in the Literature. Internet Reference Services Quarterly. Barbara Blummer & Jeffrey M. Kenton. (Eds.) Vol. 23, pp. 1-2, 15-40).

11. Erdmann, C. (2015). Data Scientist Training for Librarians. Library and Information Services in Astronomy VII: Open Science at the Frontiers of Librarianship ASP Conference Series. (Vol. 492). [In English].

12. Graduate School of Library and Information Science at the University of Illinois [digital source].

13. Johnson, V. Big Data, Small Library. Australian Library and Information Association National Conference. 2016. 38 p.

14. Kong, N. (2015). Exploring Best Management Practices for Geospatial Data in Academic Libraries. Journal of Map & Geography Libraries. (Vol. 11, Issue 2, pp. 207-225).

15. Kuch, D., Kearnes M., Gulson K. (2020) The promise of precision: datafication in medicine, agriculture and education. Policy studies.

16. Library Of Congress Will No Longer Archive Every Tweet.

17. Ratushna, K., Dobrova, V. & Popov, O. (2019). Health research and big data in Ukraine: perspectives and concerns. Value in health. (Vol. 22, pp. 767-768).

18. Travis, T. & Ramirez, C. (2020). Big Data and Academic Libraries: The Quest for Informed Decision-Making. Portal-libraries and the academy. (Vol. 20, pp. 33-47).

19. Zhang, P., Gerdes, Jr JH & Meng, F. (2020). The impact of national culture on hotel guest evaluation - A bigdata approach. International Journal of Tourism Research. (Pp. 1-11).

Размещено на allbest.ru