Експериментальне дослідження з вивчення впливу використання систем машинного перекладу змішаного типу на якість перекладу текстів у галузі декоративного садівництва

Размещено на http://www.Allbest.Ru/

Харківський національний університет імені В.Н. Каразіна

Факультет іноземних мов

Кафедра перекладознавства імені Миколи Лукаша

Експериментальне дослідження з вивчення впливу використання систем машинного перекладу змішаного типу на якість перекладу текстів у галузі декоративного садівництва

Ольховська А.С., д.п.н., професор

Левченко Л.В., Студентка

Анотація

Статтю присвячено вивченню впливу використання систем машинного перекладу змішаного типу Onlinedoctranslator та DeepL на якість перекладу текстів у галузі декоративного садівництва. В межах нашого дослідження якість перекладу вимірювалася шляхом вирахування кількості помилок та правильності відтворення галузевих термінологічних одиниць.

Машинний переклад постійно розвивається, ринок є дуже бурхливим та пропонує все нові системи, які поєднують декілька найперспективніших алгоритмів дії, проте важливим є встановлення ефективності систем машинного перекладу змішаного типу щодо перекладу текстів різних тематик, зокрема декоративного садівництва. У ході проведення експериментального дослідження ми сформулювали гіпотезу дослідження, обрали текст у галузі декоративного садівництва, насичений садівничою термінологією, обсягом більше 30 тисяч друкованих знаків без пробілів, уклали двомовний глосарій, що містить 200 термінологічних одиниць на основі обраного тексту та відібрали системи машинного перекладу змішаного типу (Onlinedoctranslator та DeepL), встановили процедуру оцінювання помилок, виділивши три ключові їх типи, провели аналіз текстів перекладу щодо правильності передачі основного змісту та в аспекті якості передачі термінології в галузі декоративного садівництва, провели кількісну обробку емпіричних даних, унаочнили отримані нами результати у таблицях, після чого провели інтерпретацію експериментальних даних й сформулювали висновки.

В результаті проведення експерименту підтвердилися гіпотеза, сформульована нами до початку проведення дослідження: різні системи машинного перекладу змішаного типу дійсно пропонують переклад одного і того самого тексту у галузі декоративного садівництва різної якості, яку ми відстежили за допомогою проведення визначення загального відсотку кількості помилок у кожному виконаному перекладі, а також за допомогою підрахунку відсотку правильності передачі галузевої термінології. За обома показниками кращі результати продемонструвала система машинного перекладу DeepL, а тому саме її доцільно рекомендувати для виконання перекладу текстів у галузі декоративного садівництва.

Ключові слова: галузь декоративного садівництва, експериментальне дослідження, машинний переклад, садівнича термінологія.

Annotation

Experimental study of the impact of using hybride machine translation engines on the quality of translation of texts in the field of ornamental horticulture

Olkhovska A., Dr Ped., Professor at Mykola Lukash Translation Studies Department of V.N. Karazin Kharkiv National University

The article is devoted to the study of the impact of using hybrid machine translation engines (Onlinedoctranslator and DeepL Translate) on the quality of translation of texts in the field of ornamental horticulture. Within our experimental study the quality of translation was determined by the number of errors and quality of rendering horticultural terminology. Machine translation is gradually evolving, the market is extremely active and proposes many new engines uniting most promising algorithms, but it is important to determine the effectiveness of hybrid machine translation engines in translating texts of various fields, especially in the field of ornamental horticulture.

In the course of conducting our research, we formulated a research hypothesis, selected a text in the field of ornamental horticulture rich in horticultural terminology and consisting of more than 30.000 printed characters without spaces, compiled a bilingual glossary based on the selected text, consisting of 200 terminological units, selected machine translation engines (Onlinedoctranslator and DeepL) and the procedure of evaluating errors, having distinguished three main types of mistakes, analyzed translated texts in terms of general quality and in terms of transferring horticultural terminology, processed the experimental data, represented the results in the form of tables providing an expert assessment of the empirical data and formulated conclusions.

In the process of conducting the experiment, the hypothesis formulated at the beginning of the research was confirmed: different hybrid machine translation engines offer translations of the same text in the field of ornamental horticulture of varying quality, which we tracked by determining the overall percentage of errors in each translation performed, as well as by calculating the percentage of correct transferring of horticultural terminology. According to both indicators, DeepL showed the best results, and therefore it is advisable to recommend it for translating texts in the field of ornamental horticulture.

Key words: experimental research, field of ornamental horticulture, horticultural terminology, machine translation.

Вступ

Актуальність дослідження обумовлюється бурхливим розвитком сучасних інформаційно-комунікаційних технологій перекладу в цілому та технологій машинного перекладу зокрема. Популярність цієї технології зростає із року в рік, а попит на послуги з постредагування машинного перекладу є чи не найбільшим на ринку перекладацьких послуг. До переваг сучасних систем машинного перекладу можна віднести гібридний алгоритм дії, тобто поєднання декількох найпрогресивніших алгоритмів в одній програмі, що знижує кількість помилок, а відтак і суттєво підвищує продуктивність професійного перекладача. Проте у своїй діяльності професійні перекладачі щоразу стикаються із складною проблемою вибору найоптимальнішої системи для перекладу текстів у певній галузі знань, а відтак особливо актуальними є дослідження спрямовані на встановлення ефективності систем машинного перекладу змішаного типу щодо перекладу текстів різних тематик, зокрема декоративного садівництва.

Мета дослідження полягає у вивченні передачі змісту та ключової термінології у перекладах тексту у галузі декоративного садівництва, виконаного різними системами машинного перекладу змішаного типу, а саме Onlinedoctranslator та DeepL.

Втілення в життя сформульованої мети передбачає вирішення цілої низки завдань:

- сформулювати гіпотезу дослідження;

- обрати текст у галузі декоративного садівництва, максимально насичений відповідною термінологією;

- укласти двомовний (англо-український та українсько-англійський) глосарій на основі обраного тексту, який буде включати основну термінологією у галузі декоративного садівництва;

- сформулювати критерії відбору систем машинного перекладу змішаного типу;

- відібрати системи машинного перекладу змішаного типу, які б відповідали сформульованим нами критеріям;

- встановити процедуру оцінювання якості передачі змісту та ключової термінології у перекладах тексту у галузі декоративного садівництва;

- провести аналіз обох текстів перекладу, виконаних засобами Onlinedoctranslator та DeepL на якість передачі змісту тексту оригіналу та термінології у галузі декоративного садівництва;

- здійснити кількісну обробку експериментальних даних, унаочнивши всі отримані результати у вигляді таблиць;

- провести інтерпретацію одержаних емпіричних даних;

- сформулювати висновки та перспективи подальших досліджень.

Об'єктом дослідження виступають системи машинного перекладу змішаного типу Onlinedoctranslator та DeepL.

Предметом дослідження є вивчення впливу використання систем машинного перекладу змішаного типу Onlinedoctranslator та DeepL на якість перекладу текстів у галузі декоративного садівництва в аспекті кількості помилок й правильності передачі основної садівничої термінології.

Матеріалом дослідження виступають 2 тексти перекладу (обсягом близько 32 131 друкованих знаків без пробілів) уривку праці Королівської садівничої спільноти (Royal Horticultural Society) під назвою: “Lilies and Related Plants” («Лілії та інші рослини, які до них відносяться») [4], перекладені засобами двох систем машинного перекладу змішаного типу (Onlinedoctranslator та DeepL), а також 200 термінологічних одиниць у галузі декоративного садівництва, відібрані із зазначеного уривку тексту.

Предмет дослідження, його мета та завдання зумовили використання низки емпіричних методів, таких як проведення контрольних перекладів тексту оригіналу садівничої тематики засобами обраних систем машинного перекладу змішаного типу (Onlinedoctranslator та DeepL) та кількісний метод обробки експериментальних даних для встановлення якості передачі змісту та ключової садівничої термінології у перекладах тексту у галузі декоративного садівництва, виконаного засобами систем машинного перекладу змішаного типу Onlinedoctranslator та DeepL.

Результати дослідження

Дослідження із вивчення впливу використання систем машинного перекладу змішаного типу на якість перекладу текстів у галузі декоративного садівництва було організовано у декілька етапів [1]:

1. формулювання гіпотези дослідження;

2. відбір матеріалу дослідження (текст та термінологія);

3. відбір систем машинного перекладу змішаного типу;

4. встановлення критеріїв оцінювання одержаних текстів перекладу;

5. аналіз та інтерпретація даних.

Нами було сформульовано гіпотезу дослідження: різні системи машинного перекладу змішаного типу будуть пропонувати переклад одного і того самого тексту у галузі декоративного садівництва різної якості, яку можна відстежити за допомогою проведення визначення загального відсотку кількості помилок у кожному виконаному перекладі, а також за допомогою підрахунку відсотку правильності передачі галузевої термінології (галузь - декоративне садівництво).

До неварійованих умов нашого експериментального дослідження належали:

• текст у галузі декоративного садівництва;

• експериментатор (автор роботи).

Варійованою умовою дослідження виступала система машинного перекладу змішаного типу - Onlinedoctranslator та DeepL.

Текст оригіналу у галузі декоративного садівництва “Lilies and Related Plants” обсягом близько 32 131 друкованих знаків без пробілів було обрано за низкою ключових характеристик, які включали:

- автентичність;

- сучасність;

- обсяг;

- репрезентативність;

- відсутність перекладів.

Системи машинного перекладу змішаного типу DeepL та Onlinedoctranslator було обрано послуговуючись низкою критеріїв, релевантних для цілей нашого дослідження, а саме:

- алгоритм дії;

- безкоштовність використання;

- наявність необхідної мовної пари;

- легкість у використанні.

Критично проаналізувавши наукову літературу, ми дійшли висновку, що проста та зручна у використанні система оцінювання перекладів, розроблена відомим вітчизняним вченим професором кафедри перекладознавства імені Миколи Лукаша Черноватим Л.М. [2; 3], найкраще всього підійде для досягнення мети нашого дослідження. Критерії оцінювання цієї системи охоплюють три категорії помилок: перший тип - це помилки, які змінюють зміст вихідного повідомлення, а відповідно караються найбільшою кількістю штрафних балів - 1,0 штрафний бал. Сюди також включаємо пропуски перекладу тексту, оскільки це дуже впливає на зміст тексту. якість переклад термін садівництво onlinedoctranslator deepl

До другого типу належать помилки, які теоретично можуть вплинути на зміст вихідного повідомлення, а тому караються в 0,5 штрафного балу. Сюди належать різноманітні двозначності, які можуть бути витлумачені по різному.

І останній третій тип помилок - несуттєві помилки, що не впливають на зміст та караються в 0,1 штрафного балу. Оскільки ми маємо специфіку - тексти, перекладені засобами систем машинного перекладу, то в цю категорію також враховуватимемо всі огріхи форматування, адже воно має чітко відповідати форматуванню тексту оригіналу.

Певна кількість набраних штрафних балів відповідає певній оцінці в п'ятибальній системі оцінювання. Проте в межах нашого дослідження не має сенсу виставляти оцінку системі машинного перекладу, а тому ми будемо просто порівнювати загальну кількість штрафних балів, набраних кожною системою.

Для вирішення другого завдання - визначення ефективності перекладу ключової термінології в галузі декоративного садівництва - нам потрібно порахувати скільки відсотків термінології перекладено правильно кожною із систем. Усю галузеву термінологію, яку ми будемо досліджувати ми помістили у словник, розміщений у додатках до нашої роботи. Загальна кількість термінологічних одиниць - 200, що становитиме 100%. Відповідний загальний відсоток правильності передачі термінів ми будемо встановлювати шляхом вираховування математичної пропорції та подавати отриману інформацію у наочних схемах та таблицях.

Ретельно перевіривши перекладені тексти у галузі декоративного садівництва та порахувавши кількість штрафних балів по кожній категорії помилок, нами було укладено таблицю 1.

Як випливає з таблиці 1, в цілому обидві системи машинного перекладу змішаного типу непогано впоралися із перекладацьким завданням та їх рівень відрізняється не надто кардинально. Тим не менш, дещо краще впоралася система машинного перекладу DeepL, оскільки вона загалом набрала 69,1 штрафних балів, у той час як система машинного перекладу Onlinedoctranslator здобула 74,1 штрафних балів, що на 5 балів більше, аніж у попередньої системи.

В аспекті кількості помилок першого типу провідну позицію займає Onlinedoctranslator із 17 помилками, а відповідно і 17 штрафними балами, що на 4 бали гірше, аніж результат системи DeepL, який становить 13 штрафних балів.

Водночас в аспекті помилок другого типу краще впоралася саме система Onlinedoctranslator, оскільки вона набрала усього 19 штрафних балів, припустившись 38 помилок. Система машинного перекладу DeepL відстає і демонструє 42 помилки другого типу, що становить 21 штрафний бал відповідно. Загальна розбіжність у кількості штрафних балів по другому типу помилок між системами становить 2.

Стосовно третього типу помилок, то тут найбільшої кількості припустилася знову система машинного перекладу Onlinedoctranslator, набравши 38,1 штрафних балів, що на три штрафні бали більше, аніж аналогічний показник у системи машинного перекладу DeepL.

Завершивши аналіз загальної якості перекладу тексту садівничої тематики, ми перейшли до наступного і не менш важливого етапу нашого дослідження, який полягав у визначенні якості передачі обома системами галузевої термінології. У таблиці 2 унаочнено відсоткове співвідношення правильності передачі садівничої термінології засобами систем машинного перекладу змішаного типу DeepL та Onlinedoctranslator.

Як випливає з таблиці 2, обидві системи машинного перекладу змішаного типу DeepL та Onlinedoctranslator непогано впоралися із перекладом термінологічних одиниць у галузі декоративного садівництва. Відсоток правильно перекладених термінологічних одиниць суттєво перевищує відсоток неправильно перекладених.

Так, система машинного перекладу змішаного типу DeepL дуже добре впоралася із перекладом 89% термінологічних одиниць у галузі декоративного садівництва і лише 11% таких термінологічних одиниць було перекладено неправильно.

Таблиця 1

Порівняльні результати виконання машинного перекладу тексту оригіналу у галузі декоративного садівництва засобами двох систем машинного перекладу змішаного типу DeepL та Onlinedoctranslator

Таблиця 2

Порівняльні результати вірної та невірної передачі термінології у галузі декоративного садівництва системами машинного перекладу змішаного типу DeepL та Onlinedoctranslator

Система машинного перекладу змішаного типу Onlinedoctranslator впоралася із завданням дещо гірше та їй вдалося правильно передати 85% термінології садівничої тематики, у той час як 15% залишилися неправильно перекладені.

Також ми порахували наскільки відсотків відрізняється якість передачі термінологічних одиниць у галузі декоративного садівництва двома системами. Виявилося, що система машинного перекладу змішаного типу Onlinedoctranslator на 4 % гірше впоралася з таким завданням.

Висновки та перспективи подальших досліджень

Таким чином, ми дійшли висновку, що гіпотеза, сформульована нами до початку проведення експериментального дослідження підтвердилася: різні системи машинного перекладу змішаного типу дійсно пропонують переклад одного і того самого тексту у галузі декоративного садівництва різної якості, яку ми відстежили за допомогою проведення визначення загального відсотку кількості помилок у кожному виконаному перекладі, а також за допомогою підрахунку відсотку правильності передачі галузевої термінології (галузь - декоративне садівництво).

Відповідно до одержаних нами даних і за першим (загальний відсоток кількості помилок у тексті перекладу) і за другим (відсоток правильності передачі галузевої садівничої термінології) параметром кращою виявилася система машинного перекладу змішаного типу DeepL. Тим не менш, з одного боку розвив між результатами обох систем не є надто великим. Проте з іншого боку - чим більше помилок припускається система машинного перекладу, тим більше часу знадобиться професійному перекладачеві для постредагування тексту перекладу та виправлення таких помилок, що може також мати вплив і на оплату праці професіоналу.

Зважаючи на те, що обидві системи є безкоштовними у використанні, а також пропонують безкоштовно перекласти достатньо суттєві обсяги інформації, ми можемо порекомендувати для використання систему машинного перекладу змішаного типу, яка якісніше виконує переклад тексту у галузі декоративного садівництва, а саме - DeepL. Чим менша кількість помилок різних типів у тексті перекладу та чим вищий відсоток правильності передачі ключової садівничої термінології, тим менше часу доведеться присвятити постредагуванню тексту перекладу, що дозволить зекономити час і як наслідок виконати більше перекладацьких завдань та мати змогу підвищити свій заробіток або ефективно відпочити.

Тим не менш за неможливості доступу до системи машинного перекладу DeepL, Online doctranslator також може бути використано, оскільки якість

Перспектива наших подальших досліджень полягає у вивченні впливу застосування різних систем машинного перекладу змішаного типу на якість перекладу текстів у галузі декоративного садівництва в інших мовних парах, а також у збільшенні обсягу текстів для перекладу.

Список літератури

1. Ольховська, А.С. (2017). Експериментальна перевірка ефективності навчання майбутніх перекладачів письмового перекладу із застосуванням інформаційно-комунікаційних технологій. Вісник КНЛУ Серія «Педагогіка та психологія», 27, 98-107.

2. Черноватий, Л.М. (2013). Методика викладання перекладу як спеціальності. Вінниця: Нова Книга.

3. Черноватий, Л.М. (2009). Проблема оцінювання письмових робіт майбутніх перекладачів. Вісник Харківського національного університету імені В.Н. Каразіна. Серія: Романо-германська філологія. Методика викладання іноземних мов, 848, 257-262.

4. Lilies and Related Plants. (2015).

References

1. Chernovatyi, L.M. (2009). Problema otsiniuvannia pysmovykh rohit maibutnikh perekladachiv. [The problem of assessing translations produced by future translators] Visnyk Kharkivskoho natsionalnoho universytetu imeni VN. Karazina. Serna: Romano-hermanska filolohiia. Metodyka vykladannia inozemnykh mov [The Journal of V.N. Karazin Kharkiv National University. Series: Foreign Philology. Methods of Foreign Language Teaching], 848, 257-262 (in Ukrainian).

2. Chernovatyy, L.M. (2013). Metodyka vykladannya perekladu. [Methods of teaching translation]. Vinnytsya: Nova Knyha (in Ukrainian).

3. Lilies and Related Plants. (2015).

4. Olkhovska, A.S. (2017). Eksperymentalna perevirka efektyvnosti navchannia maibutnikh perekladachiv pysmovoho perekladu iz zastosuvanniam informatsiino-komunikatsiinykh tekhnolohii. [Experimental testing of the effectiveness of teaching translation to students with the use of information and communication technologies]. Visnyk KNLU. Seriia Pedahohika ta psykholohiia [Messenger of Kyiv National Linguistic University. Series: Philology and Psychology], 27, 98-107 (in Ukrainian).

Размещено на Allbest.Ru