Разработка двуязычной модели машинного перевода

Размещено на http://www.allbest.ru

Разработка двуязычной модели машинного перевода

Кайдуллаев М.

Kaidullaev M.

DEVELOPMENT OF A BILINGUAL MACHINE TRANSLATION MODEL

Abstract

advent of neural machine translation (NMT) has revolutionized language translation, surpassing the limitations of traditional statistical machine translation methods. This study critically examines the current progress and challenges of neural machine translation from Kazakh to English, covering many aspects of NMT, including various types of architecture, learning procedures, corpus formation, data preparation methods and evaluation indicators. Analyzing the existing literature and methodologies, this study aims to identify opportunities and potential i-mprovements to improve Kazakh English translations using NMT.

Keywords: neural network, machine translation, artificial intelligence.

Аннотация

появление нейронного машинного перевода (NMT) произвело революцию в языковом переводе, превзойдя ограничения традиционных методов статистического машинного перевода. В этом исследовании критически рассматриваются текущий прогресс и проблемы нейронного машинного перевода с казахского на английский язык, охватывающие множество аспектов NMT, включая различные типы архитектуры, процедуры обучения, формирование корпусов, методы подготовки данных и показатели оценки. Анализируя существующую литературу и методологии, данное исследование направлено на выявление возможностей и потенциальных улучшений для улучшения казахско-английских переводов с использованием NMT.

Ключевые слова: нейронная сеть, машинный перевод, искусственный интеллект.

нейронный машинный перевод

Введение

Перевод играет решающую роль в поощрении межкультурного общения, позволяя людям разного языкового и культурного происхождения понимать друг друга. Точный перевод литературы, научных статей и других ресурсов расширяет образовательные возможности, делая информацию доступной на разных языках. Важность исследования нейронного машинного перевода обусловлена тем фактом, что доступ к информации и способность общаться на разных языках необходимы для глобального бизнеса, образования и общения. Целью данного исследования является усовершенствование современного машинного перевода за счет улучшения качества перевода и решения лингвистических проблем. В частности, цель состоит в том, чтобы добиться точного перевода для казахско- английской языковой пары. Несмотря на то, что в последние годы в области нейронного машинного перевода были достигнуты огромные успехи в исследованиях, улучшение производительности NMT на языках с ограниченными ресурсами, таких как казахский, остается проблемой. Проблема заключается в отсутствии больших параллельных данных высокого качества, которые необходимы для обучения точной модели.

Казахский язык - агглютинативный язык с богатой системой суффиксов и префиксов, что делает его морфологически сложным. Более того, контекстнозависимые слова и неоднозначные фразы усложняют язык. Проблема в что модели NMT могут с трудом гарантировать, что эти морфологические вариации и контекстуальные двусмысленности будут точно учтены. Однако системы НМТ могут преодолеть эту проблему, принимая во внимание проблемы, связанные с конкретными лингвистическими явлениями или специфичной для предметной области терминологией казахского языка [2].

Несмотря на свою высокую эффективность при переводе популярных языков, таких как английский, французский, итальянский и китайский, нейронный машинный перевод сталкивается с трудностями при переводе языков с ограниченными ресурсами, таких как казахский. Основным ограничением является зависимость от наличия существенных параллельных корпусов в соответствующих языковых парах. Поэтому целью данного исследования является углубиться в процесс перевода казахского языка.

Методы

Цель состоит в том, чтобы обучить модель обеспечению точного перевода между казахским и английским языками. Подход заключается в разработке традиционной двуязычной модели специально для казахско-английской языковой пары. К преимуществам такого подхода можно отнести более целенаправленное обучение и тонкую настройку.

Кодировщик: Кодер отвечает за преобразование входного предложения в векторное представление. Обычно он состоит из нескольких двунаправленных рекуррентных нейронных сетей (BRNN), которые кодируют исходное предложение в непрерывное представление, фиксируя его семантическую и контекстную информацию.

Декодер: Декодер генерирует переведенное предложение на целевом языке на основе закодированного представления от кодера и информации о внимании. Он использует BRNN для генерации целевого предложения слово за словом, принимая во внимание контекст и информацию о выравнивании, предоставляемую механизмом внимания.

RNN: Рекуррентные нейронные сети (RNN) -- это тип нейронной сети, обычно используемый в задачах обработки естественного языка, включая нейронный машинный перевод (NMT). Ключевой характеристикой RNN является их способность сохранять скрытое состояние, которое несет в себе информацию из предыдущих шагов последовательности. [1]

BRNN: Двунаправленных рекуррентных нейронных сетей (BRNN) же включает в себя информацию как из прошлых, так и из будущих временных шагов в последовательности. В то время как традиционные RNN обрабатывают последовательности в прямом направлении, BRNN обрабатывают последовательности как в прямом, так и в обратном направлении одновременно. Следовательно, чтобы полностью уловить контекстуальную неоднозначность, BRNN будет использоваться в качестве компонента кодера и декодера. В качестве кодировщика BRNN обрабатывает исходное предложение как в прямом, так и в обратном направлении, создавая два набора скрытых состояний. Объединив эти скрытые состояния, исходное предложение будет закодировано в последовательность векторов состояний. В качестве декодера BRNN будет генерировать целевое предложение, учитывая контекст, полученный как предыдущими, так и последующими словами в предложении.

Обсуждение результатов

В этом разделе обсуждаются экспериментальные результаты и характеристики моделей. Исследование, которое было проведено в рамках данного исследования, было направлено на разработку модели в условиях нехватки ресурсов. Модель представляет собой двуязычную модель BRNN.

Результаты экспериментов оценивались с использованием таких показателей, как BLEU (Двуязычное исследование оценки), который измеряет сходство между машинными переводами и справочными переводами. Проблема оценки машинного перевода заключается в том, что для каждого исходного предложения может существовать несколько хороших переводов.

Рис . 1 BLEU формула.

На рис. 2 показаны потери обучения в разные эпохи модели. Это демонстрирует, что средние потери значительно снизились после 10 эпох.

Рис.2 Loss и Epochs.

Подводя итоги, как видно на рис. 3. Многоязычная модель продемонстрировала хорошее качество перевода. Модель просмотрела набор данных 10 раз и добилась хороших результатов. В результате достигла значение точности: 0,8228. Потеря при проверке: 0,8585 и правильно перевел примерно 87,40% предложений в наборе проверочных данных.

Заключение

В заключение, в этой статье были рассмотрены различные аспекты машинного перевода, начиная с истории развития машинного перевода, включая проблемы с языками с низким уровнем ресурсов. В статье были рассмотрены архитектуры модели, формирование корпусов и оценочные метрики. Обсуждались преимущества архитектуры двунаправленной рекуррентной нейронной сети перед RNN.

Прежде всего, в статье численно продемонстрировано, эффективность двуязычной модели на языковых парах с низким уровнем ресурсов. Несмотря на то, что исследование дало отличные результаты в условиях ограниченных вычислительных ресурсов, будущая работа должна быть проведена для дальнейшего повышения точности, беглости и специфичной для предметной области производительности казахско-английских систем NMT.

Список литературы

Aditya, M. (2020, August 8). Machine Translation Using Neural Networks. Medium. Retrieved from https://medium.com/analytics-vidhya/machine- translationusing-neural-networks-61ea85b39ad4;

E.A. Bekbulatov and Amandyk Kartbayev (2014). A study of certain morphological structures of Kazakh and their impact on the machine translation quality. doi:https://doi.org/10.1109/icaict.2014.7036013

Размещено на Allbest.ru