Automatic Standardization of Arabic Dialects for Machine Translation - Archive ouverte HAL Access content directly
Proceedings Year : 2022

Automatic Standardization of Arabic Dialects for Machine Translation

Standardisation automatique des dialectes arabes pour la traduction automatique

Abstract

Based on an annotated multimedia corpus, television series Marāyā 2013, we dig into the question of "automatic standardization" of Arabic dialects for machine translation. Here we distinguish between rule-based machine translation and statistical machine translation. Machine translation from Arabic most of the time takes standard or modern Arabic as the source language and produces quite satisfactory translations thanks to the availability of the translation memories necessary for training the models. The case is different for the translation of Arabic dialects. The productions are much less efficient. In our research we try to apply machine translation methods to a dialect/standard (or modern) Arabic pair to automatically produce a standard Arabic text from a dialect input, a process we call "automatic standardization". we opt here for the application of "statistical models" because "automatic standardization" based on rules is more hard with the lack of "diglossic" dictionaries on the one hand and the difficulty of creating linguistic rules for each dialect on the other. Carrying out this research could then lead to combining "automatic standardization" software and automatic translation software so that we take the output of the first software and introduce it as input into the second one to obtain at the end a quality machine translation. This approach may also have educational applications such as the development of applications to help understand different Arabic dialects by transforming dialectal texts into standard Arabic.
À partir d'un corpus multimédia annoté, la série télévisée Marāyā 2013, nous creusons la question de la « standardisation automatique » des dialectes arabes pour la traduction automatique. Ici, nous distinguons la traduction automatique basée sur des règles et la traduction automatique statistique. La traduction automatique depuis l'arabe prend la plupart du temps comme langue source l'arabe standard ou moderne et produit des traductions tout à fait satisfaisantes grâce à la disponibilité des mémoires de traduction nécessaires à l'apprentissage des modèles. Le cas est différent pour la traduction des dialectes arabes. Les productions sont beaucoup moins performantes. Dans notre recherche, nous essayons d'appliquer des méthodes de traduction automatique à une paire dialecte/arabe standard (ou moderne) pour produire automatiquement un texte arabe standard à partir d'une entrée de dialecte, un processus que nous appelons "standardisation automatique". nous optons ici pour l'application des « modèles statistiques » car la « standardisation automatique » basée sur des règles est plus dure avec le manque des dictionnaires « diglossiques » d'une part et la difficulté de créer des règles linguistiques pour chaque dialecte d'autre part. La réalisation de cette recherche pourrait alors conduire à combiner un logiciel de "standardisation automatique" et un logiciel de traduction automatique afin de prendre la sortie du premier logiciel et de l'introduire en entrée dans le second pour obtenir au final une traduction automatique de qualité. Cette approche peut également avoir des applications pédagogiques telles que le développement d'applications pour aider à comprendre différents dialectes arabes en transformant des textes dialectaux en arabe standard.
Fichier principal
Vignette du fichier
Alnassan_2022_Automatic Standardization of Arabic Dialects for Machine Translation.pdf (1.11 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-03928243 , version 1 (06-01-2023)

Licence

Copyright

Identifiers

Cite

Abidrabbo Alnassan. Automatic Standardization of Arabic Dialects for Machine Translation. Universiti Malaysia Kelantan (UMK), pp.1013 - 1025, 2022, INTERNATIONAL CONFERENCE ON UMMAH (ICU) 2022 - Strengthening Humanity Values in Ummah Civilization of Digital Era, 978-967-0021-48-5. ⟨hal-03928243⟩
95 View
38 Download

Altmetric

Share

Gmail Facebook X LinkedIn More