Reports (Technical Report) Year : 2024

Transliteration and processing of multilingual corpus : English, Chinese, Hebrew, Burmese, Greek (NLP)

Translittération et traitement de corpus multilingue : anglais, chinois, hébreu, birman, grec (TAL-Traitement automatique de langues)

音译和多语言语料处理:英语、汉语、希伯来语、缅甸语、希腊语 (自然语言处理)

Abstract

This project focuses on processing a multilingual corpus related to climate change. The main objective is to analyze the characteristics of different writing systems using articles from Wikipedia written in five distinct languages: Burmese, Hebrew, Chinese, English, and Greek. To establish this corpus, we applied specific criteria, including the inclusion of at least two unfamiliar languages and the requirement that files contain at least 2,000 characters. The project is divided into several stages. First, we built the corpus by retrieving the content of the selected articles. Next, we conducted a detailed analysis of the characters, focusing on segmentation, statistical analysis, and the relationship between graphemes and phonemes. Finally, we transliterated the writing systems into the Latin alphabet to facilitate the interpretation of the results, with particular attention to the Greek language.
Ce projet se concentre sur le traitement d’un corpus multilingue axé sur le changement climatique. L’objectif principal est d’analyser les caractères de différents systèmes d’écriture en utilisant des articles provenant de Wikipédia, rédigés en cinq langues distinctes : birman, hébreu, chinois, anglais et grec. Pour établir ce corpus, nous avons appliqué des critères spécifiques, notamment l’inclusion d’au moins deux langues inconnues et la nécessité de fichiers contenant au minimum 2000 caractères. Le projet se découpe en plusieurs étapes. Tout d’abord, nous avons constitué le corpus en récupérant le contenu des articles choisis, puis nous avons mis en place une analyse détaillée des caractères, en nous concentrant sur la segmentation, l’analyse statistique et la relation entre graphèmes et phonèmes. Enfin, la translittération des systèmes d’écriture vers l’alphabet latin a été réalisée pour faciliter l’interprétation des résultats, notamment à travers la langue grecque.
该项目专注于构建和分析与气候变化相关的多语言语料库,旨在探讨不同书写系统的特征。研究对象为维基百科中的文章,这些文章分别以缅甸语、希伯来语、中文、英语和希腊语编写。为建立这一语料库,我们设定了明确标准,要求至少包含两种研究者不熟悉的语言,同时每篇文章的内容字数不少于 2000 字符。 项目分为多个阶段。首先,我们构建语料库,通过提取和整理所选文章的内容,形成研究基础。接着,我们对数据进行深入分析,包括字符分割、统计研究,以及字素与音素之间关系的探索。最后,将各书写系统音译为拉丁字母,尤其针对希腊语,以便更直观地解释分析结果。
No file

Dates and versions

hal-04860122 , version 1 (31-12-2024)

Identifiers

  • HAL Id : hal-04860122 , version 1

Cite

Lian Chen. Translittération et traitement de corpus multilingue : anglais, chinois, hébreu, birman, grec (TAL-Traitement automatique de langues). INALCO. 2024, pp.1-20. ⟨hal-04860122⟩
41 View
0 Download

Share

More