Methodological approaches to analyzing parallel corpora in machine and neural translation studies : processing, alignment, and tokenization in natural language processing (NLP).
Approche méthodologique pour l'analyse de corpus parallèles en traductologie machine et neuronale : traitement, alignement et tokenisation dans le traitement automatique des langues (NLP)
机器和神经翻译研究中平行语料库分析的方法:自然语言处理(NLP)中的处理、对齐和标记
Abstract
This report focuses on the methodical analysis of parallel corpora in the context of machine and neural translation studies. The work described aims to explore in depth the processes of processing, alignment, and tokenization within automatic language processing, using a parallel corpus extracted from the medical domain. This corpus, comprising data in French and English from the European Medicines Agency database, serves as a basis for the application of advanced cleaning and structuring techniques. In order to guarantee the relevance and quality of the data used, we implemented a semi-automatic approach, combining filters and post-processing methods to obtain reliable and useful data for our study.
As part of this research, different technological tools, such as SpaCy (https://spacy.io/api/token) and SentencePiece (https://github.com/google/sentencepiece), were evaluated and applied in order to optimize the analysis and processing of textual data. Our approach includes a comparative analysis of the available software to select those that best fit our analytical needs while overcoming the technical challenges encountered when integrating and using these tools. While detailing the steps and methodologies implemented, this report also highlights the obstacles encountered, such as the limitations of processing large volumes of text with existing software and the challenges related to setting up working environments adapted to these tools. Through careful planning and flexibility in the approach, this project aims to lay a solid foundation for future studies and applications in the field of machine-assisted translation.
Ce rapport se concentre sur l'analyse méthodique des corpus parallèles dans le cadre de la traductologie machine et neuronale. Le travail décrit vise à explorer en profondeur les processus de traitement, d'alignement et de tokenisation au sein du traitement automatique du langage, en utilisant un corpus parallèle extrait du domaine médical. Ce corpus, comprenant des données en français et en anglais issues de la base de données de l'Agence européenne des médicaments, sert de fondement pour l'application des techniques avancées de nettoyage et de structuration. Afin de garantir la pertinence et la qualité des données utilisées, nous avons mis en œuvre une approche semi-automatique, associant filtres et méthodes de post-traitement pour obtenir des données fiables et utiles à notre étude.
Dans le cadre de cette recherche, différents outils technologiques, tels que SpaCy (https://spacy.io/api/token) et SentencePiece (https://github.com/google/sentencepiece), ont été évalués et appliqués afin d'optimiser l'analyse et le traitement des données textuelles. Notre approche inclut une analyse comparative des logiciels disponibles pour sélectionner ceux qui correspondent le mieux à nos besoins analytiques, tout en surmontant les défis techniques rencontrés lors de l'intégration et de l'utilisation de ces outils. Tout en détaillant les étapes et méthodologies mis en œuvre, ce rapport met également en lumière les obstacles rencontrés, tels que les limitations du traitement de gros volumes de texte par des logiciels existants et les défis liés à la mise en place d'environnements de travail adaptés à ces outils. Grâce à une planification rigoureuse et une flexibilité dans l'approche, ce projet vise à poser des bases solides pour des études futures et des applications dans le domaine de la traduction assistée par machine.
本报告重点介绍在机器翻译和神经翻译研究背景下对平行语料库进行的方法分析。本文所述的工作旨在利用从医学领域提取的平行语料库,深入探索自动语言处理中的处理、对齐和标记化过程。该语料库包含来自欧洲药品管理局数据库的法语和英语数据,为应用高级清理和结构化技术提供了基础。为了保证所用数据的相关性和质量,我们实施了一种半自动化的方法,结合了过滤器和后处理技术,以获取可靠且有用的数据。
作为本研究的一部分,我们评估并应用了不同的技术工具,例如 SpaCy (https://spacy.io/api/token) 和 SentencePiece (https://github.com/google/sentencepiece),以优化文本数据的分析和处理。我们的方法包括对可用软件进行比较分析,以选择最适合我们分析需求的软件,同时跨越在集成和使用这些工具时所遇到的技术挑战。本报告在详细介绍实施的步骤和方法的同时,还强调了遇到的障碍,例如使用现有软件处理大量文本的局限性,以及设置适合这些工具的工作环境所带来的挑战。通过精心规划和方法灵活性,该项目旨在为机器辅助翻译领域的未来研究和应用奠定坚实的基础。