Pour la segmentation automatique de l'arabe parlé : l'exemple de l'arabe tunisien
Résumé
Le traitement des données issues de l’oral est une tâche complexe, surtout quand il s’agit d’une
langue privée d’orthographe usuelle. En effet, malgré le nombre croissant des travaux s’intéressant
à l’étude du parler tunisien (Zribi & al., 2015 ; Ben Ahmed & al., 2018 ; Ben Barka 2018, Goncalves
Teixeira & al., 2023), les tâches de transcription et d’annotation des corpus collectés sur cette
langue ne cessent de soulever plusieurs interrogations, ce qui rend difficile leur exploitation
linguistique.
Si plusieurs réponses ont été avancées concernant le choix du système, du mode ou bien des conventions de transcription, la question de la segmentation, indispensable à la description morphosyntaxique, n’a pas été suffisamment explorée.
Tel est le cas de la majorité des parlers arabes, l’arabe tunisien, langue fortement agglutinante, (Hamdi, 2015; Zribi 2016), se caractérise par le rattachement des clitiques aux mots simples, ce qui permet d’obtenir des formes plus complexes dites agglutinées. Séparer les clitiques de la forme fléchie est une tâche nécessaire dans une perspective de traitement des données par des outils de Traitement Automatique des Langues (TAL).
Conçues pour l’analyse de l’arabe standard moderne, les applications comme Arabic Part-of-speech Tagger (Khoja, 2001), Sakher (Chalabi, 2004) ou Aramorph (Linguistic Data Consortium, 2004) ne sont pas adaptées au traitement de nos données orales en arabe tunisien, transcrites en graphie latine sur TRANSCRIBER ou translittérées automatiquement grâce à l’API de l'outil Google Input et le translittérateur ATAR (Talafha & al., 2021). Plus récemment, on compte parmi les ressources existantes le pipeline d’annotation multi-couche (Gugliotta & al., 2020) et le corpus TARC (Gugliotta & Dinarelli, 2020), qui est propre à la modalité écrite de l’arabe parlé au Maghreb annoté en partie du discours.
Soucieux de faire avancer le débat sur les opérations d'exploration lexicale et d’étiquetage morphosyntaxique de l’arabe tunisien, nous avons choisi de segmenter un échantillon de 876 mots, soit environ 5min d’enregistrements, en 1392 morphs (Ben Barka Messaoudi & al., 2022). Ce jeu de données nous servira de base d’inférence de règles et de corpus d’apprentissage pour entraîner un système de segmentation automatique (Harrat & al., 2019) pouvant traiter notre corpus comportant 109705 mots (Ben Barka Messaoudi & al., 2023). Cette étape est déterminante et préalable aux opérations d'étiquetage grammatical et d’analyse syntaxique étant donné que les clitiques possèdent leurs propres parties du discours et fonctions syntaxiques.
En amont du traitement des unités minimales d’analyse du corpus, il convient également, pour l’analyse syntaxique en dépendance, d’effectuer une autre segmentation au niveau des unités maximales traitées. Ces séquences doivent manifester une complétude sémantique, une autonomie syntaxique et une clôture intonative. Nous montrerons, à travers l’exemple de l’arabe tunisien, comment les récentes technologies d’apprentissage machine et en particulier la diarization automatique (Plaquet & Bredin, 2023) peuvent aider au prétraitement de corpus arabes oraux.
Si plusieurs réponses ont été avancées concernant le choix du système, du mode ou bien des conventions de transcription, la question de la segmentation, indispensable à la description morphosyntaxique, n’a pas été suffisamment explorée.
Tel est le cas de la majorité des parlers arabes, l’arabe tunisien, langue fortement agglutinante, (Hamdi, 2015; Zribi 2016), se caractérise par le rattachement des clitiques aux mots simples, ce qui permet d’obtenir des formes plus complexes dites agglutinées. Séparer les clitiques de la forme fléchie est une tâche nécessaire dans une perspective de traitement des données par des outils de Traitement Automatique des Langues (TAL).
Conçues pour l’analyse de l’arabe standard moderne, les applications comme Arabic Part-of-speech Tagger (Khoja, 2001), Sakher (Chalabi, 2004) ou Aramorph (Linguistic Data Consortium, 2004) ne sont pas adaptées au traitement de nos données orales en arabe tunisien, transcrites en graphie latine sur TRANSCRIBER ou translittérées automatiquement grâce à l’API de l'outil Google Input et le translittérateur ATAR (Talafha & al., 2021). Plus récemment, on compte parmi les ressources existantes le pipeline d’annotation multi-couche (Gugliotta & al., 2020) et le corpus TARC (Gugliotta & Dinarelli, 2020), qui est propre à la modalité écrite de l’arabe parlé au Maghreb annoté en partie du discours.
Soucieux de faire avancer le débat sur les opérations d'exploration lexicale et d’étiquetage morphosyntaxique de l’arabe tunisien, nous avons choisi de segmenter un échantillon de 876 mots, soit environ 5min d’enregistrements, en 1392 morphs (Ben Barka Messaoudi & al., 2022). Ce jeu de données nous servira de base d’inférence de règles et de corpus d’apprentissage pour entraîner un système de segmentation automatique (Harrat & al., 2019) pouvant traiter notre corpus comportant 109705 mots (Ben Barka Messaoudi & al., 2023). Cette étape est déterminante et préalable aux opérations d'étiquetage grammatical et d’analyse syntaxique étant donné que les clitiques possèdent leurs propres parties du discours et fonctions syntaxiques.
En amont du traitement des unités minimales d’analyse du corpus, il convient également, pour l’analyse syntaxique en dépendance, d’effectuer une autre segmentation au niveau des unités maximales traitées. Ces séquences doivent manifester une complétude sémantique, une autonomie syntaxique et une clôture intonative. Nous montrerons, à travers l’exemple de l’arabe tunisien, comment les récentes technologies d’apprentissage machine et en particulier la diarization automatique (Plaquet & Bredin, 2023) peuvent aider au prétraitement de corpus arabes oraux.
Origine | Fichiers produits par l'(les) auteur(s) |
---|---|
Licence |