Représentation automatique du rythme de la parole pathologique via le spectre de modulations d’amplitude
Résumé
Une bonne structuration prosodique en groupements cohésifs hiérarchisés optimise la segmentation de la parole et l’accès au sens pour l’auditeur. Parmi les trois principes organisateurs de la parole (intonation, accentuation et rythme ; Di Cristo, 2011), le rythme constitue le socle de la prosodie puisqu’il permet l’intégration temporelle des proéminences accentuelles et des unités intonatives en lien avec les règles métriques sous-jacentes d’une langue donnée. Les processus de programmation de la parole (pathologique ou non) induisent des disfluences caractérisées par des ruptures du rythme de la parole, pouvant nuire à la compréhension et à l’intelligibilité de la parole. Caractériser le rythme linguistique est donc un enjeu fondamental en linguistique et en traitement automatique de la parole. Au-delà des méthodes basées sur le rythme linéaire (notamment pour la classification rythmique automatique des langues), il est nécessaire de développer des méthodes permettant de rendre compte de l’intégration temporelle de la hiérarchie prosodique (Arvaniti, 2012).
Notre recherche propose une représentation automatique du rythme à partir du signal de parole. Cette méthode permet de visualiser les répartitions d’énergie des différents niveaux prosodiques: syllabes, mot prosodique (pw ; Astésano, 2019), syntagme accentuel (AP), syntagme intonatif (IP ; Di Cristo, 2011). Le spectre de modulation d’amplitude (Envelope Modulation Spectrum – EMS) est obtenu en calculant l’enveloppe du signal auquel est appliqué un filtre 300-1000 Hz afin de capturer l’énergie
des voyelles (Tilsen & Johnson, 2008 ; Vaysse et al., 2020 ; voir courbe noire, figure 1). Un spectre de puissance est ensuite appliqué pour représenter les fréquences de 0 à 10 Hz (courbe orange). Un lissage (courbe rouge pointillée) est également appliqué pour englober les constituants prosodiques de niveau similaire. La détection automatique des constituants prosodiques a été validée par une annotation prosodique manuelle sur un échantillon du corpus (10 patients et 10 contrôles).
Le corpus de texte lu par 137 témoins, 86 patients atteints de cancers VADS et 205 patients atteints de la maladie de Parkinson est issu du projet RUGBI (Woisard et al., 2021). La figure 2 illustre la répartition spectrale rythmique sur les deux populations de patients.
La répartition énergétique sur l’EMS permet de visualiser les stratégies rythmiques des patients (préservation des cibles articulatoires au détriment de la fluence rythmique par une structuration essentiellement aux niveaux prosodiques inférieurs vs préservation de la fluence et des groupes prosodiques hiérarchisés). Nous présenterons les différents profils rythmiques caractérisant les pathologies et nous ouvrirons sur les applications potentielles pour l’évaluation automatique longitudinale des patients.
Domaines
Informatique [cs]Origine | Fichiers produits par l'(les) auteur(s) |
---|