Assessment of Speech Intelligibility using Deep Learning -- Towards Enhanced Interpretability in Clinical Phonetics - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2023

Assessment of Speech Intelligibility using Deep Learning -- Towards Enhanced Interpretability in Clinical Phonetics

Évaluation de l'intelligibilité de la parole par apprentissage profond -- Vers plus d'interprétabilité en phonétique clinique

Résumé

Speech intelligibility is an essential component of effective communication. It refers to the degree to which a speaker’s intended message can be understood by a listener. This capacity can be hampered as a consequence of speech disorders, which results in a reduced quality of life for individuals. In the case of Head and Neck Cancer (HNC), speech may be affected due to the presence of tumors in the speech production system, but the main cause of speech impairment is typically the tumor treatment including surgery, radiotherapy, chemotherapy, or a combination of these treatments. In such cases, the evaluation of speech quality is crucial to assess the communication deficit of patients and develop targeted treatment plans. In clinical practice, perceptual measures are considered the gold standard for assessing speech disorders. Although these measures are widely used, they suffer from several limitations, the most important of which is their subjectivity. Consequently, the automatic assessment of speech disorders has emerged as a promising alternative to perceptual measures since the 90s. In this thesis, we explore the potential of deep learning (DL) techniques to evaluate speech disorders while addressing the shortcomings of existing tools. In this sensitive clinical context where the stakes are high and trust is paramount, we consider the explainability and interpretability of DL tools as requirements rather than optional features. Therefore, we propose a three-step methodology based on deep learning and dedicated to an interpretable assessment of speech intelligibility in the context of speech disorders. In the first step, we tackle a major issue in the current automatic tools dedicated to disordered speech assessment which is the limited insight into the relationship between speech disorders and the resulting assessment. To this end, we implement a DL-based model, trained on healthy speech and dedicated to an intermediate task which is French phoneme classification. This methodological choice serves two purposes. The first is to take advantage of the phoneme-level knowledge obtained from the classification task to answer the major problem mentioned above. That is, it will enable the provision of insightful information about the final assessment score at the phoneme level in a subsequent stage. The second is related to the use of healthy (normal) speech. Indeed, this allows overcoming the very limited amount of pathological data available while meeting the high data quantity requirements of deep learning. In the second step, the primary objective is to guarantee the interpretability of the developed solution, thereby ensuring its acceptance within the clinical practice setting. Thus, we investigate the capacity of the implemented phoneme classifier in yielding relevant knowledge related to the characteristics of speech pathology. We then propose Neuro-based Concept Detector (NCD), our general analytic framework for the explainability of the deep representations of a DL-based model. This framework highlights, within the classification model resulting from the first step, a representation of the acoustic and articulatory characteristics of healthy speech in terms of phonetic features, easily interpretable in terms of alterations in the case of speech disorders. We, therefore, hit two targets with one shot through this methodological choice. Indeed, not only do we actively take steps to mitigate the impact of the black-box nature of DL models, but also we ensure an additional level of granularity that clinicians can use to link and interpret the final intelligibility assessment. Finally, the third step is dedicated to the prediction of a final score assessing the speech intelligibility of a person. This step is based on the different levels of representation provided by the two previous steps, allowing to relate the predicted intelligibility score to the degree of speech alteration at the phoneme and phonetic feature levels. The overall proposed methodology thus provides an interpretation of the speech assessment score in the field of phonetics for clinicians. The promising results obtained on a population of HNC patients suggest the potential of such a methodology to monitor the progress of therapy or to develop tailored rehabilitation protocols that would improve the patient’s ability to communicate effectively, leading consequently to improved quality of life. The validation of this methodology in clinical practice is one of the many perspectives of this thesis.
L’intelligibilité de la parole est une composante essentielle d’une communication efficace. Elle peut être définie comme le degré avec lequel le message d’un locuteur peut être compris par un auditeur. Cette capacité peut être entravée par des troubles de la parole, entraînant potentiellement une diminution de la qualité de vie pour les individus. Dans le cas du cancer de la tête et du cou, la parole peut être affectée par la présence de tumeurs dans l’appareil de production de la parole. Néanmoins, la cause principale est généralement le traitement de la tumeur, impliquant notamment la chirurgie, la radiothérapie, la chimiothérapie ou une combinaison de ces traitements. Dans de tels cas, l’évaluation de la qualité de la parole est cruciale pour évaluer le déficit de communication des patients et élaborer des plans de traitement ciblés. En pratique clinique, les mesures perceptives sont considérées comme un standard pour l’évaluation des troubles de la parole. Bien que ces mesures soient largement utilisées, elles présentent plusieurs limites, la plus importante étant leur subjectivité. Par conséquent, l’évaluation automatique des troubles de la parole s’est révélée être une alternative prometteuse aux mesures perceptives dés les années ’90. Dans cette thèse, nous explorons le potentiel des techniques d’apprentissage profond pour évaluer les troubles de la parole tout en abordant les limites des outils d’évaluation existants. Dans ce contexte clinique sensible où les enjeux sont élevés et la confiance primordiale, nous considérons l’explicabilité et l’interprétabilité de ces outils comme une caractéristique obligatoire plutôt qu’optionnelle. Nous proposons une méthodologie en trois étapes basée sur l’apprentissage profond et dédiée à l’évaluation interprétable de l’intelligibilité dans le contexte des troubles de la parole. Dans la première étape, nous abordons un problème majeur dans les outils automatiques actuels dédiés à l’évaluation de la parole altérée, à savoir une connaissance limitée sur la relation entre les troubles de la parole et le score d’évaluation qui en découle. À cette fin, nous mettons en place un modèle basé sur l’apprentissage profond, entraîné sur de la parole saine et dédié à une tâche intermédiaire de classification des phonèmes du français. Ce choix méthodologique a deux vocations. La première est de tirer bénéfice des connaissances au niveau phonème apportées par la tâche de classification pour répondre au problème majeur évoqué précedemment. La seconde est en lien avec l’utilisation de la parole saine (normale). Elle permet de pallier la quantité très limitée de données pathologiques à disposition, tout en répondant aux exigences élevées en matière de quantité de données de l’apprentissage profond. Dans la deuxième étape, l’objectif majeur est de garantir le développement d’une solution interprétable, en vue de son acceptation en pratique clinique. Dans cet optique, nous étudions la capacité du modèle de classification des phonèmes à produire des connaissances pertinentes liées aux caractéristiques des troubles de la parole ciblés. Nous proposons ainsi un cadre analytique général et original, nommé Neuro-based Concept Detector - NCD, spécialement conçu pour interpréter les représentations profondes d’un modèle. Ce cadre permet de mettre en évidence au sein du modèle de classification issu de la première étape une représentation des caractéristiques acoustiques et articulatoires de la parole saine en terme de traits phonétiques, facilement interprétables en matière d’altérations en cas de troubles de la parole. Enfin, la troisième étape est consacrée à la prédiction d’un score final évaluant l’intelligibilité de la parole d’un individu. Cette étape repose sur les différents niveaux de représentation apportés par les deux étapes précédentes, permettant de mettre en relation le score d’intelligibilité prédit avec le degré d’altération de la parole au niveau phonème et traits phonétiques. Cette méthodologie globale apporte ainsi une interpretation du score d’évaluation dans le domaine de la phonétique à destination des clinicians. Les résultats prometteurs obtenus sur une population de patients atteints de cancer de la tête et du cou laissent envisager le potentiel d’une telle méthodologie pour suivre les progrès d’une thérapie ou développer des protocoles de rééducation sur mesure qui amélioreraient la capacité du patient à communiquer efficacement et, par conséquent, sa qualité de vie. La validation de cette méthodologie en pratique clinique est l’une des nombreuses perspectives de ce travail de thèse.
Fichier non déposé

Dates et versions

tel-04231180 , version 1 (06-10-2023)

Identifiants

  • HAL Id : tel-04231180 , version 1

Citer

Sondes Abderrazek. Assessment of Speech Intelligibility using Deep Learning -- Towards Enhanced Interpretability in Clinical Phonetics: Application to speech disorders due to Head and Neck Cancers. Artificial Intelligence [cs.AI]. Avignon Université, 2023. English. ⟨NNT : ⟩. ⟨tel-04231180⟩
33 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More