Assessment of Speech Intelligibility using Deep Learning -- Towards Enhanced Interpretability in Clinical Phonetics
Évaluation de l'intelligibilité de la parole par apprentissage profond -- Vers plus d'interprétabilité en phonétique clinique
Résumé
Speech intelligibility is an essential component of effective communication. It refers to the
degree to which a speaker’s intended message can be understood by a listener. This capacity can
be hampered as a consequence of speech disorders, which results in a reduced quality of life for
individuals. In the case of Head and Neck Cancer (HNC), speech may be affected due to the
presence of tumors in the speech production system, but the main cause of speech impairment is
typically the tumor treatment including surgery, radiotherapy, chemotherapy, or a combination
of these treatments. In such cases, the evaluation of speech quality is crucial to assess the
communication deficit of patients and develop targeted treatment plans. In clinical practice,
perceptual measures are considered the gold standard for assessing speech disorders. Although
these measures are widely used, they suffer from several limitations, the most important of which
is their subjectivity. Consequently, the automatic assessment of speech disorders has emerged
as a promising alternative to perceptual measures since the 90s.
In this thesis, we explore the potential of deep learning (DL) techniques to evaluate speech
disorders while addressing the shortcomings of existing tools. In this sensitive clinical context
where the stakes are high and trust is paramount, we consider the explainability and interpretability of DL tools as requirements rather than optional features. Therefore, we propose a three-step
methodology based on deep learning and dedicated to an interpretable assessment of speech
intelligibility in the context of speech disorders.
In the first step, we tackle a major issue in the current automatic tools dedicated to disordered
speech assessment which is the limited insight into the relationship between speech disorders
and the resulting assessment. To this end, we implement a DL-based model, trained on healthy
speech and dedicated to an intermediate task which is French phoneme classification. This
methodological choice serves two purposes. The first is to take advantage of the phoneme-level
knowledge obtained from the classification task to answer the major problem mentioned above.
That is, it will enable the provision of insightful information about the final assessment score at
the phoneme level in a subsequent stage. The second is related to the use of healthy (normal)
speech. Indeed, this allows overcoming the very limited amount of pathological data available
while meeting the high data quantity requirements of deep learning.
In the second step, the primary objective is to guarantee the interpretability of the developed
solution, thereby ensuring its acceptance within the clinical practice setting. Thus, we investigate
the capacity of the implemented phoneme classifier in yielding relevant knowledge related to the
characteristics of speech pathology. We then propose Neuro-based Concept Detector (NCD),
our general analytic framework for the explainability of the deep representations of a DL-based
model. This framework highlights, within the classification model resulting from the first step,
a representation of the acoustic and articulatory characteristics of healthy speech in terms of
phonetic features, easily interpretable in terms of alterations in the case of speech disorders. We,
therefore, hit two targets with one shot through this methodological choice. Indeed, not only
do we actively take steps to mitigate the impact of the black-box nature of DL models, but also
we ensure an additional level of granularity that clinicians can use to link and interpret the final
intelligibility assessment.
Finally, the third step is dedicated to the prediction of a final score assessing the speech intelligibility of a person. This step is based on the different levels of representation provided by the
two previous steps, allowing to relate the predicted intelligibility score to the degree of speech
alteration at the phoneme and phonetic feature levels. The overall proposed methodology thus
provides an interpretation of the speech assessment score in the field of phonetics for clinicians.
The promising results obtained on a population of HNC patients suggest the potential of such a
methodology to monitor the progress of therapy or to develop tailored rehabilitation protocols
that would improve the patient’s ability to communicate effectively, leading consequently to improved quality of life. The validation of this methodology in clinical practice is one of the many perspectives of this thesis.
L’intelligibilité de la parole est une composante essentielle d’une communication efficace. Elle
peut être définie comme le degré avec lequel le message d’un locuteur peut être compris par un
auditeur. Cette capacité peut être entravée par des troubles de la parole, entraînant potentiellement une diminution de la qualité de vie pour les individus. Dans le cas du cancer de la tête et
du cou, la parole peut être affectée par la présence de tumeurs dans l’appareil de production de la
parole. Néanmoins, la cause principale est généralement le traitement de la tumeur, impliquant
notamment la chirurgie, la radiothérapie, la chimiothérapie ou une combinaison de ces traitements. Dans de tels cas, l’évaluation de la qualité de la parole est cruciale pour évaluer le déficit
de communication des patients et élaborer des plans de traitement ciblés. En pratique clinique,
les mesures perceptives sont considérées comme un standard pour l’évaluation des troubles de
la parole. Bien que ces mesures soient largement utilisées, elles présentent plusieurs limites, la
plus importante étant leur subjectivité. Par conséquent, l’évaluation automatique des troubles de
la parole s’est révélée être une alternative prometteuse aux mesures perceptives dés les années
’90.
Dans cette thèse, nous explorons le potentiel des techniques d’apprentissage profond pour
évaluer les troubles de la parole tout en abordant les limites des outils d’évaluation existants.
Dans ce contexte clinique sensible où les enjeux sont élevés et la confiance primordiale, nous
considérons l’explicabilité et l’interprétabilité de ces outils comme une caractéristique obligatoire plutôt qu’optionnelle. Nous proposons une méthodologie en trois étapes basée sur
l’apprentissage profond et dédiée à l’évaluation interprétable de l’intelligibilité dans le contexte
des troubles de la parole.
Dans la première étape, nous abordons un problème majeur dans les outils automatiques
actuels dédiés à l’évaluation de la parole altérée, à savoir une connaissance limitée sur la relation
entre les troubles de la parole et le score d’évaluation qui en découle. À cette fin, nous mettons en
place un modèle basé sur l’apprentissage profond, entraîné sur de la parole saine et dédié à une
tâche intermédiaire de classification des phonèmes du français. Ce choix méthodologique a deux
vocations. La première est de tirer bénéfice des connaissances au niveau phonème apportées par
la tâche de classification pour répondre au problème majeur évoqué précedemment. La seconde
est en lien avec l’utilisation de la parole saine (normale). Elle permet de pallier la quantité
très limitée de données pathologiques à disposition, tout en répondant aux exigences élevées en
matière de quantité de données de l’apprentissage profond.
Dans la deuxième étape, l’objectif majeur est de garantir le développement d’une solution
interprétable, en vue de son acceptation en pratique clinique. Dans cet optique, nous étudions la
capacité du modèle de classification des phonèmes à produire des connaissances pertinentes liées
aux caractéristiques des troubles de la parole ciblés. Nous proposons ainsi un cadre analytique
général et original, nommé Neuro-based Concept Detector - NCD, spécialement conçu pour
interpréter les représentations profondes d’un modèle. Ce cadre permet de mettre en évidence
au sein du modèle de classification issu de la première étape une représentation des caractéristiques acoustiques et articulatoires de la parole saine en terme de traits phonétiques, facilement
interprétables en matière d’altérations en cas de troubles de la parole.
Enfin, la troisième étape est consacrée à la prédiction d’un score final évaluant l’intelligibilité
de la parole d’un individu. Cette étape repose sur les différents niveaux de représentation apportés par les deux étapes précédentes, permettant de mettre en relation le score d’intelligibilité
prédit avec le degré d’altération de la parole au niveau phonème et traits phonétiques. Cette
méthodologie globale apporte ainsi une interpretation du score d’évaluation dans le domaine de
la phonétique à destination des clinicians. Les résultats prometteurs obtenus sur une population de patients atteints de cancer de la tête et du cou laissent envisager le potentiel d’une telle
méthodologie pour suivre les progrès d’une thérapie ou développer des protocoles de rééducation sur mesure qui amélioreraient la capacité du patient à communiquer efficacement et, par
conséquent, sa qualité de vie. La validation de cette méthodologie en pratique clinique est l’une
des nombreuses perspectives de ce travail de thèse.