Using Transformers for the Automatic Prediction of Speech Intelligibility in the Context of Head and Neck Cancers
Utilisation de modèles transformers pour la prédiction de l'intelligibilité de la parole de patients atteints de cancers des voies aérodigestives supérieures
Résumé
The automatic prediction of speech intelligibility is a widely relevant topic, specially when considering the clinical applications that it has within pathological speech. Due to the characteristic bias, variance and subjectivity associated with the perceptual evaluations, the standard in clinical contexts, an automatic approach becomes relevant. In the present work we aim to devise an automatic way to regress an intelligibility score based on acoustic-phonetic decoding from a set of pseudo-words from head and neck cancers. Our suggested approach is based on deep neural networks with an attention mechanism (transformers), and it presents not only a high correlation value of 0.87. Moreover, on the present work we study the reliability of using smaller amounts of data in the automatic prediction,showing that it is possible to obtain very similar results when using drastically smaller subsets of the original data.
La prédiction automatique de l'intelligibilité de la parole est un sujet pertinent pour l'évaluation de la parole pathologique. Cette automatisation permet de limiter les biais et la subjectivité liés aux évaluations perceptuelles, évaluations très courantes en pratique clinique, et ainsi rendre plus robuste l'évaluation du patient. Dans ce travail, nous calculons un score d'intelligibilité basé sur une tâche de décodage acoustique-phonétique, où un ensemble de pseudo-mots est prononcé par des patients atteints de cancer des voies aérodigestives supérieures. Notre approche est fondée sur des réseaux de neurones profonds avec attention. Nous obtenons un score automatique d'intelligibilité fortement corrélé à l'évaluation perceptive (ρ = 0, 87). En étudiant la fiabilité de notre prédiction sur un sous-ensemble de notre corpus, nous montrons qu'il est possible d'obtenir des résultats très similaires en utilisant de faibles quantités de données.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|