Fusion de données acoustiques et articulatoires en reconnaissance automatique de la parole
Résumé
Dans le cadre du projet Applications Multimodales pour Interfaces et Bornes Evoluées (projet AMIBE soutenu par les PRC Informatique 1993 - 1995), est étudiée la bi-modalité naturelle auditive et visuelle de la communication orale. La reconnaissance automatique de la parole s'opère en synchronisant une "lecture labiale" avec un module de reconnaissance des formes acoustiques, par Modèles de Markov Cachés (MMC). Pour fusionner les données acoustiques et articulatoires, nous proposons deux alternatives : - un modèle de Markov caché classique où les données acoustiques et articulatoires sont supposées indépendantes, - une liaison maître esclave entre deux modèles de Markov cachés, le modèle articulatoire pilote le modèle acoustique. Des expériences de reconnaissance automatique sont réalisées sur un corpus de chiffres et lettres épelées connectés, et conduisent à une évaluation comparative des deux approches.
Origine | Fichiers éditeurs autorisés sur une archive ouverte |
---|