Approches multimodales pour la reconnaissance d'expressions mathématiques. Collaboration des modalités audio et écriture manuscrite en-ligne.
Résumé
In this paper, we report some results related to mathematical expression recognition.
We tackle this problem, known to be very difficult, using multimodal information –handwriting
and speech–. This bimodality aspect of the information provides greater reliability since the modalities in concern are very complementary. We present a complete operating system in which
the fusion process is done in every step of the mathematical expression recognition process
(symbol identification, relation identification and interpretation). The bimodal system is evaluated on real bimodal data from the HAMEX dataset and the obtained results are compared to
a single modality (handwriting) based system.
Dans cet article, nous présentons un système original de reconnaissance d’expressions mathématiques dans un cadre bimodal. En disposant à la fois du signal de la parole,
correspondant à la dictée de l’expression, et du signal manuscrit, correspondant à son écriture
manuscrite en-ligne, nous proposons une architecture permettant de combiner ces deux modalités. Nous avons pu mesurer sur la base bimodale HAMEX, les performances respectives des
systèmes mono ou multimodalités, et quantifier la désambiguïsation atteinte grâce à la complémentarité des deux sources d’information.