Recognition of Online Handwritten Mathematical Expressions using Contextual Information - Archive ouverte HAL Access content directly
Theses Year : 2016

Recognition of Online Handwritten Mathematical Expressions using Contextual Information

Reconnaissance d’Expressions Mathématiques Manuscrites Guidée par le Contexte

Abstract

Online handwritten mathematical expressions consist of sequences of strokes. Automatic recognition these data requires solving three subproblems: symbol segmentation, symbol classification, and structural analysis (i.e. identification of spatial relations between symbols). Ambiguity, that often leads to several likely interpretations, and the non-linear structure of the expressions are main issues of the recognition process. In this thesis, we model the recognition problem as a graph parsing problem. The graph-based description of relations in production rules allows direct modeling of non-linear structures. Our parsing algorithm determines recursive partitions of the input strokes that induce graphs matching the production rule graphs. To mitigate the computational cost, we constrain the partitions to graphs derived from sets of symbol and relation hypotheses, calculated using previously trained classifiers. A set of labels that indicate likely interpretations is associated to each hypothesis, and the selection of the best interpretation is driven by the parsing algorithm. The parsing method computes multiple parse trees to represent alternative interpretations, assigns a cost to each tree and selects a tree with minimum cost as result. The evaluations show that the proposed method is more accurate than several state of the art methods; the use of symbol and relation hypotheses to constrain the search space effectively reduces the parsing complexity; and adaptation to other two-dimensional object recognition problems is possible. As a secondary contribution, we developed a framework to automatize the handwritten mathematical expression datasets building process.
Les expressions mathématiques manuscrites en-ligne sont constituées d'une séquence de traces. Leur reconnaissance nécessite de résoudre trois problèmes fondamentaux: la segmentation de ses symboles, leur reconnaissance et l'analyse structurelle de l'expression (i.e. l'identification des relations spatiales inter- symboles). La nature ambiguë des expressions manuscrites et leur structure spatiale sont les problèmes principaux du processus de reconnaissance. Dans cette thèse, nous proposons une modélisation du problème par une analyse syntaxique de graphes. La description des règles de production grammaticales par des graphes permet de modéliser directement la nature non linéaire des structures. Notre algorithme d'analyse détermine récursivement les partitions des traces en respectant les graphes des règles de production. Pour diminuer le coût de calcul, graphes issus des partitions sont limitées à un ensemble d'hypothèses de symboles et de relations pré- calculées grâce à classifieur entraîné. Ce classifieur donne à chaque hypothèse un ensemble d'étiquettes associées à leur vraisemblance. C'est l'analyse syntaxique qui sélectionnera la meilleure interprétation globale. Cette analyse produit de plusieurs arbres syntaxiques pour représenter plusieurs interprétations, leur associe un coût et choisit l'arbre avec le coût le plus faible pour l'interprétation finale. Les évaluations effectuées sur une base d'expressions conséquente et publique ont permis de montrer que notre approche est plus performantes que plusieurs méthodes de l'état de l'art et que l'utilisation du graphe d'hypothèses de symboles et de relations permet de contrôler la complexité de l'analyse. L'adaptation à d'autres langages graphiques est possible.
Fichier principal
Vignette du fichier
PhD_Thesis_Frank_Julca-Aguilar.pdf (5.07 Mo) Télécharger le fichier
Loading...

Dates and versions

tel-01326354 , version 1 (03-06-2016)

Identifiers

  • HAL Id : tel-01326354 , version 1

Cite

Frank Julca-Aguilar. Recognition of Online Handwritten Mathematical Expressions using Contextual Information. Computer Vision and Pattern Recognition [cs.CV]. Université de Nantes; Université Bretagne Loire; Universidade de São Paulo, 2016. English. ⟨NNT : ⟩. ⟨tel-01326354⟩
277 View
335 Download

Share

Gmail Facebook Twitter LinkedIn More