Recognition of Online Handwritten Mathematical Expressions using Contextual Information
Reconnaissance d’Expressions Mathématiques Manuscrites Guidée par le Contexte
Résumé
Online handwritten mathematical expressions consist of
sequences of strokes. Automatic recognition these data
requires solving three subproblems: symbol
segmentation, symbol classification, and structural
analysis (i.e. identification of spatial relations between
symbols). Ambiguity, that often leads to several likely
interpretations, and the non-linear structure of the
expressions are main issues of the recognition process.
In this thesis, we model the recognition problem as a
graph parsing problem. The graph-based description of
relations in production rules allows direct modeling of
non-linear structures. Our parsing algorithm determines
recursive partitions of the input strokes that induce
graphs matching the production rule graphs. To mitigate
the computational cost, we constrain the partitions to
graphs derived from sets of symbol and relation
hypotheses, calculated using previously trained
classifiers. A set of labels that indicate likely
interpretations is associated to each hypothesis, and the
selection of the best interpretation is driven by the
parsing algorithm. The parsing method computes
multiple parse trees to represent alternative
interpretations, assigns a cost to each tree and selects a
tree with minimum cost as result. The evaluations show
that the proposed method is more accurate than several
state of the art methods; the use of symbol and relation
hypotheses to constrain the search space effectively
reduces the parsing complexity; and adaptation to other
two-dimensional object recognition problems is possible.
As a secondary contribution, we developed a framework
to automatize the handwritten mathematical expression
datasets building process.
Les expressions mathématiques manuscrites en-ligne
sont constituées d'une séquence de traces. Leur
reconnaissance nécessite de résoudre trois problèmes
fondamentaux: la segmentation de ses symboles, leur
reconnaissance et l'analyse structurelle de l'expression
(i.e. l'identification des relations spatiales inter-
symboles). La nature ambiguë des expressions
manuscrites et leur structure spatiale sont les
problèmes principaux du processus de
reconnaissance. Dans cette thèse, nous proposons une
modélisation du problème par une analyse syntaxique
de graphes. La description des règles de production
grammaticales par des graphes permet de modéliser
directement la nature non linéaire des structures. Notre
algorithme d'analyse détermine récursivement les
partitions des traces en respectant les graphes des
règles de production. Pour diminuer le coût de calcul,
graphes issus des partitions sont limitées à un
ensemble d'hypothèses de symboles et de relations pré-
calculées grâce à classifieur entraîné. Ce classifieur
donne à chaque hypothèse un ensemble d'étiquettes
associées à leur vraisemblance. C'est l'analyse
syntaxique qui sélectionnera la meilleure interprétation
globale. Cette analyse produit de plusieurs arbres
syntaxiques pour représenter plusieurs interprétations,
leur associe un coût et choisit l'arbre avec le coût le plus
faible pour l'interprétation finale. Les évaluations
effectuées sur une base d'expressions conséquente et
publique ont permis de montrer que notre approche est
plus performantes que plusieurs méthodes de l'état de
l'art et que l'utilisation du graphe d'hypothèses de
symboles et de relations permet de contrôler la
complexité de l'analyse. L'adaptation à d'autres
langages graphiques est possible.
Loading...