New Architectures for Handwritten Mathematical Expressions Recognition
Nouvelles architectures pour la reconnaissance des expressions mathématiques manuscrites
Résumé
As an appealing topic in pattern recognition, handwritten mathematical expression recognition
exhibits a big research challenge and underpins many practical applications. Both a large set of symbols
(more than 100) and 2-D structures increase the difficulty of this recognition problem. In this thesis, we
focus on online handwritten mathematical expression recognition using BLSTM and CTC topology, and
finally build a graph-driven recognition system, bypassing the high time complexity and manual work
in the classical grammar-driven systems. To allow the 2-D structured language to be handled by the
sequence classifier, we extend the chain-structured BLSTM to an original Tree-based BLSTM, which could
label a tree structured data. The CTC layer is adapted with local constraints, to align the outputs and at the
same time benefit from introducing the additional ’blank’ class. The proposed system addresses the
recognition task as a graph building problem. The input expression is a sequence of strokes, and then an
intermediate graph is derived considering temporal and spatial relations among strokes. Next, several
trees are derived from the graph and labeled with Tree-based BLSTM. The last step is to merge these
labeled trees to build an admissible stroke label graph (SLG) modeling 2-D formulas uniquely. One major
difference with the traditional approaches is that there is no explicit segmentation, recognition and layout
extraction steps but a unique trainable system that produces directly a SLG describing a mathematical
expression. The proposed system, without any grammar, achieves competitive results in online math
expression recognition domain.
Véritable challenge scientifique, la reconnaissance d’expressions mathématiques manuscrites est un
champ très attractif de la reconnaissance des formes débouchant sur des applications pratiques innovantes.
En effet, le grand nombre de symboles (plus de 100) utilisés ainsi que la structure en 2 dimensions des
expressions augmentent la difficulté de leur reconnaissance. Dans cette thèse, nous nous
intéressons à la reconnaissance des expressions mathématiques manuscrites en-ligne en utilisant de
façon innovante les réseaux de neurones récurrents profonds BLSTM avec CTC pour construire un
système d’analyse basé sur la construction de graphes. Nous avons donc étendu la structure linéaire
des BLSTM à des structures d’arbres (Tree-Based BLSTM) permettant de couvrir les 2 dimensions du
langage. Nous avons aussi proposé d’ajouter des contraintes de localisation dans la couche CTC pour
adapter les décisions du réseau à l’échelle des traits de l’écriture, permettant une modélisation et une
évaluation robustes. Le système proposé construit un graphe à partir des traits du tracé à reconnaître et de
leurs relations spatiales. Plusieurs arbres sont dérivés de ce graphe puis étiquetés par notre Tree-Based
BLSTM. Les arbres obtenus sont ensuite fusionnés pour construire un SLG (graphe étiqueté de traits)
modélisant une expression 2D. Une différence majeure par rapport aux systèmes traditionnels est
l’absence des étapes explicites de segmentation et reconnaissance des symboles isolés puis d’analyse
de leurs relations spatiales, notre approche produit directement un graphe SLG. Notre système sans
grammaire obtient des résultats comparables aux systèmes spécialisés de l’état de l’art.
Fichier principal
New Architectures for Handwritten Mathematical Expressions Recognition_vf-fr.pdf (4.37 Mo)
Télécharger le fichier
Origine | Fichiers produits par l'(les) auteur(s) |
---|
Loading...