Combining physical and textual approaches for parish register recognition
Combinaison de connaissances physiques et textuelles pour la reconnaissance d’images de registres anciens
Abstract
This thesis focuses on automatic recognition of historical French registers. These documents contain a series of records, and contain valuable information for genealogists. We present three main contributions. Firstly, we introduce a hybrid methodology for document layout recognition, combining neural networks and logical rules. We demonstrate the strength of this approach, especially when few training documents are available. Secondly, we focus on automatic handwritten text understanding. We adapt an attention-based neural network for this task and demonstrate that combining handwriting recognition and named entity recognition increases performance. We also study various training strategies for multi-task and multi-scale analysis. Finally, we adress synthetic document generation, modeling the textual content and the visual appareance of real records. This approach is crucial as it allows
to reduce the dependancy on annotated documents, which is a key issue in this work.
Nos travaux portent sur la reconnaissance automatique de documents historiques ayant un intérêt fondamental en généalogie : les registres paroissiaux. Nos contributions s’articulent en trois axes. Le premier axe porte sur la reconnaissance de la structure de ces registres. Nous proposons une méthode
hybride capable de localiser les actes en s’appuyant sur l’apprentissage de motifs structurels et leur groupement logique à l’aide de règles. Le deuxième axe adresse la reconnaissance du contenu textuel de ces documents. Nous adaptons un réseau de neurone avec mécanisme d’attention pour la reconnaissance d’écriture manuscrite, et montrons l’intérêt d’une reconnaissance conjointe d’écriture manuscrite et entités nommées. Nous étudions également plusieurs stratégies d’apprentissage conjointes. Le troisième axe aborde la génération de documents synthétiques. Nous proposons une méthode pour générer des actes synthétiques, en modélisant les structures de phrases récurrentes des actes et en implémentant des transformations permettant de déformer et dégrader les images synthétisées grâce à des polices manuscrites. Nous montrons l’intérêt de cette stratégie pour réduire le besoin en transcriptions manuelles, qui est un enjeu majeur de ce travail.
Domains
Computer Science [cs]Origin | Files produced by the author(s) |
---|---|
Licence |