Knowledge Integration Inside Multitask Network for Analysis of Unseen ID Types
Intégration de connaissance au sein d'un réseau multi-tâches pour l'analyse de nouveaux types de document d'identité
Résumé
Identity Document recognition is a key step in Know Your Customer applications where identity documents (IDs) are verified. IDs belonging to the same type share the same field structure called template. Traditional ID pipelines leverage this template to guide the localisation of the fields and then the text recognition. However, they have to be tuned to the different templates to correctly perform on those. Thus, such pipelines can not be directly used on new types of IDs. In this work, we address the task of text localisation and recognition in the context of new document types, where only the template is available with no labeled samples from the new ID type. To that end, we propose the use of Context Blocks (CB) performing template self-attention to guide the features of the network by the template. We propose three ways to leverage CB in a multitask architecture. To evaluate our approach, we design a new public task for the MIDV2020 database from rectified inthe-wild photos. Our method achieves the best results for two datasets including an industrial one composed of real examples.
La reconnaissance de documents d'identité (DI) est une étape importante dans les applications de Know Your Customer où ceux-ci sont vérifiés. Les DI appartenant au même type partagent la même structure de champs appelée template. Les systèmes de traitement traditionnels de documents d'identité s'appuient sur ce template afin de guider la localisation des champs et ensuite la reconnaissance du texte présent. Cependant, ils doivent être adaptés à chacun des différents template afin de présenter une performance acceptable. De ce fait, ces systèmes ne peuvent être directement utilisés sur de nouveaux types de documents.
Dans ce travail, nous cherchons à répondre à la tâche de localisation et reconnaissance du texte au sein des documents d'identité, où seul le template est disponible sans disposer d'exemples labelisés pour les nouveaux types. Pour cela, nous proposons l'utilisation de blocs de contexte (BC) effectuant une auto-attention conditionnée par le template. Nous proposons trois moyens d'intégrer ces BC dans une architecture multi-tâches.
Afin d'évaluer notre approche, nous composons également une nouvelle tâche publique sur la base de données MIDV2020 à partir d'images de scènes réelles rectifiées. Notre méthode présente les meilleurs résultats sur les deux bases de données utilisés, incluant une industrielle composée d'exemples réels.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|