Multimodal deep networks for text and image-based document classification
Réseau de neurones multimodal pour la classification de documents image/texte
Résumé
Classification of document images is a critical step for archival of old manuscripts, online subscription and administrative procedures. Computer vision and deep learning have been suggested as a first solution to classify documents based on their visual appearance. However, achieving the fine-grained classification that is required in real-world setting cannot be achieved by visual analysis alone. Often, the relevant information is in the actual text content of the document. We design a multimodal neural network that is able to learn from word embeddings, computed on text extracted by OCR, and from the image. We show that this approach boosts pure image accuracy by 3% on Tobacco3482 and RVL-CDIP augmented by our new QS-OCR text dataset (https://github.com/Quicksign/ocrized-text-dataset), even without clean text information.
La classification automatique de documents numérisés est im-portante pour la dématérialisation de documents historiques comme de procédures administratives. De premières ap-proches ont été suggérées en appliquant des réseaux con-volutifs aux images de documents en exploitant leur aspect visuel. Toutefois, la précision des classes demandée dans un contexte réel dépend souvent de l'information réellement contenue dans le texte, et pas seulement dans l'image. Nous introduisons un réseau de neurones multimodal capable d'apprendre à partir d'un plongement lexical du texte ex-trait par reconnaissance de caractères et des caractéris-tiques visuelles de l'image. Nous démontrons la pertinence de cette approche sur Tobacco3482 et RVL-CDIP, augmen-tés de notre jeu de données textuel QS-OCR (https://github.com/Quicksign/ocrized-text-dataset), sur lesquels nous améliorons les performances d'un modèle image de 3% grâce à l'information sémantique textuelle.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|