Multimodal deep networks for text and image-based document classification - Archive ouverte HAL Access content directly
Conference Papers Year : 2019

Multimodal deep networks for text and image-based document classification

Réseau de neurones multimodal pour la classification de documents image/texte

Nicolas Audebert
Catherine Herold
  • Function : Author
Kuider Slimani
  • Function : Author
  • PersonId : 1049318
Cédric Vidal
  • Function : Author
  • PersonId : 1049319

Abstract

Classification of document images is a critical step for archival of old manuscripts, online subscription and administrative procedures. Computer vision and deep learning have been suggested as a first solution to classify documents based on their visual appearance. However, achieving the fine-grained classification that is required in real-world setting cannot be achieved by visual analysis alone. Often, the relevant information is in the actual text content of the document. We design a multimodal neural network that is able to learn from word embeddings, computed on text extracted by OCR, and from the image. We show that this approach boosts pure image accuracy by 3% on Tobacco3482 and RVL-CDIP augmented by our new QS-OCR text dataset (https://github.com/Quicksign/ocrized-text-dataset), even without clean text information.
La classification automatique de documents numérisés est im-portante pour la dématérialisation de documents historiques comme de procédures administratives. De premières ap-proches ont été suggérées en appliquant des réseaux con-volutifs aux images de documents en exploitant leur aspect visuel. Toutefois, la précision des classes demandée dans un contexte réel dépend souvent de l'information réellement contenue dans le texte, et pas seulement dans l'image. Nous introduisons un réseau de neurones multimodal capable d'apprendre à partir d'un plongement lexical du texte ex-trait par reconnaissance de caractères et des caractéris-tiques visuelles de l'image. Nous démontrons la pertinence de cette approche sur Tobacco3482 et RVL-CDIP, augmen-tés de notre jeu de données textuel QS-OCR (https://github.com/Quicksign/ocrized-text-dataset), sur lesquels nous améliorons les performances d'un modèle image de 3% grâce à l'information sémantique textuelle.
Fichier principal
Vignette du fichier
article_apia.pdf (454.58 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-02163257 , version 1 (01-07-2019)

Identifiers

  • HAL Id : hal-02163257 , version 1

Cite

Nicolas Audebert, Catherine Herold, Kuider Slimani, Cédric Vidal. Multimodal deep networks for text and image-based document classification. Conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle (APIA), Jul 2019, Toulouse, France. ⟨hal-02163257⟩
177 View
2158 Download

Share

Gmail Facebook X LinkedIn More