Multimodal Attention-Based Learning for Imbalanced Corporate Documents Classification - Archive ouverte HAL Accéder directement au contenu
Article Dans Une Revue Lecture Notes in Computer Science Année : 2021

Multimodal Attention-Based Learning for Imbalanced Corporate Documents Classification

Apprentissage multimodal basé sur des modèles d'attention pour la classification de documents dans un contexte déséquilibré

Résumé

The corporate document classification process may rely on the use of textual approach considered separately of image features. On the opposite, some methods only use the visual content of documents while ignoring the semantic information. This semantic corresponds to an important part of corporate documents which make some classes of document impossible to distinguish effectively. The recent state-of-theart deep learning methods propose to combine the textual content and the visual features within a multi-modal approach. In addition, corporate document classification processes offer a particular challenge for deep learning-based systems with an imbalanced corpus. Indeed the neural network performances strongly depend on the corpus used to train the network, and an imbalanced set generally entails bad final system performances. This paper proposes a multi-modal deep convolutional network with an attention model designed to classify a large variety of imbalanced corporate documents. Our proposed approach is compared to several state-of-the-art methods designed for document classification task using the textual content, the visual content and some multi-modal approaches. We obtained higher performances on our two testing datasets with an improvement of 2% on our private dataset and a 3% on the public RVL-CDIP dataset.
Les documents administratifs ont la particularité d'être identifiables par leur contenu textuel (contenu sémantique) ou par leur mise en page (contenu visuel) et pourtant la classification de ces documents ne se fait généralement qu'à partir d'une de ces informations. Chacune d'entre elles constitue pourtant une part essentielle du document qui peut rendre impossible la distinction entre certaines classes. Les méthodes multimodales de l'état de l'art nécessitent une large base étiquetée pour l'ensemble des classes alors que dans la vie réelle les données sont généralement déséquilibrées. Nous proposons ici un modèle adapté à cette contrainte composé d'un RNN texte et d'un CNN visuel. Leur combinaison permet d'obtenir une description multimodale. Un modèle d'attention est également proposé pour chaque modalité afin de classifier plus efficacement une large variété de documents administratifs. Cette combinaison offre un gain de performance de 1% sur notre base de données privée et 3% sur la base de données publique RVL-CDIP.
Fichier principal
Vignette du fichier
EGC21_accepted.pdf (212.44 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Licence : CC BY NC ND - Paternité - Pas d'utilisation commerciale - Pas de modification

Dates et versions

hal-04089277 , version 1 (24-05-2023)

Identifiants

Citer

Ibrahim Souleiman Mahamoud, Joris Voerman, Mickaël Coustaty, Aurélie Joseph, Vincent Poulain D’andecy, et al.. Multimodal Attention-Based Learning for Imbalanced Corporate Documents Classification. Lecture Notes in Computer Science, 2021, Lecture Notes in Computer Science, 12823, pp.223 - 237. ⟨10.1007/978-3-030-86334-0_15⟩. ⟨hal-04089277⟩

Collections

UNIV-ROCHELLE
0 Consultations
53 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More