Language Models for Document Understanding - Archive ouverte HAL Access content directly
Theses Year : 2023

Language Models for Document Understanding

Modèles de Langages pour les Compréhension de Documents

Abstract

Every day, an uncountable amount of documents are received and processed by com- panies worldwide. In an effort to reduce the cost of processing each document, the largest companies have resorted to document automation technologies. In an ideal world, a document can be automatically processed without any human intervention: its content is read, and information is extracted and forwarded to the relevant ser- vice. The state-of-the-art techniques have quickly evolved in the last decades, from rule-based algorithms to statistical models. This thesis focuses on machine learning models for document information extraction. Recent advances in model architecture for natural language processing have shown the importance of the attention mechanism. Transformers have revolution- ized the field by generalizing the use of attention and by pushing self-supervised pre-training to the next level. In the first part, we confirm that transformers with appropriate pre-training were able to perform document understanding tasks with high performance. We show that, when used as a token classifier for information extraction, transformers are able to exceptionally efficiently learn the task compared to recurrent networks. Transformers only need a small proportion of the training data to reach close to maximum performance. This highlights the importance of self-supervised pre-training for future fine-tuning. In the following part, we design specialized pre-training tasks, to better prepare the model for specific data distributions such as business documents. By acknowl- edging the specificities of business documents such as their table structure and their over-representation of numeric figures, we can target specific skills useful for the model in its future tasks. We show that those new tasks improve the model’s down- stream performances, even with small models. Using this pre-training approach, we are able to reach the performances of significantly bigger models without any additional cost during finetuning or inference. Finally, in the last part, we address one drawback of the transformer architecture which is its computational cost when used on long sequences. We show that effi- cient architectures derived from the classic transformer require fewer resources and perform better on long sequences. However, due to how they approximate the atten- tion computation, efficient models suffer from a small but significant performance drop on short sequences compared to classical architectures. This incentivizes the use of different models depending on the input length and enables concatenating multimodal inputs into a single sequence.
Chaque jour, d’innombrables quantités de documents sont receptionnés et traités dans les entreprises du monde entier. Afin de réduire les coûts de traitement associés à chaque document, les plus grandes entreprises se sont résolues à automatiser leur traitement. Dans le meilleur des mondes, le traitement d’un document s’effectue sans aucune intervention humaine : le document est lu par la machine qui en extrait les informations importantes et les transmets au service adéquat. L’état de l’art a rapidement évolué ces dernières décennies, les premiers algorithmes à base de règles écrites manuellement étant devenus des modèles statistiques. Cette thèse se concentre sur les modèles d’apprentissage machine pour l’extraction d’information dans les documents. De récents progès en architecture de modèle pour la compréhension du langage naturel ont montré l’importance des mécanismes d’attention. Les transformeurs ont révolutionné le domaine en démocratisant l’utilisation d’attention et en améliorant les pré-entrainements auto-supervisés. Dans une première partie, nous confirmons qu’avec un pré-entrainement sur des documents, les transformeurs sont capables de réaliser des tâches de compréhension de documents avec grande précision. Nous montrons également que, lorsqu’ils sont utilisés pour de l’extraction d’information par classification de mots, les transformeurs apprenent plus efficacement que les modèles utilisant des réseaux récurrents. Les transformeurs n’ont besoin que d’une petite portion du dataset d’entrainement pour atteindre des performances proche du maximum. Ces résultats soulignent l’importance du pré-entrainement auto- supervisé pour l’apprentissage de la tâche finale. Dans la partie suivante, nous présentons des tâches de pré-entrainement spé- cifiquement conçues pour mieux préparer le modèle à une distribution de données ciblée tels que les documents d’entreprise. En remarquant certaines de leur spéci- ficités telles que leur structure tabulaire et la présence d’un grand nombre de valeurs numériques, il est possible de cibler certains savoir-faires utiles pour la compréhen- sion des documents par le modèle. Nous montrons que ces nouvelles tâches de pré-entrainement améliorent les performances, même avec de petits modèles. Ces derniers atteignent des niveaux de performance similaires à ceux de modèles signi- ficativement plus gros. Ce type de pré-entrainement spécifique est donc une piste sérieuse pour réduire la taille des modèles utilisés, sans coût supplémentaire lors de l’entrainement supervisé ou de l’inférence. Enfin, dans la dernière partie, nous portons notre attention sur un des prin- cipaux défaut de l’architecture transformeur qui est le coût d’évaluation quand le modèle est utilisé sur de longues séquences. Nous montrons que des architectures efficientes dérivées des transformeurs nécessitent moins de ressources et obtiennent de meilleurs résultats sur de longues séquences. Cependant, à cause de la manière dont le calcul d’attention est modifié, ces modèles plus efficients souffrent d’une légère perte de performance sur de courtes séquences comparé au transformeur clas- sique. Ces résultats montrent les avantages d’un système utilisant plusieurs modèles en discriminant sur la taille des séquences à traiter. De plus, ces architectures ef- ficientes ouvrent la possibilité de concaténer des séquences provenant de modalités différentes.
Fichier principal
Vignette du fichier
final_manuscript.pdf (29.71 Mo) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

tel-04459378 , version 1 (15-02-2024)

Identifiers

  • HAL Id : tel-04459378 , version 1

Cite

Thibault Douzon. Language Models for Document Understanding. Artificial Intelligence [cs.AI]. INSA LYON, 2023. English. ⟨NNT : ⟩. ⟨tel-04459378⟩
48 View
20 Download

Share

Gmail Mastodon Facebook X LinkedIn More