Chaque jour, d’innombrables quantités de documents sont receptionnés et traités dans les entreprises du monde entier. Afin de réduire les coûts de traitement associés à chaque document, les plus grandes entreprises se sont résolues à automatiser leur traitement. Dans le meilleur des mondes, le traitement d’un document s’effectue sans aucune intervention humaine : le document est lu par la machine qui en extrait les informations importantes et les transmets au service adéquat. L’état de l’art a rapidement évolué ces dernières décennies, les premiers algorithmes à base de règles écrites manuellement étant devenus des modèles statistiques. Cette thèse se concentre sur les modèles d’apprentissage machine pour l’extraction d’information dans les documents. De récents progès en architecture de modèle pour la compréhension du langage naturel ont montré l’importance des mécanismes d’attention. Les transformeurs ont révolutionné le domaine en démocratisant l’utilisation d’attention et en améliorant les pré-entrainements auto-supervisés. Dans une première partie, nous confirmons qu’avec un pré-entrainement sur des documents, les transformeurs sont capables de réaliser des tâches de compréhension de documents avec grande précision. Nous montrons également que, lorsqu’ils sont utilisés pour de l’extraction d’information par classification de mots, les transformeurs apprenent plus efficacement que les modèles utilisant des réseaux récurrents. Les transformeurs n’ont besoin que d’une petite portion du dataset d’entrainement pour atteindre des performances proche du maximum. Ces résultats soulignent l’importance du pré-entrainement auto- supervisé pour l’apprentissage de la tâche finale. Dans la partie suivante, nous présentons des tâches de pré-entrainement spé- cifiquement conçues pour mieux préparer le modèle à une distribution de données ciblée tels que les documents d’entreprise. En remarquant certaines de leur spéci- ficités telles que leur structure tabulaire et la présence d’un grand nombre de valeurs numériques, il est possible de cibler certains savoir-faires utiles pour la compréhen- sion des documents par le modèle. Nous montrons que ces nouvelles tâches de pré-entrainement améliorent les performances, même avec de petits modèles. Ces derniers atteignent des niveaux de performance similaires à ceux de modèles signi- ficativement plus gros. Ce type de pré-entrainement spécifique est donc une piste sérieuse pour réduire la taille des modèles utilisés, sans coût supplémentaire lors de l’entrainement supervisé ou de l’inférence. Enfin, dans la dernière partie, nous portons notre attention sur un des prin- cipaux défaut de l’architecture transformeur qui est le coût d’évaluation quand le modèle est utilisé sur de longues séquences. Nous montrons que des architectures efficientes dérivées des transformeurs nécessitent moins de ressources et obtiennent de meilleurs résultats sur de longues séquences. Cependant, à cause de la manière dont le calcul d’attention est modifié, ces modèles plus efficients souffrent d’une légère perte de performance sur de courtes séquences comparé au transformeur clas- sique. Ces résultats montrent les avantages d’un système utilisant plusieurs modèles en discriminant sur la taille des séquences à traiter. De plus, ces architectures ef- ficientes ouvrent la possibilité de concaténer des séquences provenant de modalités différentes.