Le modèle Transformer: un « couteau suisse » pour le traitement automatique des langues - Archive ouverte HAL Access content directly
Journal Articles Techniques de l'Ingenieur Year : 2022

Le modèle Transformer: un « couteau suisse » pour le traitement automatique des langues

François Yvon

Abstract

This paper presents an overview of the state of the art in natural language processing, exploring one specific computational architecture, the Transformer model, which plays a central role in a wide range of applications. This architecture condenses many advances in neural learning methods and can be exploited in many ways : to learn representations for linguistic entities ; to generate coherent utterances and answer questions; to perform utterance transformations, an illustration being their automatic translation. These different facets of the architecture will be successively presented, which will also allow us to discuss its limitations.
Cet article présente un survol de l’état de l’art en traitement automatique des langues, en explorant une architecture computationnelle, le modèle Transformer, qui joue un rôle central dans une large gamme d’applications. Cette architecture condense de nombreuses avancées des méthodes d’apprentissage neuronales et peut être exploitée de multiples manières : pour apprendre à représenter les entités linguistiques ; pour générer des énoncés cohérents et répondre à des questions ; pour réaliser des transformations des énoncés, une illustration étant leur traduction automatique. Ces différentes facettes de l’architecture seront successivement présentées, ce qui permettra également d’évoquer ses limitations.
Fichier principal
Vignette du fichier
Transformers.pdf (1.17 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-03619077 , version 1 (24-03-2022)

Licence

Copyright

Identifiers

Cite

François Yvon. Le modèle Transformer: un « couteau suisse » pour le traitement automatique des langues. Techniques de l'Ingenieur, 2022, ⟨10.51257/a-v1-in195⟩. ⟨hal-03619077⟩
111 View
25 Download

Altmetric

Share

Gmail Facebook Twitter LinkedIn More