Intégration du raisonnement numérique dans les modèles de langue : État de l'art et direction de recherche - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Intégration du raisonnement numérique dans les modèles de langue : État de l'art et direction de recherche

Résumé

Ces dernières années, les modèles de langue ont connu une évolution galopante grâce à l'augmentation de la puissance de calcul qui a rendu possible l'utilisation des réseaux de neurones. Parallèlement, l'intégration du raisonnement numérique dans les modèles de langue a suscité un intérêt grandissant. Pourtant, bien que l'entraînement des modèles de langue sur des données numériques soit devenu un paradigme courant, les modèles actuels ne parviennent pas à effectuer des calculs de manière satisfaisante. Pour y remédier, une solution est d'entraîner les modèles de langue à utiliser des outils externes tels qu'une calculatrice ou un "runtime" de code python pour effectuer le raisonnement numérique. L'objectif de ce papier est double, dans un premier temps nous passons en revue les travaux de l'état de l'art sur le raisonnement numérique dans les modèles de langue et dans un second temps nous discutons des différentes perspectives de recherche pour augmenter les compétences numériques des modèles.
Fichier principal
Vignette du fichier
461920.pdf (368.4 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04131560 , version 1 (20-06-2023)

Identifiants

  • HAL Id : hal-04131560 , version 1

Citer

Sarah Abchiche, Lynda Said Lhadj, Vincent Guigue, Laure Soulier. Intégration du raisonnement numérique dans les modèles de langue : État de l'art et direction de recherche. 18e Conférence en Recherche d'Information et Applications - 16e Rencontres Jeunes Chercheurs en RI - 30e Conférence sur le Traitement Automatique des Langues Naturelles - 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, 2023, Paris, France. pp.173-184. ⟨hal-04131560⟩
89 Consultations
59 Téléchargements

Partager

Gmail Facebook X LinkedIn More