Utilisation de LLMs pour la classification d’avis client et comparaison avec une approche classique basée sur CamemBERT - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2024

Utilisation de LLMs pour la classification d’avis client et comparaison avec une approche classique basée sur CamemBERT

Nicolas Vautier
  • Fonction : Auteur
  • PersonId : 1389059
Marc Héry
  • Fonction : Auteur
  • PersonId : 1389060
Mourad Miled
  • Fonction : Auteur
Irène Truche
  • Fonction : Auteur
François Bullier
  • Fonction : Auteur
Anne-Laure Guénet
  • Fonction : Auteur
Guillaume Dubuisson Duplessis
  • Fonction : Auteur
  • PersonId : 1072438
Sabrina Campano
  • Fonction : Auteur
  • PersonId : 1372741
Philippe Suignard

Résumé

Common customer relationship use cases at EDF, such as routing a document to the right person and document categorization, currently require a supervised automatic classification task. In this context, this article compares two approaches for the classification of satisfaction comments and customer emails : a classic approach put into production at EDF based on CamemBERT fine-tuned on EDF data and a more recent approach based on LLMs (Large Language Models). For this 2nd approach, 3 prompting strategies are tested (zero-shot, few-shot, et keyword prompting) with several open-weights LLMs : Mistral, Mixtral, Neural-Hermès, Llama3 and Phi3 on reference classification tasks of 2 different types : binary classification and multilabel. In addition to these strategies, the impact of pre-processing on the LLM input texts was evaluated, as well as the contribution of their fine-tuning specifically for the tasks. If it appears from these tests that the performances of non-finetuned LLMs are below those of CamemBERT approaches, the study provides lessons on the impact of prompting, text preprocessing and the contribution of fine-tuning in the use of these models.
Les cas d’usage courants de la relation client chez EDF comme le routage d’un document à la bonne personne, la catégorisation de documents, font actuellement appel à une tâche de classification automatique supervisée. Dans ce contexte, cet article compare deux approches pour la classification de commentaires de satisfaction et e-mails de clients : une approche classique mise en production à EDF basée sur CamemBERT fine-tuné sur des données EDF et une approche plus récente basée sur des LLMs (Large Language Models). Pour cette 2ème approche, 3 stratégies de prompting sont testées (zero-shot, few-shot, et keyword prompting) avec plusieurs LLMs "open-weights" : Mistral, Mixtral, NeuralHermès, Llama3 et Phi3 sur des tâches de classification de référence de 2 types différents : classification binaire et multilabel. En plus de ces stratégies, l’impact du pré-traitement sur les textes en entrée des LLMs a été évalué, ainsi que l’apport de leur fine-tuning spécifiquement pour les tâches. S’il ressort de ces tests que les performances des LLMs non fine-tunés sont en deçà de celles des approches CamemBERT, l’étude apporte des enseignements sur l’impact du prompting, du pré-traitement des textes et l’apport du fine-tuning dans l’utilisation de ces modèles.
Fichier principal
Vignette du fichier
APIA_EDF_2024_7.pdf (122.39 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04600748 , version 1 (22-08-2024)

Licence

Identifiants

  • HAL Id : hal-04600748 , version 1

Citer

Nicolas Vautier, Marc Héry, Mourad Miled, Irène Truche, François Bullier, et al.. Utilisation de LLMs pour la classification d’avis client et comparaison avec une approche classique basée sur CamemBERT. 10e Conférence Nationale sur les Applications Pratiques de l’Intelligence Artificielle, Jul 2024, La Rochelle, France. ⟨hal-04600748⟩

Collections

EDF APIA-2024
31 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More