Communication Dans Un Congrès Année : 2025

A survey on LLM hallucinations

Une revue sur les hallucinations des LLM

Résumé

We present a taxonomy of hallucinations in LLMs, categorized into three types: unfaithful hallucinations, factual contradictions, and factual fabrications. These hallucinations can be caused by pretraining and alignment data, leading to misinformation, biases, and lapses in knowledge. Training methods can introduce problems like overfitting, snowball effects, or sycophancy. Decoding strategies can also render models overconfident and prone to assigning probabilities to incorrect outputs. We present current research on detecting and mitigating hallucinations; traditional NLP methods, such as fact-checking and classification, as well as LLM-based methods. Mitigation solutions include improving pretraining data quality, injecting new knowledge such as with RAG, optimizing methods, SFT, and RLHF, and factuality and post-editing decoding methods to improve LLM output.

Nous présentons une taxonomie des hallucinations dans les LLM, classées en trois catégories : hallucinations infidèles, contradictions factuelles et fabrications factuelles. Ces hallucinations peuvent se produire à cause des données de pré-entraînement et d'alignement, conduisant à des informations erronées, des préjugés et des erreurs de connaissance. Les méthodes d'entraînement peuvent introduire des problèmes tels que l'ajustement excessif, les effets boule de neige ou la sycophantie. Les stratégies de décodage peuvent également rendre les modèles trop confiants et enclins à attribuer des probabilités aux résultats incorrects. Une bibliographie sur la détection et atténuation des hallucinations est présentée : des méthodes de TALN, telles que la vérification des faits et la classification, de même que des méthodes basées sur les LLM. Les solutions d'atténuation des hallucinations comprennent l'amélioration de la qualité des données de pré-entraînement, l'injection de nouvelles connaissances (par ex. avec RAG), l'optimisation, SFT et RLHF, ainsi que des méthodes de décodage.

Fichier principal
Vignette du fichier
_TALN_2025__LLM_hallucination_survey (1).pdf (282.82 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-05279740 , version 1 (24-09-2025)

Licence

Identifiants

  • HAL Id : hal-05279740 , version 1

Citer

Eleni Metheniti, Swarnadeep Bhar, Nicholas Asher. Une revue sur les hallucinations des LLM. 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux (CORIA-TALN 2025), Jun 2025, Marseille, France. ⟨hal-05279740⟩
1923 Consultations
361 Téléchargements

Partager

  • More