Pré-Publication, Document De Travail Année : 2023

Complex QA and language models hybrid architectures, Survey

Résumé

This paper reviews the state-of-the-art of large language models (LLM) architectures and strategies for "complex" question-answering with a focus on hybrid architectures. LLM based chatbot services have allowed anyone to grasp the potential of LLM to solve many common problems, but soon discovered their limitations for complex questions. Addressing more specific, complex questions (e.g., "What is the best mix of power-generation methods to reduce climate change ?") often requires specialized architectures, domain knowledge, new skills, decomposition and multi-step resolution, deep reasoning, sensitive data protection, explainability, and human-in-the-loop processes. Therefore, we review: (1) necessary skills and tasks for handling complex questions and common LLM limits to overcome; (2) dataset, cost functions and evaluation metrics for measuring and improving (e.g. accuracy, explainability, fairness, robustness, groundedness, faithfulness, toxicity...); (3) family of solutions to overcome LLM limitations by (a) training and reinforcement (b) hybridization, (c) prompting, (d) agentic-architectures (agents, tools) and extended reasoning.

Cet article passe en revue l’état de l’art des architectures de grands modèles de langage (LLM) et des stratégies pour la réponse à des questions « complexes », en mettant l’accent sur les architectures hybrides. Les services de chatbots IA basés sur des LLM ont permis à chacun de découvrir la capacité des LLM à résoudre de nombreux problèmes courants, mais ont rapidement révélé leurs limites pour les questions complexes. Traiter des questions plus spécifiques et complexes (par exemple : « Quelle est la meilleure combinaison de modes de production d’énergie pour réduire le changement climatique ? ») nécessite souvent des architectures spécialisées, des connaissances supplémentaires du domaine, de nouvelles capacités d'analyse, la décomposition et la résolution en plusieurs étapes, un raisonnement profond, la protection de données sensibles, de l’explicabilité et des processus avec intervention humaine (« human-in-the-loop »). Nous passons donc en revue : (1) les compétences et tâches nécessaires pour traiter les questions complexes et les limites courantes des LLM à dépasser ; (2) les jeux de données, fonctions de coût et métriques d’évaluation pour mesurer et améliorer les systèmes (par ex. : précision, explicabilité, équité, robustesse, ancrage / groundedness, fidélité, toxicité…) ; (3) les familles de solutions pour surmonter les limites des LLM par : (a) l’entraînement et l’apprentissage par renforcement, (b) l’hybridation, (c) le prompting, (d) les architectures à base d’agents (agentic architectures — agents, outils) et le raisonnement étendu.

Fichier principal
Vignette du fichier
2302.09051v5.pdf (2.53 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-05173860 , version 1 (21-07-2025)
hal-05173860 , version 2 (08-11-2025)

Licence

Identifiants

Citer

Xavier Daull, Patrice Bellot, Emmanuel Bruno, Vincent Martin, Elisabeth Murisasco. Complex QA and language models hybrid architectures, Survey. 2025. ⟨hal-05173860v2⟩
174 Consultations
1558 Téléchargements

Altmetric

Partager

  • More