Complex QA and language models hybrid architectures, Survey
Résumé
This paper reviews the state-of-the-art of large language models (LLM) architectures and strategies for "complex" question-answering with a focus on hybrid architectures. LLM based chatbot services have allowed anyone to grasp the potential of LLM to solve many common problems, but soon discovered their limitations for complex questions. Addressing more specific, complex questions (e.g., "What is the best mix of power-generation methods to reduce climate change ?") often requires specialized architectures, domain knowledge, new skills, decomposition and multi-step resolution, deep reasoning, sensitive data protection, explainability, and human-in-the-loop processes. Therefore, we review: (1) necessary skills and tasks for handling complex questions and common LLM limits to overcome; (2) dataset, cost functions and evaluation metrics for measuring and improving (e.g. accuracy, explainability, fairness, robustness, groundedness, faithfulness, toxicity...); (3) family of solutions to overcome LLM limitations by (a) training and reinforcement (b) hybridization, (c) prompting, (d) agentic-architectures (agents, tools) and extended reasoning.
Cet article passe en revue l’état de l’art des architectures de grands modèles de langage (LLM) et des stratégies pour la réponse à des questions « complexes », en mettant l’accent sur les architectures hybrides. Les services de chatbots IA basés sur des LLM ont permis à chacun de découvrir la capacité des LLM à résoudre de nombreux problèmes courants, mais ont rapidement révélé leurs limites pour les questions complexes. Traiter des questions plus spécifiques et complexes (par exemple : « Quelle est la meilleure combinaison de modes de production d’énergie pour réduire le changement climatique ? ») nécessite souvent des architectures spécialisées, des connaissances supplémentaires du domaine, de nouvelles capacités d'analyse, la décomposition et la résolution en plusieurs étapes, un raisonnement profond, la protection de données sensibles, de l’explicabilité et des processus avec intervention humaine (« human-in-the-loop »). Nous passons donc en revue : (1) les compétences et tâches nécessaires pour traiter les questions complexes et les limites courantes des LLM à dépasser ; (2) les jeux de données, fonctions de coût et métriques d’évaluation pour mesurer et améliorer les systèmes (par ex. : précision, explicabilité, équité, robustesse, ancrage / groundedness, fidélité, toxicité…) ; (3) les familles de solutions pour surmonter les limites des LLM par : (a) l’entraînement et l’apprentissage par renforcement, (b) l’hybridation, (c) le prompting, (d) les architectures à base d’agents (agentic architectures — agents, outils) et le raisonnement étendu.
Mots clés
- NLP
- semantic search
- Computation and Language (cs.CL)
- Artificial Intelligence (cs.AI)
- Information Retrieval (cs.IR)
- Machine Learning (cs.LG)
- FOS: Computer and information sciences
- CCS Concepts: Information systems → Question answering Information extraction • Security and privacy → Information accountability and usage control complex question answering
- pre-training
- Context engineering
- transformers
- neural language models
- GPT
- taxonomy
- neuro-symbolic
- attention
- Agentic
- Inference time reasoning
- RLHF
- • Security and privacy → Information accountability and usage control complex question answering
- Information extraction
- Information systems → Question answering
- CCS Concepts:
- RLAIF
- RLHP
- fine-tuning
- human-in-the-loop
- multimodal search
- knowledge graph
- long-form QA
- multi-step QA
- multi-hop QA
- non-factoid QA
- prompting
Domaines
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |