Communication Dans Un Congrès Année : 2025

O_FT@EvalLLM2025 : Comparative Study of Data for Continued Pre-Training and Instruction-Tuning for Language Model Domain Adaptation

O_FT@EvalLLM2025 : étude comparative de choix de données et de stratégies d'apprentissage pour l'adaptation de modèles de langue à un domaine

Ismaël Rousseau
  • Fonction : Auteur
Claire Perroux
  • Fonction : Auteur
Pierre Adam
  • Fonction : Auteur
Morgan Veyret
  • Fonction : Auteur
Gwénolé Lecorvé
Géraldine Damnati

Résumé

This paper presents the work carried out by the O_FT team, joint with Orange and Ouest-France, on adapting language models to the defense domain as part of the EvalLLM2025 challenge. This work focused on adapting the Mistral-7B-Instruct-v0.3 model using classical techniques of continued pre-training and instruction-tuning. The core of our efforts is based on collecting, generating, and selecting data for these two stages as well as for model evaluation. Experiments show that our adapted models have better domain-specific knowledge and improved domain-specific task processing skills, along with comparable (or even superior) performance on general knowledge and skills. Considering the carbon footprint of our adaptations, this work demonstrates the feasibility of domain adaptation for relatively small models.

Ce document présente les travaux réalisés par l'équipe O_FT conjointe à Orange et Ouest-France sur l'adaptation de modèles de langue au domaine de la défense dans le cadre du challenge EvalLLM2025. Ces travaux se sont concentrés sur l'adaptation du modèle Mistral-7B-Instruct-v0.3 avec des techniques classiques de poursuite du pré-entraînement et d'affinage sur instructions. L'essentiel de nos travaux a porté sur la constitution, génération et sélection de données pour ces deux étapes ainsi que pour l'évaluation des modèles. Les expériences montrent que nos modèles adaptés ont de meilleures de connaissances de fond et une meilleure capacité de traitement de tâches sur le domaine de la défense, ainsi que des performances comparables (voire supérieures) sur des connaissances ou capacités généralistes. Mis au regard des empreintes carbones de nos adaptations, ces travaux démontrent ainsi la viabilité de l'adaptation à un domaine de modèles relativement petits.

Fichier principal
Vignette du fichier
O_FT_EvalLLM2025.pdf (931.88 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-05140334 , version 1 (02-07-2025)

Licence

Identifiants

  • HAL Id : hal-05140334 , version 1

Citer

Ismaël Rousseau, Claire Perroux, Pierre Adam, Thomas Girault, Lionel Delphin-Poulat, et al.. O_FT@EvalLLM2025 : étude comparative de choix de données et de stratégies d'apprentissage pour l'adaptation de modèles de langue à un domaine. Actes du challenge EvalLLM 2025 à la conférence CORIA-TALN 2025, Vincent Claveau, Jun 2025, Marseille, France. ⟨hal-05140334⟩
82 Consultations
69 Téléchargements

Partager

  • More