BERTEPro : Une nouvelle approche de représentation sémantique dans le domaine de l'éducation et de la formation professionnelle - Archive ouverte HAL
Conference Papers Year : 2023

BERTEPro : Une nouvelle approche de représentation sémantique dans le domaine de l'éducation et de la formation professionnelle

Haytham Elghazel
Théodore Guillet
Alexandre Aussem
Matthieu Sonnati

Abstract

FlauBERT et CamemBERT ont établi une nouvelle performance de pointe pour la compréhension de la langue française. Récemment, SBERT a transformé l’utilisation de BERT, afin de réduire l’effort de calcul des encastrements de phrases, tout en maintenant la précision de BERT. Cependant, ces modèles ont été entraînés sur des textes non spécifiques de la langue française, ce qui ne permet pas une représentation fine des textes de domaines spécifiques, comme le domaine de l’éducation et de la formation professionnelle. Dans cet article, nous présentons BERTEPro, un modèle basé sur FlauBERT, dont l’apprentissage a été étendu sur des textes du domaine de l’éducation et de la formation professionnelle, avant d’être affiné sur des tâches NLI et STS. L’évaluation des performances de BERTEPro sur des tâches STS, ainsi que sur des tâches de classification, ont confirmé que la méthodologie proposée bénéficie d’avantages significatifs par rapport aux autres méthodes de l’état de l’art.
No file

Dates and versions

hal-04693675 , version 1 (10-09-2024)

Identifiers

  • HAL Id : hal-04693675 , version 1

Cite

Guillaume Lefebvre, Haytham Elghazel, Théodore Guillet, Alexandre Aussem, Matthieu Sonnati. BERTEPro : Une nouvelle approche de représentation sémantique dans le domaine de l'éducation et de la formation professionnelle. Extraction et Gestion des Connaissances: Actes de la conférence EGC'2023, Jan 2023, Lyon, France. ⟨hal-04693675⟩
15 View
0 Download

Share

More