CALM: Context Augmentation with Large Language Model for Named Entity Recognition
CALM : Augmentation du contexte avec un grand modèle de langues pour la reconnaissance d'entités nommées
Résumé
In prior research on Named Entity Recognition (NER), the focus has been on addressing challenges arising from data scarcity and overfitting, particularly in the context of increasingly complex transformerbased architectures. A framework based on information retrieval (IR), using a search engine to increase input samples and mitigate overfitting tendencies, has been proposed. However, the effectiveness of such system is limited, as they were not designed for this specific application. While this approach serves as a solid foundation, we maintain that LLMs offer capabilities surpassing those of search engines, with greater flexibility in terms of semantic analysis and generation. To overcome these challenges, we propose CALM an innovative context augmentation method, designed for adaptability through prompting. In our study, prompts are meticulously defined as pairs comprising specific tasks and their corresponding response strategies. This careful definition of prompts is pivotal in realizing optimal performance. Our findings illustrate that the resultant context enhances the robustness and performances on NER datasets. We achieve state-of-the-art F1 scores on WNUT17 and CoNLL++. We also delve into the qualitative impact of prompting.
Dans les recherches antérieures sur la reconnaissance des entités nommées (NER), l'accent a été mis sur la résolution des problèmes liés à la rareté des données et à l'ajustement excessif, en particulier dans le contexte d'architectures de plus en plus complexes basées sur des transformateurs. Un cadre basé sur la recherche d'informations (RI), utilisant un moteur de recherche pour augmenter les échantillons d'entrée et atténuer les tendances à l'ajustement excessif, a été proposé. Toutefois, l'efficacité de ces systèmes est limitée, car ils n'ont pas été conçus pour cette application spécifique. Bien que cette approche serve de base solide, nous maintenons que les LLM offrent des capacités supérieures à celles des moteurs de recherche, avec une plus grande flexibilité en termes d'analyse sémantique et de génération. Pour surmonter ces défis, nous proposons CALM, une méthode innovante d'augmentation du contexte, conçue pour s'adapter grâce à des messages-guides. Dans notre étude, les invites sont méticuleusement définies comme des paires comprenant des tâches spécifiques et leurs stratégies de réponse correspondantes. Cette définition minutieuse des messages-guides est essentielle pour obtenir des performances optimales. Nos résultats montrent que le contexte résultant améliore la robustesse et les performances sur les ensembles de données NER. Nous obtenons des scores F1 de pointe sur WNUT17 et CoNLL++. Nous nous penchons également sur l'impact qualitatif de l'incitation.