CRF+LG: a Hybrid Approach for Named Entity Recognition in Portuguese
CRF + LG : un abordage hybride pour la reconnaissance d'entités nommées en portugais
CRF+LG: uma abordagem híbrida para o reconhecimento de entidades nomeadas em português
Résumé
Named Entity Recognition involves automatically identifying and classifying entities such as persons, places, and organizations, and it is a very important task in Information Extraction. Named Entity Recognition systems can be developed using linguistic, machine-learning or hybrid approaches. This work proposes a hybrid approach, named CRF+LG, for Named Entity Recognition in Portuguese texts in order to explore the advantages of both linguistic and machine-learning approaches.
The proposed approach uses Conditional Random Fields (CRF) considering the term detecction and classification obtained by a Local Grammar (LG) as an additional input feature. Conditional Random Fields are a probabilistic method for structured prediction. Local grammars are hand-made rules to identify expressions in text. The aim was to study this way of including human expertise (Local Grammar) in the machine-learning Conditional Random Fields approach and to analyse how it can contribute to the performance of this approach.
To achieve this aim, a Local Grammar was built to recognize the 10 categories of named entities defined by HAREM, a joint assessment for Named Entity Recognition in Portuguese. Initially, the Golden Collection of the First and Second HAREM, considered as a reference for Named Entity Recognition systems in Portuguese, was used as training and test sets, respectively, for evaluation of the CRF+LG. After that, the proposed approach was evaluated against two other datasets.
The results obtained outperform the results of systems reported in the literature that were evaluated under equivalent conditions. This gain was approximately 8 percentage points in F-measure in comparison to a system that also used CRF, and 2 points in comparison to a system that used Neural Networks. Some systems that used Neural Networks presented superior results, but using massive corpora for unsupervised learning of features, which was not the case of this work.
The Local Grammar built can be used individually when there is no training set available and in conjunction with other machine learning techniques to improve their performance. We also analysed the boundaries (lower bound and upper bound) of the proposed approach.The lower bound indicates the minimum performance and the upper bound indicates the maximum gain that we can achieve for the task in question when using this approach.
La reconnaissance d'entités nommées implique l'identification et la classification automatiques d'entités telles que des personnes, des lieux et des organisations. Il s'agit d'une tâche très importante d'extraction d'informations. Les systèmes de reconnaissance d'entités nommées peuvent être développés à l'aide d'abordages linguistiques, par apprentissage automatique ou hybrides. Ce travail propose une approche hybride, nommée CRF + LG, pour la reconnaissance d'entités nommées dans des textes en portugais, afin d'explorer les avantages des abordages linguistique et par apprentissage automatique.
La méthode proposée utilise des champs aléatoires conditionnels (CRF) en considérant comme caractéristiques d'entrée supplémentaires la détection et la classification de termes obtenues par une grammaire locale (LG). Les champs aléatoires conditionnels sont une méthode probabiliste pour la prédiction structurée. Les grammaires locales sont des règles élaborées à la main pour identifier des expressions dans un texte. L’objectif était d’étudier cette façon d’inclure de l’expertise humaine (les grammaires locales) dans l’abordage des champs aléatoires conditionnels, et d’analyser en quoi cette expertise pouvait contribuer aux performances de cet abordage.
Pour atteindre cet objectif, une grammaire locale a été créée pour reconnaître les 10 catégories d’entités nommées définies par HAREM, une évaluation conjointe de la reconnaissance d’entités nommées en portugais. En premier lieu, les corpus annotés des premier et deuxième HAREM, considérés comme une référence pour les systèmes de reconnaissance d'entités nommées en portugais, ont été utilisés comme corpus d'apprentissage et de test, respectivement, pour l'évaluation de CRF + LG. Ensuite, la méthode proposée a été évaluée sur deux autres jeux de données.
Les résultats obtenus sont supérieurs aux résultats des systèmes décrits dans la littérature et évalués dans des conditions équivalentes. Ce gain est d’environ 8 points de pourcentage de F-mesure par rapport à un système qui utilisait également le filtre CRF, et de 2 points par rapport à un système utilisant les réseaux de neurones. Certains systèmes utilisant des réseaux de neurones ont présenté des résultats supérieurs, mais ont utilisé des corpus volumineux pour un apprentissage non supervisé des caractéristiques, ce qui n’était pas le cas de ce travail.
La grammaire locale construite peut être utilisée soit seule, en l'absence de corpus d'apprentissage, soit en association avec d'autres techniques d'apprentissage automatique, pour améliorer leurs performances. Nous avons également analysé les limites inférieure et supérieure de la méthode proposée. La limite inférieure indique la performance minimale et la limite supérieure indique le gain maximal que nous pouvons obtenir pour la tâche en question avec cette méthode.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...