Narzędzia do anotacji jednostek nazewniczych - Archive ouverte HAL Accéder directement au contenu
Chapitre D'ouvrage Année : 2012

Narzędzia do anotacji jednostek nazewniczych

Résumé

Anotacja lingwistycznawNKJPwspierana była szeregiem narzedzi nawszystkich poziomach korpusu. W tym rozdziale prezentujemy trzy podstawowe narzedzia wykorzystywane do anotacji jednostek nazewniczych: - SProUT - uzywany do wstepnej anotacji automatycznej podkorpusu milionowego w oparciu o zasoby leksykalne i gramatyki; - TrEd - słuzacy jako srodowisko do recznej poprawy anotacji wykonanej SProUT-em; - prototyp narzedzia statystycznego słuzacego do automatycznej anotacji pełnego korpusu. Rysunek 13.1 przedstawia przepływ danych podczas anotacji podkorpusu milionowego. "Czyste" teksty pochodzace z podkorpusu były najpierw przetwarzane przez system SProUT w celu automatycznej identyfikacji i klasyfikacji jednostek nazewniczych zgodnie z załozeniami anotacji. Nastepnie wyniki SProUT-a były konwertowane na format narzedzia TrEd zwany PML. TrEd słuzył jako edytor drzew anotacyjnych - dzieki niemu dla kazdego fragmentu tekstu dwaj niezalezni anotatorzy mogli przegladac, poprawiac i uzupełniac wyniki anotacji wstepnej, a tak zwani superanotatorzy - rozstrzygac niezgodnosci decyzji anotatorów. Po ukonczeniu superanotacji plik wynikowy był konwertowany z formatu PML na ostateczny format zgodny ze standardem TEI P5. Na rys. 13.2 pokazany jest przepływ danych w anotacji pełnego korpusu NKJP. Narzedzie statystyczne oparte na metodzie CRF (Conditional Random Fields; pol. warunkowe pola losowe; Wallach 2004, Sutton i McCallum 2007) tworzyło statystyczny model jezyka w oparciu o korpus milionowy, a dokładniej o jego poziom tekstowy, segmentacyjny, morfoskładniowy i poziom jednostek nazewniczych. Model ten był nastepnie stosowany do automatycznej anotacji pełnego korpusu.
Fichier non déposé

Dates et versions

hal-01067243 , version 1 (23-09-2014)

Identifiants

  • HAL Id : hal-01067243 , version 1

Citer

Agata Savary, Jakub Waszczuk. Narzędzia do anotacji jednostek nazewniczych. Adam Przepiórkowski, Mirosław Bańko, Rafał L. Górski, Barbara Lewandowska-Tomaszczyk. Narodowy Korpus Języka Polskiego. Warszawa: Wydawnictwo Naukowe, PWN, pp.126-167, 2012. ⟨hal-01067243⟩
64 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More