Narzędzia do anotacji jednostek nazewniczych
Résumé
Anotacja lingwistycznawNKJPwspierana była szeregiem narzedzi nawszystkich poziomach korpusu. W tym rozdziale prezentujemy trzy podstawowe narzedzia wykorzystywane do anotacji jednostek nazewniczych: - SProUT - uzywany do wstepnej anotacji automatycznej podkorpusu milionowego w oparciu o zasoby leksykalne i gramatyki; - TrEd - słuzacy jako srodowisko do recznej poprawy anotacji wykonanej SProUT-em; - prototyp narzedzia statystycznego słuzacego do automatycznej anotacji pełnego korpusu. Rysunek 13.1 przedstawia przepływ danych podczas anotacji podkorpusu milionowego. "Czyste" teksty pochodzace z podkorpusu były najpierw przetwarzane przez system SProUT w celu automatycznej identyfikacji i klasyfikacji jednostek nazewniczych zgodnie z załozeniami anotacji. Nastepnie wyniki SProUT-a były konwertowane na format narzedzia TrEd zwany PML. TrEd słuzył jako edytor drzew anotacyjnych - dzieki niemu dla kazdego fragmentu tekstu dwaj niezalezni anotatorzy mogli przegladac, poprawiac i uzupełniac wyniki anotacji wstepnej, a tak zwani superanotatorzy - rozstrzygac niezgodnosci decyzji anotatorów. Po ukonczeniu superanotacji plik wynikowy był konwertowany z formatu PML na ostateczny format zgodny ze standardem TEI P5. Na rys. 13.2 pokazany jest przepływ danych w anotacji pełnego korpusu NKJP. Narzedzie statystyczne oparte na metodzie CRF (Conditional Random Fields; pol. warunkowe pola losowe; Wallach 2004, Sutton i McCallum 2007) tworzyło statystyczny model jezyka w oparciu o korpus milionowy, a dokładniej o jego poziom tekstowy, segmentacyjny, morfoskładniowy i poziom jednostek nazewniczych. Model ten był nastepnie stosowany do automatycznej anotacji pełnego korpusu.