A Methodology of Constructing Sentiment-Annotated Datasets for Training a FbSA model
자질기반 감성분석 모델 학습을 위한 주석데이터셋 FeSAD 구축 방법론
Résumé
We report the construction of the FeSAD (Feature Sentiment Annotated) dataset based on the Semi-automatic Symbolic Propagation (SSP) method for FbSA (Feature-based Sentiment Analysis) in Korean. FeSAD was constructed in a 2-step annotation process: the SSP method was applied first, and then human annotators revised the annotated results. The linguistic resources for SSP consist of LGG (Local Grammar Graph) patterns and the DECO (Dictionnaire Electronique du COreen) Korean machine-readable dictionaries. We evaluated the performance of the SSP-based approach with texts in the cosmetics and food domains. The results reach 0.93 and 0.90 F1-score for these domains, which shows that the SSP-based approach could reduce the amount of the human annotators’ task to 10%.
본 연구에서는 FbSA 연구에서 머신러닝 언어모델을 학습시키기 위해 요구되는 대규모의 정교한 학습데이터를 구축 하는 데에 있어서, DECO-LGG 언어자원에 기반한 반자동 언어데이터 증강(SSP) 방식에 입각하여 주석 작업을 2-STEP 으로 진행하는 접근법을 제안하였다. 1단계에서 SSP 방식의 주석을 수행한 후, 2단계에서 매뉴얼 주석을 진행하는 방식 으로서, 1단계 작업만으로도 평균 0.915의 높은 주석 성능을 보임을 확인하였다. 이를 통해 FbSA용 학습데이터 주석을 위한 작업자의 작업 비중이 언어 자원의 적용을 통해 분담될 수 있으며, 학습데이터 구축을 위한 프로세싱의 소요시간과 품질이 획기적으로 개선될 수 있음을 확인하였다.
SSP의 핵심이 되는 DECO-LGG 언어 자원은, 범용과 도메인 특화 자원으로 이원화되어 구조화되었다. 따라서 새로 운 도메인 분야로 확장하는 경우, 현재 코어가 되는 범용자원을 공통으로 사용할 수 있으며, 새로운 도메인에 필요한 자 원만을 추가할 수 있도록 모듈화되어 있어, 작업의 효율성을 극대화할 수 있도록 설계되어 있다. 언어 자원에 기반한 주 석 성능, 다양한 도메인 자원과 확장성을 고려했을 때, 현재 본 연구에서 제안한 방법론은 향후 다양한 영역에서의 FbSA 를 위한 머신러닝용 학습데이터를 생성하는 데에 중요한 접근법으로 활용될 수 있을 것으로 기대된다.
| Origine | Fichiers éditeurs autorisés sur une archive ouverte |
|---|
