텍스트 채우기왿� 적대 신경망을 이용한 개체명 인식 데이터 확장 (Automatic Data Augmentation for Named Entity Recognition using a Text Infilling technique and Generative Adversarial Network)

자연 언어 처리에 딥러닝 모델이 적용되면서 딥러닝 모델을 구축하기 위해 많은 양의 데이터가 필요해졌다. 그러나 개체명 인식과 같이 레이블링된 학습 데이터 구축은 어려워 데이터 부족 문제가 발생한다. 이러한 데이터 부족 문제를 해결하기 위해 데이터 확장이 필요하다. 따라서 본 연구에서는 텍스트 채우기왿� 생성적 적대 신경망을 이용해 레이블링된 개체명 인식 데이터 확장모델을 제안한다. 제안한 모델은 개체명 정보를 변경하지 않고 부분 문장을 생성해 새로운 데이터를 생성할 수 있다. 제안한 모델은 다른 비교 모델들에 비해 자연스럽고 내용적 일관성이 있는 부분 문장을 생성할 수 있다. 또한 제안한 모델로 확장한 개체명 인식 데이터로 개체명 인식 모델을 학습할 경우 성능을 향상될 수 있음을 보였다.

Deep neural networks have been widely used in many NLP applications, However, successful construction of deep networks requires a large training corpus. Collecting a large training corpus that contains label information such as named entities is difficult and leads to a lack of data. Automatic data augmentation represents a solution to data scarcity problem. In this paper, we propose an automatic data augmentation technique for named entity recognition(NER) based on a text infilling model and generative adversarial networks. A text infilling model is used to fill missing components of a template to generate complete sentences. Using the text infilling model, we can fill in the blank of the template to generate complete and semantically coherence text with accurately named entity labels. Sentences generated by our model show lower perplexity and higher diversity than those generated in the previous approaches. Also text augmentation based on our model can improve the performance of a conventional NER system.