[R & E 활동 대회] 다중 연결 리스트(Multi-Linked List)를 이용한 자연어 처리 방법론 연구

1.1 연구 배경 및 목적
텍스트 마이닝은 텍스트 데이터를 대상으로 하여 그들 간의 암묵적인 정보를 추출하는 과정으로 정의할 수 있다. 현재 4차 산업혁명이 도래함에 따라 다량의 데이터가 발생하고 있으며, 이러한 데이터 중에는 사실을 기반으로 작성된 데이터도 존재하지만 그렇지 않은 데이터도 존재한다. 부정확한 데이터는 데이터 소비자의 판단에 혼란을 발생시킬 수 있다. 최근 이를 방지하기 위해 다양한 사실확인 기법이 개발되었으며 실시간 사실확인까지 가능한 수준에 이르렀다. 하지만, 이러한 기술은 영어에 관해서만 가능하다는 한계점을 가지고 있다. 단어 단위로 분석하기 적합한 서양 언어왿� 다르게 한국어는 의미 단위의 다른 개념을 가지게 되어 텍스트 마이닝에 난제를 포함하고 있기 때문이다. 현재 한글을 기반으로 하는 사실확인 기법은 사람이 직접 반박 자료를 탐색하며 진행되기 때문에 시간이나 비용 면에서 비효율적인 측면을 가지고 있다.

따라서 본 연구팀은 한글 태그를 이용한 한글 형태소 분석을 기반으로 하는 뉴스 기사 진위 판단 알고리즘을 구연하여 소비자의 판단에 도움을 제공하는 목적으로 한다.

1.2 연구범위 및 방법
본 연구팀이 실행한 연구는 뉴스 기사 빅 데이터를 이용하여 텍스트마이닝 기법을 통하여 문장 내의 단어 간 관계를 획득하고, 그러한 관계를 바탕으로 새로운 테스트 데이터가 입력되었을 때 테스트 데이터 내부의 단어 간 관계를 정량적으로 계산하여 정확도를 산출하는 방식으로 진행하였다. 학습 데이터 내부의 단어 간 연결을 구체화하기 위하여 본 연구팀은 여러 가지 자료 구조를 염두에 두고 연구를 진행하였고, 다음과 같은 방식들로 구체화하였다.

1. 링크드 리스트(Linked List)를 이용한 단어 간의 연결
2. 2차원 배열을 이용한 단어 간의 연결성 파악

첫 번째로 고안한 링크드 리스트를 이용한 단어 간의 연결성 파악은 다음과 같이 구성된다. 연결 리스트는 각 데이터를 포인터로 연결하여 관리하는 구조다.