한글내용
(Korean Abstract) |
대용량의 말뭉치로부터 별도의 인코더를 통해 사전학습한 ELMo, BERT, GPT 등의 문맥 단어 표현 기존의 단어 임베딩과 달리 같은 단어에 대해 문맥에 따라 그 단어의 표현이 달라질 수 있는 새로운 방식의 단어 임베딩으로 사전 학습된 문맥 단어 표현을 다양한 자연어 처리 응용 테스크에 적용하여 놀라운 성능향상을 가져왔다. 최근, 이러한 문맥 단어 표현이 실제로 벡터 공간 상에서 어떠한 문법성을 표현하고 있는지를 분석하는 다양한 연구들이 진행되었으며 본 연구에서는 문장 내의 단어 표현 내에 전체적인 구문 트리 구조가 얼마나 잘 내재되어 있는지를 분석하는 구조 입증 방법을 한국어 ELMo, BERT 계열 모델에 적용하여 문맥 단어 표현 내에 전체 문법적 트리 구조가 반영되어 있음을 실험 결과로 제시한다.
|
