정보과학회논문지 (Journal of KIISE)
Current Result Document : 4 / 4
이전건
| 한글제목(Korean Title) |
사전학습 언어모델 기반 트랜스포머를 활용한 의미유사도기반 자연어이해 의도파악 방법 |
| 영문제목(English Title) |
Semantic Similarity-based Intent Analysis using Pre-trained Transformer for Natural Language Understanding |
| 저자(Author) |
정상근
서혜인
김현지
황태욱
Sangkeun Jung
Hyein Seo
Hyunji Kim
Taewook Hwang
|
| 원문수록처(Citation) |
VOL 47 NO. 08 PP. 0748 ~ 0760 (2020. 08) |
한글내용
(Korean Abstract) |
자연어이해는 로봇, 메신저, 자연어 인터페이스 등에 활용되는 근간 기술 중 하나이다. 본 연구에서는 자연어이해 문제 중 문장의 의도를 파악하는 의도파악기술에 있어, 전통적인 분류기술을 활용하는 것이 아닌, 문장의 의미를 벡터 형태로 가공할 수 있는 문장 및 의미틀 읽기장치를 학습시키고, 훈련문장과 질의문장의 벡터 공간상의 의미거리를 측정하여, 가장 가까운 훈련문장의 의도를 질의문장의 의도로 부착하는 방법을 제안한다. 이를 위해, 사전학습 언어모델 기반 트랜스포머를 활용하여 기호 형태의 문장 및 의미틀을 벡터 형태로 변환하는 방법을 소개한다. 한국어 기반 날씨 및 내비게이션 영역의 말뭉치와 영어 기반 항공교통 예약 영역, 음성 언어 이해 시스템 영역의 자연어 말뭉치등을 활용한 다양한 실험을 통하여 제안한 방법이 성공적으로 의미벡터를 배움을 보이고, 기존 의도파악 기술 대비 높은 성능을 가짐을 보인다.
|
영문내용
(English Abstract) |
Natural language understanding (NLU) is a central technique applied to developing robot, smart messenger, and natural interface. In this study, we propose a novel similarity-based intent analysis method instead of the typical classification methods for intent analysis problems in the NLU. To accomplish this, the neural network-based text and semantic frame readers are introduced to learn semantic vectors using pairwise text-semantic frame instances. The text to vector and the semantic frame to vector projection methods using the pre-trained transformer are proposed. Then, we propose a method of attaching the intention tag of the nearest training sentence to the query sentence by measuring the semantic vector distances in the vector space. Four experiments on the natural language learning suggest that the proposed method demonstrates superior performance compared to the existing intention analysis techniques. These four experiments use natural language corpora in Korean and English. The two experiments in Korean are weather and navigation language corpora, and the two English-based experiments involve air travel information systems and voice platform language corpora.
|
| 키워드(Keyword) |
심층신경망
자연어이해
의도분석
의도파악
의미유사도
트랜스포머
deep neural network
natural language understanding
intention analysis
semantic similarity
transformer
|
| 파일첨부 |
PDF 다운로드
|
