정보과학회논문지 (Journal of KIISE)
Current Result Document :
| 한글제목(Korean Title) |
Self-Attention을 활용한 Siamese CNN-Bidirectional LSTM 기반 문장 유사도 예측 |
| 영문제목(English Title) |
Sentence Similarity Prediction based on Siamese CNN-Bidirectional LSTM with Self-attention |
| 저자(Author) |
김민태
오영택
김우주
Mintae Kim
Yeongtaek Oh
Wooju Kim
|
| 원문수록처(Citation) |
VOL 46 NO. 03 PP. 0241 ~ 0245 (2019. 03) |
한글내용
(Korean Abstract) |
본 논문에서는 입력된 두 문장의 유사도를 측정하는 딥러닝 모델을 제안한다. 기존의 문장의 유사도 측정 모델에는 단어 혹은 형태소 단위로 문장을 분해하여 임베딩 하는 방식을 활용한다. 하지만 이는 사전의 크기를 증가시켜 모델의 복잡도를 높이는 문제점이 있다. 본 논문에서는 문장을 음소 단위로 분해하여 모델 복잡도를 줄이고 해당 음소를 묶어주는 다양한 필터 사이즈의 1D Convolution Neural Network와 Long Short Term Memory(LSTM)을 결합한 Siamese CNN-Bidirectional LSTM 모델을 제안한다. 본 모델을 평가하기 위해 네이버 지식인 데이터를 활용하여 기존의 문서 유사 측정에서 좋은 성능을 보이는 모델 Manhattan LSTM(MaLSTM)과 비교하였다.
|
영문내용
(English Abstract) |
A deep learning model for semantic similarity between sentences was presented. In general, most of the models for measuring similarity word use level or morpheme level embedding. However, the attempt to apply either word use or morpheme level embedding results in higher complexity of the model due to the large size of the dictionary. To solve this problem, a Siamese CNN-Bidirectional LSTM model that utilizes phonemes instead of words or morphemes and combines long short term memory (LSTM) with 1D convolution neural networks with various window lengths that bind phonemes is proposed. For evaluation, we compared our model with Manhattan LSTM (MaLSTM) which shows good performance in measuring similarity between similar questions in the Naver Q&A dataset (similar to Kaggle Quora Question Pair).
|
| 키워드(Keyword) |
자연어 처리
유사도 측정
샴 네트워크
합성곱 신경망
순환 신경망
어텐션
natural language processing
similarity measure
siamese network
convolution neural network
recurrent neural network
attention
|
| 파일첨부 |
PDF 다운로드
|
