지식의 증류기법(Knowledge Distillation)을 이용한 한국어 구구조 구문 분석 모델의 압축

황현선; 이창기; Hyunsun Hwang; Changki Lee

연구문헌

국내 논문지

홈 > 연구문헌 > 국내 논문지 > 한국정보과학회 논문지 > 정보과학회논문지 (Journal of KIISE)

정보과학회논문지 (Journal of KIISE)

Current Result Document : 9 / 15 이전건 다음건

한글제목(Korean Title)	지식의 증류기법(Knowledge Distillation)을 이용한 한국어 구구조 구문 분석 모델의 압축
영문제목(English Title)	Compression of Korean Phrase Structure Parsing Model using Knowledge Distillation
저자(Author)	황현선 이창기 Hyunsun Hwang Changki Lee
원문수록처(Citation)	VOL 45 NO. 05 PP. 0451 ~ 0456 (2018. 05)
한글내용 (Korean Abstract)	Sequence-to-sequence 모델은 입력열을 길이가 다른 출력열로 변환하는 end-to-end 방식의 모델로, 높은 성능을 내기 위해 attention mechanism, input-feeding 등의 기술들을 사용하여 속도가 느려 실제 서비스에 적용되기 어렵다는 단점이 있다. 본 논문에서는 학습된 인공신경망을 실제 서비스에 적용하기 위해 효과적으로 모델을 압축하여 속도를 향상시키는 방법인 지식의 증류기법(Knowledge distillation)의 기술 중에서 자연어처리를 위한 sequence-level knowledge distillation을 한국어 구구조 구문 분석에 적용하여 성능저하를 최소화하여 모델 압축을 시도하였다. 실험 결과 hidden layer의 크기를 500에서 50까지 줄였을 때 baseline 모델보다 F1 0.56%의 성능향상을 보였고 속도는 60.71배 빨라지는 효과를 보였다.
영문내용 (English Abstract)	A sequence-to-sequence model is an end-to-end model that transforms an input sequence into an output sequence of different lengths. However, it is difficult to apply to an actual service by using techniques such as attention mechanism and input-feeding to achieve high performance. In this paper, we apply the sequence-level knowledge distillation for natural language processing to the Korean phrase structure parsing, which is an effective technique for compressing the model. Experimental results show that when the size of the hidden layer is decreased from 500 to 50, the performance of F1 0.56% is improved and the speed is 60.71 times faster than that of the baseline model.
키워드(Keyword)	딥 러닝 구구조 구문 분석 sequence-to-sequence learning 모델 압축 deep learning phrase structure parsing sequence-to-sequence learning model compression
파일첨부	PDF 다운로드