정보과학회논문지 (Journal of KIISE)
Current Result Document : 5 / 328
이전건
다음건 
| 한글제목(Korean Title) |
사전 학습된 한국어 언어 모델의 보정 |
| 영문제목(English Title) |
Calibration of Pre-trained Language Model for the Korean Language |
| 저자(Author) |
정소영
양원석
박채훈
박종철
Soyeong Jeong
Wonsuk Yang
ChaeHun Park
Jong C. Park
|
| 원문수록처(Citation) |
VOL 48 NO. 04 PP. 0434 ~ 0443 (2021. 04) |
한글내용
(Korean Abstract) |
심층 학습 모델의 발전은 컴퓨터 비전, 자연언어 이해 문제들에서 인간을 뛰어넘는 성능을 보이고 있다. 특히 트랜스포머 기반의 사전 학습 모델은 질의응답, 대화문과 같은 자연언어 이해 문제에서 최근 높은 성능을 보인다. 하지만 심층 학습 모델의 급격한 발전 양상에 비해, 이의 동작 방식은 상대적으로 잘 알려져 있지 않다. 심층 학습 모델을 해석하는 방법으로 모델의 예측 값과 실제 값이 얼마나 일치하는지를 측정하는 모델의 보정이 있다. 본 연구는 한국어 기반의 사전 학습된 심층 학습 모델의 해석을 위해 모델의 보정을 수행했다. 그리고 사전 학습된 한국어 언어 모델이 문장이 내포하는 애매성을 잘 파악하는지의 여부를 확인하고, 완화 기법들을 적용하여 문장의 애매성을 확신 수준을 통해 정량적으로 출력할 수 있도록 했다. 또한 한국어의 문법적 특징으로 인한 문장의 의미 변화를 모델 보정 관점에서 평가하여 한국어의 문법적 특징을 사전 학습된 언어 모델이 잘 이해하고 있는지를 정량적으로 확인했다.
|
영문내용
(English Abstract) |
The development of deep learning models has continuously demonstrated performance beyond humans reach in various tasks such as computer vision and natural language understanding tasks. In particular, pre-trained Transformer models have recently shown remarkable performance in natural language understanding problems such as question answering (QA) tasks and dialogue tasks. However, despite the rapid development of deep learning models such as Transformer-based models, the underlying mechanisms of action remain relatively unknown. As a method of analyzing deep learning models, calibration of models measures the extent of matching of the predicted value of the model (confidence) with the actual value (accuracy). Our study aims at interpreting pre-trained Korean language models based on calibration. In particular, we have analyzed whether pre-trained Korean language models can capture ambiguities in sentences and applied the smoothing methods to quantitatively measure such ambiguities with confidence. In addition, in terms of calibration, we have evaluated the capability of pre-trained Korean language models in identifying grammatical characteristics in the Korean language, which affect semantic changes in the Korean sentences.
|
| 키워드(Keyword) |
언어 모델
애매성
모델의 보정
보조사
부사
language model
ambiguity
calibration
postpositional particles
adverbs
|
| 파일첨부 |
PDF 다운로드
|
