한글내용
(Korean Abstract) |
다중 도메인 대화 모델을 학습하는 일반적인 방법은 많은 도메인이 섞여 있는 대량의 말뭉치를 대화 모델에 학습시키는 것이다. 그렇게 학습된 다중 도메인 대화 모델은 특정 도메인만 학습시킨 단일 도메인 대화 모델보다는 다양한 도메인에 대해 응답을 생성할 수 있다는 장점이 있지만, 여전히 “잘 모르겠어요“, “네 좋습니다“ 와 같은 일반적인 대답을 자주 생성한다는 단점이 존재한다. 이러한 단점은 많은 도메인이 섞인 대량의 말뭉치를 한 번에 학습시키는 과정에서 발생한다. 대량의 말뭉치에는 특정 도메인 대화들에 서만 등장하는 단어, 패턴보다는 다른 도메인 대화에서도 등장하는 일반적인 대화 쌍이 많이 분포되어있기 때문이다. 이러한 문제점을 해결하기 위하여 본 논문에선 단일 도메인 대화 모델을 순차적으로 학습시켜 다중 도메인 대화 모델을 생성하는 방법을 제시한다. 순차적으로 학습시키는 과정에서 발생하는 catastrophic forgetting 문제는 memory-replay 방식의 지속학습기법 (Continual Learning)을 적용하여 해결하였다. 또한 memory-replay 방식은 training instances를 샘플링 하여 다음 학습 시 전달을 하기 때문에 boundary sampling 방식을 적용하였다. 본 논문에서 제안한 방법을 적용한 결과, 모든 도메인을 학습한 대화 모델이 문법, 의미, 도메인 구체성을 평가한 정성적 평가와 정량적 평가 모두 기존방식의 다중 도메인 대화 모델보다 우수함을 보였다. |
