정보과학회논문지 (Journal of KIISE)
Current Result Document : 7 / 38
이전건
다음건 
| 한글제목(Korean Title) |
자연어 추론에서의 교차 검증 앙상블 기법 |
| 영문제목(English Title) |
Cross-Validated Ensemble Methods in Natural Language Inference |
| 저자(Author) |
양기수
황태선
오동석
박찬준
임희석
Kisu Yang
Taesun Whang
Dongsuk Oh
Chanjun Park
Heuiseok Lim)
|
| 원문수록처(Citation) |
VOL 48 NO. 02 PP. 0154 ~ 0159 (2021. 02) |
한글내용
(Korean Abstract) |
앙상블 기법은 여러 모델을 종합하여 최종 판단을 산출하는 기계 학습 기법으로서 딥러닝 모델의 성능 향상을 보장한다. 하지만 대부분의 기법은 앙상블만을 위한 추가적인 모델 또는 별도의 연산을 요구한다. 이에 우리는 앙상블 기법을 교차 검증 방법과 결합하여 앙상블 연산을 위한 비용을 줄이며 일반화 성능을 높이는 교차 검증 앙상블 기법을 제안한다. 본 기법의 효과를 입증하기 위해 MRPC, RTE 데이터셋과 BiLSTM, CNN, ELMo, BERT 모델을 이용하여 기존 앙상블 기법보다 향상된 성능을 보인다. 추가로 교차 검증에서 비롯한 일반화 원리와 교차 검증 변수에 따른 성능 변화에 대하여 논의한다.
|
영문내용
(English Abstract) |
An ensemble method is a machine learning technique that combines several models to make the final prediction, which guarantees improved performance for deep learning models. However, most techniques require additional models or operations only for an ensemble. To address this problem, we propose a cross-validated ensemble method for reducing the costs of ensemble operations with cross-validation and for improving the generalization effects with the ensemble. To demonstrate the effectiveness of the proposed method, we show the improved performances of the proposed ensemble over the previous ensemble methods using the BiLSTM, CNN, ELMo and BERT models on the MRPC and RTE datasets. We also discuss the generalization mechanism involved in cross-validation along with the performance changes caused by the hyper-parameter of cross-validation.
|
| 키워드(Keyword) |
앙상블
딥러닝
자연어처리
자연어 추론
ensemble
deep learning
natural language processing
natural language inference
|
| 파일첨부 |
PDF 다운로드
|
