정보처리학회 논문지 소프트웨어 및 데이터 공학
Current Result Document :
| 한글제목(Korean Title) |
KoEPT 기반 한국어 수학 문장제 문제 데이터 분류 난도 분석 |
| 영문제목(English Title) |
Analyzing Korean Math Word Problem Data Classification Difficulty Level Using the KoEPT Model |
| 저자(Author) |
Rhim Sangkyu
Ki Kyung Seo
Kim Bugeun
Gweon Gahgene
임상규
기경서
김부근
권가진
|
| 원문수록처(Citation) |
VOL 11 NO. 08 PP. 0315 ~ 0324 (2022. 08) |
한글내용
(Korean Abstract) |
이 논문에서는 자연어로 구성된 수학 문장제 문제 자동 풀이하기 위한 Transformer 기반의 생성 모델인 KoEPT를 제안한다. 수학 문장제 문제는 일상 상황을 수학적 형식으로 표현한 자연어 문제이다. 문장제 문제 풀이 기술은 함축된 논리를 인공지능이 파악해야 한다는 요구사항을 지녀 최근 인공지능의 언어 이해 능력을 증진하기 위해 국내외에서 다양하게 연구되고 있다. 한국어의 경우 문제를 유형으로 분류하여 풀이하는 기법들이 주로 시도되었으나, 이러한 기법은 다양한 수식을 포괄하여 분류 난도가 높은 데이터셋에 적용하기 어렵다는 한계가 있다. 본 논문은 이에 대해 ‘식’토큰과 포인터 네트워크를 사용하는 KoEPT 모델을 사용했다. 이 모델의 성능을 측정하기 위해 현존하는 한국어 수학 문장제 문제 데이터셋인 IL, CC, ALG514의 분류 난도를 측정한 후 5겹 교차 검증 기법을 사용하여 KoEPT의 성능을 평가하였다. 평가에 사용된 한국어 데이터셋들에 대하여, KoEPT는 CC에서는 기존 최고 성능과 대등한 99.1%, IL과 ALG514에서 각각 89.3%, 80.5%로 새로운 최고 성능을 얻었다. 뿐만 아니라 평가 결과 KoEPT는 분류 난도가 높은 데이터셋에 대해 상대적으로 개선된 성능을 보였다. KoEPT가 분류 난도의 영향을 덜 받으며 좋은 성능을 얻게 된 이유를 ‘식’토큰과 포인터 네트워크 때문이라는 것을 ablation study를 통해서 밝혔다. |
영문내용
(English Abstract) |
In this paper, we propose KoEPT, a Transformer-based generative model for automatic math word problems solving. A math word problem written in human language which describes everyday situations in a mathematical form. Math word problem solving requires an artificial intelligence model to understand the implied logic within the problem. Therefore, it is being studied variously across the world to improve the language understanding ability of artificial intelligence. In the case of the Korean language, studies so far have mainly attempted to solve problems by classifying them into templates, but there is a limitation in that these techniques are difficult to apply to datasets with high classification difficulty. To solve this problem, this paper used the KoEPT model which uses ‘expression’ tokens and pointer networks. To measure the performance of this model, the classification difficulty scores of IL, CC, and ALG514, which are existing Korean mathematical sentence problem datasets, were measured, and then the performance of KoEPT was evaluated using 5-fold cross-validation. For the Korean datasets used for evaluation, KoEPT obtained the state-of-the-art(SOTA) performance with 99.1% in CC, which is comparable to the existing SOTA performance, and 89.3% and 80.5% in IL and ALG514, respectively. In addition, as a result of evaluation, KoEPT showed a relatively improved performance for datasets with high classification difficulty. Through an ablation study, we uncovered that the use of the ‘expression’ tokens and pointer networks contributed to KoEPT’s state of being less affected by classification difficulty while obtaining good performance. |
| 키워드(Keyword) |
Math Word Problems
Generation Model
Transformer
Pointer Network
Classification Difficulty
수학 문장제 문제
생성 모델
트렌스포머
포인터 네트워크
분류 난도
|
| 파일첨부 |
PDF 다운로드
|
