데이터베이스 연구회지(SIGDB)
Current Result Document :
| 한글제목(Korean Title) |
임상의학 언어이해 성능향상을 위한 Discharge Summary CRPT 모델 연구 |
| 영문제목(English Title) |
Discharge Summary CRPT Model using Contrastive Loss |
| 저자(Author) |
김태리
허지호
김상욱
Taeri Kim
Jiho Heo
Sang-Wook Kim
정유채
Yuchae Jung
|
| 원문수록처(Citation) |
VOL 39 NO. 02 PP. 0076 ~ 0084 (2023. 08) |
한글내용
(Korean Abstract) |
BERT 모델은 자연어이해 작업에서 높은 성능을 나타냈으며 의생명 분야를 포함한 다양한 도메인에서 적용되고 있는 사전학습 언어모델이다. 임상의학에서 환자의 의료기록과 임상 정보를 정확하게 이해하기 위해서는 전문용어를 포함한 자연어로 구성된 문장들 간의 의미론적 관계를 정확하게 추론하는 것이 매우 중요하다. 그러나 BERT 모델을 임상의학 분야의 대용량 데이터로 사전학습 시키고 문장 수준의 의미 이해 정확도를 향상시키기 위한 연구는 아직 활발하게 이루어지지 않고 있다. 이러한 문제를 해결하기 위해 본 연구에서는 대조적 표상 사전 훈련 방법을 이용해 BERT 모델의 성능을 향상시키는 방법을 제안하고자 한다. 제안된 Discharge Summary CRPT 모델은 퇴원요약 기록으로 BERT 모델을 사전 훈련시키는 과정에서 다음 2가지를 개선하여 의학언어이해 성능을 향상시켰다. 다음 문장 예측 단계의 교차 엔트로피 손실을 대조 손실로 대체함으로써 문장 간 문맥적 의미추론 정확도를 향상시켰다. 또한, 기존 무작위 마스킹을 단어 전체 마스킹 방법으로 개선해 임상의학 텍스트에 대한 자연어이해 성능이 향상되는지 확인하였다. 제안된 모델은 BLUE 벤치마크 데이터셋(MedNLI, BioSSES)으로 검증한 결과 임상의학 텍스트에 대한 자연어추론 정확도(Accuracy = 0.825) 및 문장 유사도(sentence similarity = 0.775)에서 기존 BERT 모델에 비해 성능 향상을 나타냈다. |
영문내용
(English Abstract) |
Recently BERT(Bidirectional Encoder Representation from Transformer) has shown tremendous improvement in performance for various NLP tasks. BERT has been applied to many domains including biomedical field. Especially clinical domain, the semantic relationship between sentences is very important to understand patient’s medical record and health history in physical examination. However, in current Clinical BERT model, the pre-training method is difficult to capture sentence level semantics. To address this problem, we propose a Discharge Summary CRPT(contrastive representations pre-training) model, which can enhance contextual meanings between sentences by replacing cross-entropy loss to contrastive loss in next sentence prediction (NSP) task. Also we tried to improve the performance by changing random masking technique to whole word masking (WWM) for masked language model (MLM). Especially, we focus on enhancing language representations of BERT model by pre-training with Discharge Summaries Notes to optimize in clinical text understanding. We demonstrate that our Discharge Summary CRPT model yields improvements in performance of clinical NLP task with BLUE (Biomedical Language Understanding Evaluation) Benchmark dataset (MedNLI and BioSSES). |
| 키워드(Keyword) |
의약품 추천; 전자 건강 기록(EHR) 그래프; 건강 정보
medication recommendation;
electronic health records (EHR) graph
health informatic
Contrastive Representation Pre-training
Contrastive Loss
Clinical BERT
|
| 파일첨부 |
PDF 다운로드
|
