정보과학회논문지 (Journal of KIISE)
Current Result Document : 7 / 17
이전건
다음건 
| 한글제목(Korean Title) |
멀티헤드 주의집중 기법과 하이웨이 네트워크를 활용한 생물학 개체명 인식 |
| 영문제목(English Title) |
Biomedical Named Entity Recognition using Multi-head Attention with Highway Network |
| 저자(Author) |
조민수
박진욱
하지환
박찬희
박상현
Minsoo Cho
Jinuk Park
Jihwan Ha
Chanhee Park
Sanghyun Park
|
| 원문수록처(Citation) |
VOL 46 NO. 06 PP. 0544 ~ 0553 (2019. 06) |
한글내용
(Korean Abstract) |
생물학 개체명 인식이란 생물학 문헌으로부터 질병, 유전자, 단백질과 같은 생물학 개체명을 추출하고 그 종류를 분류하는 작업으로, 생물학 데이터로부터 유의미한 정보를 추출하는데 중요한 역할을 한다. 본 연구에서는 입력 단어의 자질을 자동으로 추출할 수 있는 딥러닝 기반의 Bi-LSTM-CRF 모델을 활용한 개체명 인식 연구를 진행하였다. Multi-head 주의 기제 기법을 적용하여 입력 단어들 간의 관계를 포착하고 관련성이 높은 단어에 주목하여 예측의 성능을 높였다. 또한, 단어 단위 임베딩 벡터 외 문자 단위 임베딩 벡터를 결합하여 입력 임베딩의 표상을 확장하고, 각 표상의 정보 흐름을 학습하기 위해 Highway 네트워크에 적용하였다. 제안하는 모델의 성능을 평가하기 위해 두 개의 영어 생물학 데이터셋으로 비교 실험을 진행하였으며, 그 결과 기존 연구의 모델들보다 향상된 성능을 보였다. 이를 통해 제안하는 방법론이 생물학 개체명 인식 연구에서 효과적인 방법론임을 입증하였다.
|
영문내용
(English Abstract) |
Biomedical named entity recognition(BioNER) is the process of extracting biomedical entities such as diseases, genes, proteins, and chemicals from biomedical literature. BioNER is an indispensable technique for the extraction of meaningful data from biomedical domains. The proposed model employs deep learning based Bi-LSTM-CRF model which eliminates the need for hand-crafted feature engineering. Additionally, the model contains multi-head attention to capture the relevance between words, which is used when predicting the label of each input token. Also, in the input embedding layer, the model integrates character-level embedding with word-level embedding and applies the combined word embedding into the highway network to adaptively carry each embedding to the input of the Bi-LSTM model. Two English biomedical benchmark datasets were employed in the present research to evaluate the level of performance. The proposed model resulted in higher f1-score compared to other previously studied models. The results demonstrate the effectiveness of the proposed methods in biomedical named entity recognition study.
|
| 키워드(Keyword) |
정보 추출
자연어 처리
개체명 인식
Multi-head 주의 기제 기법
Highway 네트워크
단어 임베딩
information retrieval
natural language processing
named entity recognition
multi-head attention mechanism
highway network
word embedding
|
| 파일첨부 |
PDF 다운로드
|
