정보과학회논문지 (Journal of KIISE)
Current Result Document : 28 / 29
| 한글제목(Korean Title) |
SMERT: 감성 분석 및 감정 탐지를 위한 단일 입출력 멀티 모달 BERT |
| 영문제목(English Title) |
SMERT: Single-stream Multimodal BERT for Sentiment Analysis and Emotion Detection |
| 저자(Author) |
문효종
손시운
문양세
Hyojong Moon
Siwoon Son
Yang-Sae Moon
김경훈
박진욱
이지은
박상현
Kyeonghun Kim
Jinuk Park
Jieun Lee
Sanghyun Park
|
| 원문수록처(Citation) |
VOL 48 NO. 10 PP. 1122 ~ 1131 (2021. 10) |
한글내용
(Korean Abstract) |
감성 분석은 텍스트로부터 주관적인 의견 및 성향을 분석하고, 감정 탐지는 '행복', '슬픔'과 같이 텍스트에서 나타나는 감정을 검출하는 연구다. 멀티 모달 데이터는 텍스트뿐만 아니라 이미지, 음성 데이터가 함께 나타나는 것을 의미한다. 관련 선행 연구에서 순환 신경망 모형 혹은 교차 트랜스포머를 사용한다. 하지만 순환 신경망 모형은 장기 의존성 문제를 가지며, 교차 트랜스포머는 모달리티별 특성을 반영하지 못하는 문제점이 있다. 이를 해결하기 위해 본 연구에서는 멀티 모달 데이터가 하나의 네트워크로 학습되는 단일 입출력 트랜스포머 기반 모형 SMERT를 제안한다. SMERT는 모달리티 결합 표현형을 얻어 이를 감성 분석 및 감정 탐지에 활용한다. 또한, BERT의 훈련 태스크를 멀티 모달 데이터에 활용하기 위해 개량하여 사용한다. 제안하는 모델의 검증을 위해 CMU-MOSEI 데이터셋과 여러 평가 지표를 이용하고, 모달리티 조합별 비교실험과 예시를 통해 모델의 우수성을 검증하였다. |
영문내용
(English Abstract) |
Sentiment Analysis is defined as a task that analyzes subjective opinion or propensity and, Emotion Detection is the task that finds emotions such as 'happy' or 'sad' from text data. Multimodal data refers to the appearance of image and voice data in addition to text data. In prior research, RNN or cross-transformer models were used, however, RNN models have long-term dependency problems. Also, since cross-transformer models could not capture the attribute of modalities, they got worse results. To solve those problems, we propose SMERT based on a single-stream transformer ran on a single network. SMERT can get joint representation for Sentiment Analysis and Emotion Detection. Besides, we use BERT tasks which are improved to utilize for multimodal data. To present the proposed model, we verify the superiority of SMERT through a comparative experiment on the combination of modalities using the CMU-MOSEI dataset and various evaluation metrics. |
| 키워드(Keyword) |
데이터 스트림
딥러닝 추론
스태킹
분산 처리
아파치 스톰
data stream
deep learning inference
stacking
distributed processing
Apache Storm
자연어 처리
멀티 모달
감성 분석
감정 탐지
단일 입출력 트랜스포머
BERT
natural language processing
multimodal
sentiment analysis
emotion detection
singlestream transformer
BERT
|
| 파일첨부 |
PDF 다운로드
|
