한글내용
(Korean Abstract) |
본 논문에서는 영화QA 데이터 집합을 사용하여 비디오 질의응답 실험을 한 내용을 다룬다. 본 논문이 제시하는 멀티모달 시퀀스 메모리 네트워크(MuSM)은 비디오 질의응답 문제를 다루는데 중요한 스토리기억과 멀티모달 학습에 초점을 맞춘다. 특히, MuSM은 비디오-텍스트를 위한 시퀀스-시퀀스 프레임워크를 사용하여 시각 스토리를 텍스트 형태로 변환한다. 그리고 시각 스토리와 자막의 언어 스토리를 연결한다. 연결된 스토리들은 RAM과 같은 장기기억 메모리에 저장된다. 질의가 주어지면, 주의 집중 기반 LSTM이 장기기억 메모리를 사용하여 특정 스토리에 초점을 맞추어 전체 스토리를 요약한다. 요약된 스토리는 정답을 선택하는데 사용된다. 본 논문에서는 140개 영화와 6,462개 질의응답 쌍을 포함하는 영화QA 데이터에 MuSM을 테스트해본다. 실험 결과, MuSM이 다른 기본 모델들보다 더 우수한 성능이 나옴을 입증하였다.
|
