정보처리학회 논문지 소프트웨어 및 데이터 공학
Current Result Document :
| 한글제목(Korean Title) |
KG_VCR: 지식 그래프를 이용하는 영상 기반 상식 추론 모델 |
| 영문제목(English Title) |
KG_VCR: A Visual Commonsense Reasoning Model Using Knowledge Graph |
| 저자(Author) |
JaeYun Lee
Incheol Kim
이재윤
김인철
|
| 원문수록처(Citation) |
VOL 09 NO. 03 PP. 0091 ~ 0100 (2020. 03) |
한글내용
(Korean Abstract) |
기존의 영상 기반 질문-응답(VQA) 문제들과는 달리, 새로운 영상 기반 상식 추론(VCR) 문제들은 영상에 포함된 사물들 간의 관계 파악과 답변 근거 제시 등과 같이 추가적인 심층 상식 추론을 요구한다. 본 논문에서는 영상 기반 상식 추론 문제들을 위한 새로운 심층 신경망 모델인 KG_VCR을 제안한다. KG_VCR 모델은 입력 데이터(영상, 자연어 질문, 응답 리스트 등)에서 추출하는 사물들 간의 관계와 맥락 정보들을 이용할 뿐만 아니라, 외부 지식 베이스인 ConceptNet으로부터 구해내는 상식 임베딩을 함께 활용한다. 특히 제안 모델은 ConceptNet으로부터 검색해낸 연관 지식 그래프를 효과적으로 임베딩하기 위해 그래프 합성곱 신경망(GCN) 모듈을 채용한다. VCR 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해, 본 논문에서는 제안 모델인 KG_VCR이 기존의 VQA 최고 모델과 R2C VCR 모델보다 더 높은 성능을 보인다는 것을 입증한다.
|
영문내용
(English Abstract) |
Unlike the existing Visual Question Answering(VQA) problems, the new Visual Commonsense Reasoning(VCR) problems require deep common sense reasoning for answering questions: recognizing specific relationship between two objects in the image, presenting the rationale of the answer. In this paper, we propose a novel deep neural network model, KG_VCR, for VCR problems. In addition to make use of visual relations and contextual information between objects extracted from input data (images, natural language questions, and response lists), the KG_VCR also utilizes commonsense knowledge embedding extracted from an external knowledge base called ConceptNet. Specifically the proposed model employs a Graph Convolutional Neural Network(GCN) module to obtain commonsense knowledge embedding from the retrieved ConceptNet knowledge graph. By conducting a series of experiments with the VCR benchmark dataset, we show that the proposed KG_VCR model outperforms both the state of the art(SOTA) VQA model and the R2C VCR model.
|
| 키워드(Keyword) |
영상 기반 상식 추론
심층 신경망
그래프 합성곱 신경망
지식 그래프 임베딩
Visual Commonsense Reasoning
Deep Neural Network
Graph Convolutional Network
Knowledge Graph Embedding
|
| 파일첨부 |
PDF 다운로드
|
