KSC 2018
Current Result Document :
| 한글제목(Korean Title) |
의미 특징과 주의집중을 이용한 고밀도 비디오 캡션 생성 |
| 영문제목(English Title) |
Dense Video Captioning with Semantic Features and Attention |
| 저자(Author) |
이수진
김인철
Sujin Lee
Incheol Kim
|
| 원문수록처(Citation) |
VOL 45 NO. 02 PP. 0686 ~ 0688 (2018. 12) |
한글내용
(Korean Abstract) |
본 논문에서는 고밀도 비디오 캡션 생성을 위한 새로운 심층 신경망 모델을 제안한다. 고밀도 비디오 캡션 생성은 하나의 입력 비디오로부터 다수의 이벤트 구간들을 찾아내고, 이들 각각에 관한 자연어 설명 문장을 생성하는 작업이다. 이 작업은 하나의 이벤트나 행동만을 포함하고 있는 입력 비디오에 관해 하나의 자연어 설명 문장만을 생성하는 종래의 비디오 캡션 생성과는 다른 고도의 복합 지능 작업이다. 일반적으로 고밀도 비디오 캡션 생성 작업은 크게 입력 비디오를 표현하는 특징을 추출하는 과정과 비디오 내 이벤트 시간 영역들을 제안하는 과정, 각 이벤트 영역에 관한 캡션 생성 과정으로 이루어진다. 본 논문에서는 입력 비디오를 나타내는 특징으로 합성곱 신경망으로부터 추출한 시각 특징 외에도 고수준의 의미 특징을 사용하였다. 제안 모델에서는 순환 신경망인 LSTM을 이용하여 전체 비디오에 대한 이벤트 시간 영역들을 탐지하였다. 또한 본 논문에서는 캡션 생성 과정에 주의집중 메커니즘을 적용하여 입력 특징을 중요도에 따라 선택적으로 활용함으로써 캡션 생성 성능을 향상시킬 수 있도록 설계하였다. 고밀도 비디오 캡션 생성을 위한 대용량 벤치마크 데이터 집합인 ActivityNet 캡션 데이터 집합을 이용한 다양한 실험을 통해, 본 논문에서 제안한 모델의 성능과 효과를 확인할 수 있었다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
