2020년 컴퓨터종합학술대회
Current Result Document :
| 한글제목(Korean Title) |
딥러닝 기반 피사체 시선 추적을 통한 캡션 생성 시스템 |
| 영문제목(English Title) |
Caption Generation System with Gaze Following |
| 저자(Author) |
Ji-Eun Jeong
Yong-Suk Choi
정지은
최용석
|
| 원문수록처(Citation) |
VOL 47 NO. 01 PP. 0515 ~ 0517 (2020. 07) |
한글내용
(Korean Abstract) |
피사체의 시선 추적(Gaze Following)은 단일 이미지에서 피사체의 시선이 응시하는 지점을 탐지한다. 딥러닝 기반의 기존 연구는 단순히 시선의 각도를 추정하거나, 스마트폰과 같은 기기 스크린 내부의 응시점을 추정하므로 어떤 물체를 보는지에 대한 정보를 얻을 수 없다는 한계가 있다. 본 논문에서는 최초로 딥러닝 모델을 활용하여 피사체의 시선을 추적하고 ‘J가 넥타이를 본다.'와 같이 자동으로 캡션을 생성하는 시스템을 제안한다. 시스템은 전처리 모듈, 시선 추적 모듈, 후처리 모듈로 구성되며, 전처리 모듈에서 인물을 인식하고 딥러닝 모델의 입력을 생성한다. 시선 추적 모듈에서는 약 12만 장의 GazeFollow 데이터 세트로 학습한 모델을 활용해서 시선의 응시 지점이 표시된 히트맵(heatmap)을 생성한다. 후처리 모듈에서는 우리 가 제안하는 객체 선택 알고리즘에 의해 응시 지점에 있는 물체를 판별하고 캡션을 생성한다. 제안된 시스템은 리테일링 및 학술 목적의 대규모 메타데이터를 효율적으로 생성하는 데 활용될 수 있다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
