KCC 2021
Current Result Document :
| 한글제목(Korean Title) |
인물 정보 태그를 활용한 드라마 영상의 이미지 캡셔닝 성능 개선 |
| 영문제목(English Title) |
Quality Improvement of Image Captions for Cinematic Video Using Character Tags |
| 저자(Author) |
김현주
조진욱
현지웅
정윤경
HyunJu Kim
JinUk Cho
Jiwung Hyun
YunGyung Cheong
|
| 원문수록처(Citation) |
VOL 48 NO. 01 PP. 0977 ~ 0979 (2021. 06) |
한글내용
(Korean Abstract) |
이미지 캡션 생성 (image captioning task) 은 주어진 이미지를 설명하는 자연어 문장을 생성하는 과제이다. 최근 딥러닝 기술을 기반으로 하는 이미지 캡션 모델들은 이미지를 설명하는 능력이 준수하다. 그러나 이런 범용적인 모델들이 생성한 캡션은 등장인물의 이름 등 고유한 정보가 포함되지 않는다. 특히, 드라마나 영화와 같은 분야에서는 고유 정보가 포함되지 않을 경우 캡션의 설명력이 부족하다. 본 논문에서는 기존 높은 성능의 방법론 중 학습 시 이미지와 객체 정보를 연결해주는 객체 태그(object tag)를 도입한 OSCAR+ (VinVL[2]) 모델을 기반으로, 객체 태그에 등장 인물의 태그(character tag)를 추가하여 객체 정보 뿐만 아니라 등장 인물의 정보까지 이미지와 연결되도록 한다. 한국 드라마 "미생"에서 수집한 데이터로 OSCAR+[2] 모델을 미세 학습 (fine-tuning)한 결과, 적은 양의 데이터로도 등장 인물 이름과 같은 추가 정보를 포함하는 캡션을 생성하도록 학습하는 것이 가능함을 확인하였다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
