Current Result Document :
| 한글제목(Korean Title) |
객체 검출 기반 다중 모달리티 어텐션 향상 |
| 영문제목(English Title) |
Improving cross-modal attention via object detection |
| 저자(Author) |
김용일
윤현구
황예린
정교민
Yongil Kim
Hyeongu Yun
Yerin Hwang
Kyomin Jung
|
| 원문수록처(Citation) |
VOL 49 NO. 01 PP. 0906 ~ 0908 (2022. 06) |
한글내용
(Korean Abstract) |
최근 이미지 캡셔닝과 같이 서로 다른 모달리티를 하나의 모델에서 다루는 멀티 모달리티에 대한 연구가 활발히 진행되고 있다. 이러한 멀티 모달리티 연구에서는 서로 다른 두 모달리티에 대한 정보를 혼합하기 위해 cross-modal attention 이 많이 사용된다. 하지만 현존하는 대부분의 모델들은 cross-modal attention을 차용하여 종단간 학습을 통한 간접적인 학습에만 의존하고, 직접적인 어텐션에 대한 개선은 하지 않는다. 본 연구에서는, 멀티 모달리티 중 특히 이미지 정보와 텍스트 정보를 다루는 Vision-and-Language 태스크에 객체 검출 모델을 차용하여 cross-modal attention 을 직접적으로 향상시키는 새로운 방법론을 제시한다. 본 논문에서 제시하는 방법론은 다양한 데이터셋에 대한 실험의 모든 성능 지표에서 기존의 베이스라인의 성능을 크게 향상시키며, 추후 Vision-and-Language 의 어느 태스크에도 적용 가능한 확장성이 높은 방법론이다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
