Current Result Document :
| 한글제목(Korean Title) |
다중언어 텍스트에 대한 이미지 생성 기법 |
| 영문제목(English Title) |
Language-agnostic Text-to-Image Generation |
| 저자(Author) |
정성준
최우석
최성호
장병탁
SeongJun Jung
Woo Suk Choi
Seongho Choi
Byoung-Tak Zhang
|
| 원문수록처(Citation) |
VOL 49 NO. 01 PP. 1175 ~ 1177 (2022. 06) |
한글내용
(Korean Abstract) |
최근 GAN을 활용한 text to image generation model은 텍스트와 의미적으로 일치하고 사진같은사진 같은 생성할 만큼 많은 발전을 하고 있다. 하지만 multilingual text to image generation에대해서는 많이 연구되지 못했다. Multilingual text to image generation model을 만들때 발생하는 두 가지 문제가 있다. 첫 번째 문제는 low-resource language에 대한 text-image paired dataset이 적기 때문에 low-resource language에 대한 text to image model을 만들기 어렵다는 것이다. 두 번째 문제는 같은 의미를 가졌지만 다양한 언어로 표현된 텍스트들은 서로 의미적으로 일관되지 않은 이미지를 생성할 수 있다는 것이다. 우리는 이러한 문제들를 해결하기 위해 Language-agnostic Semantic Consistent Generative Adversarial Network for Text-to-Image Generation(LaSC-GAN)를 제안한다. Language agnostic text encoder를 활용해 zero shot setting에서 low-resource language로 이미지를 생성할 수 있다. 그리고 우리는 Siamese mechanism을 활용해 모델이 다양한 언어의 의미적 일관성을 학습하도록 만들어 언어가 달라도 의미가 같으면 의미적 일관성을 가지는 이미지를 생성할 수 있도록 만들었다. MS COCO dataset의 다중언어 버전을 활용한 실험을 통해 low-resource language text-image dataset에 대해서도 high-resource language text로 생성한 이미지만큼의 생성 품질을 가지고 언어가 달라도 의미가 같은 텍스트에 대해서 의미적으로 일관된 이미지를 생성할 수 있음을 보인다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
