2018년 컴퓨터종합학술대회
Current Result Document : 2 / 2
| 한글제목(Korean Title) |
언어 모델링에서의 단어의 효율적인 코드북 표현 |
| 영문제목(English Title) |
Efficient codebook expressions of word representations in language modeling |
| 저자(Author) |
김병주
고유경
소찬호
김동현
강재우
Byungjoo Kim
Yookyung Ko
Chanho So
Donghyeon Kim
Jaewoo Kang
|
| 원문수록처(Citation) |
VOL 45 NO. 01 PP. 0241 ~ 0243 (2018. 06) |
한글내용
(Korean Abstract) |
기존의 단어 임베딩을 얻는 방식은 단어의 one-hot 표현으로부터 임베딩 행렬에서 해당 단어에 해당하는 임베딩을 찾아서 사용하는 방식이다. 최근 새로운 방법으로 제안된 코드북 임베딩 방식은 기존의 방식보다 메모리의 효율성을 높이고 단어 고유의 특성을 크게 잃지 않는다는 특징을 가지고 있다. 본 논문에서는 코드북 임베딩 방식의 효율을 최대화하고 정보 손실량을 최소로 할 수 있는 적정한 크기의 코드북 크기를 조사하고 조사된 코드북 크기대로 단어 임베딩을 양자화하여 언어 모델링을 실험하였다. 해당 모델은 임베딩 초기화를 하지 않은 모델보다 구체적이며 우수한 perplexity 성능을 내었고 GloVe 임베딩과 같은 이미 알려진 단어 임베딩 pre-trained 모델과 비교할 만한 경쟁력 있는 성능을 보여주었다.
|
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
