Current Result Document :
| 한글제목(Korean Title) |
SGD, Adam 그리고 중간 optimizer 비교 |
| 영문제목(English Title) |
Comparison of SGD, Adam and an Intermediary Optimizer |
| 저자(Author) |
Kwang Yong Shin
Soo-Mook Moon
신광용
문수묵
|
| 원문수록처(Citation) |
VOL 49 NO. 02 PP. 0737 ~ 0737 (2022. 12) |
한글내용
(Korean Abstract) |
가장 일반적인 딥러닝 모델 학습 방법은 SGD나 Adam와 같은 optimizer를 활용하는 것이다. SGD는 step size가 gradient 크기에 비례하지만, Adam의 step size는 gradient 크기보다는 gradient 변동량에 달라진다. 이 논문은 Adam의 step size가 gradient 평균에도 비례하도록 수정해보고 실험을 통해 SGD, Adam 그리고 그 중간에 있는 optimizer들의 특징을 분석한다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
