Current Result Document :
| 한글제목(Korean Title) |
FedPress: 연합학습 기반 미세조정을 통한 효율적이고 개인정보를 공유하지 않는 신경망 압축기법 |
| 영문제목(English Title) |
FedPress: Efficient Model Compression without Sharing Private Data via Federated Fine-Tuning |
| 저자(Author) |
이건호
김성웅
김현준
김민수
정혜민
김덕환
최동완
KeonHo Lee
SeongWoong Kim
HyunJun Kim
MinSoo Kim
Heymin Jeong
DeokHwan Kim
DongWan Choi
|
| 원문수록처(Citation) |
VOL 48 NO. 02 PP. 0617 ~ 0619 (2021. 12) |
한글내용
(Korean Abstract) |
가장 대표적인 신경망 경량화 기법 중 하나인 네트워크 프루닝(network pruning)은 압축률이 높아짐에 따라 추론에 필수적인 파라미터가 제거되어 성능 하락이 발생한다. 이렇게 프루닝 이후 하락된 성능은 미세조정(finetuning)을 통해 복구된다. 하지만, 최근 클라이언트의 개인정보 보호가 중요해지고 데이터 서버 유지 비용이 증가함에 따라 데이터를 저장하고 수집하는 데 제약이 따르기 때문에 미세조정을 수행하기 어려운 경우가 많다. 이에 본 논문에서는 프루닝으로 압축된 합성곱 신경망의 하락된 성능을 서버에서의 미세조정 과정 없이 복구하는 방법을 제안한다. 일차적으로 데이터와 추가학습 없이 서버에서 초기 압축된 모델을 복구하고, 이후 서버로의 데이터 전송 없이 여러 클라이언트들의 신경망을 공유하는 연합 학습(Federated Learning)을 수행함 으로써 성능을 더욱 향상시키는 방법을 제안한다. ResNet-34를 이용한 이미지넷 실험에서 일차적인 성능 복구를 수행한 경량 신경망의 성능이 기존 프루닝만 수행한 신경망의 정확도 17%보다 30% 더 높은 47% 정확도를 달성하였으며, 이후 연합 학습을 통해 17.1% 더 높은 64.5% 정확도까지 달성함을 확인하였다. 이때 경량 신경망의 사전 학습된 신경망의 FLOPs과 파라미터의 수는 사전 학습된 신경망 대비 약 29% 더 적다.
|
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
