[논문 리뷰] 모멘텀 기반 옵티마이저에서의 가중치 노름 증가 억제하기: Slowing Down the Weight Norm Increase in Momentum-based Optimizers

안녕하세요! 백지오입니다.
방학을 맞아 주 1회 논문 리뷰 영상을 제작하여 유튜브에 올리고 있습니다!

리뷰해볼 첫 논문은 Clova AI Research에서 나온, Slowing Down the Weight Norm Increase in Momentum-based Optimizers 논문입니다!

현대 딥러닝에서 모멘텀 기반 옵티마이저와 일반화(Normalization)은 빼놓을 수 없는 요소인데요, 논문에서는 이 두 요소를 함께 사용했을 때 발생하는 Weight Norm의 폭증으로 인한 문제를 지적하고, 이를 해결하기 위한 방법과 이를 적용한 AdamP, SGDP 옵티마이저를 제안합니다.

영상에 사용된 자료는 아래 제 깃허브 링크에서 확인하실 수 있습니다!

https://github.com/skyil7/paperReview/tree/master/1.Slowing%20Down%20the%20Weight%20Norm%20Increase%20in%20Momentum-based%20Optimizers

 

국내에서 딥러닝 기반 기술까지 연구하는 기업에 있다니 너무 행복하네요! 이런 기업에 갈 수 있도록 노력해야겠습니다. ㅎㅎ