DCGAN의 관련 논문을 읽은 후 학습률의 지속적인 감소를 통해 훈련의 정확도를 향상시킬 수 있다는 내용을 소개하는 글입니다. 종이에서 학습률을 낮추는 것이 아니라 단순히 축소하는 것입니다.
위의 그림은 논문에 있는 계산식으로, Decay_rate는 하이퍼파라미터이고 논문에서 주어진 값은 0.95입니다. 다음으로 전체 디자인을 간략하게 소개합니다. 데이터 셋은 10개의 카테고리를 인식하고 총 5라운드의 학습이 있는 CIFAR-10을 사용하며, 코드는 kaggle의 빅가이 코드를 사용합니다.
위의 사진은 최종 학습 결과인데, 특별히 효과가 좋지 않은 것을 알 수 있으니, 학습률을 점차 줄여가며 정확도가 향상되는지 확인해보려 합니다. 이 글은 2번의 실험을 하였는데 첫 번째 실험에서는 learning rate를 두 번, 한 번은 10배, 두 번째 실험에서는 learning rate를 두 번, 한 번은 5배씩 줄였다.
위의 그림은 학습률을 변경하지 않은 손실을 보여줍니다.
위의 그림은 4라운드와 5라운드에서 각각 학습률을 10배 줄인 손실을 나타낸 것으로, 손실이 조금 줄어든 것을 확인할 수 있습니다.
위 3개의 그래프는 각각 4라운드와 6라운드에서 학습률을 5배씩 줄인 손실을 나타낸 것으로, 손실이 많이 줄었고, 최종 정확도도 10정도 증가했음을 알 수 있다. %. 물론 이번에는 7라운드까지 훈련을 했지만 손실률을 10배로 줄였을 때보다 5라운드에서 학습률이 훨씬 낮아졌다.
마지막으로 pytorch를 이용하여 학습률을 변경하는 방법을 게시합니다.물론 이 사진은 본 실험의 코드가 아닌 내부의 매개변수만 변경한 것입니다.