문제 설명
배치를 훈련한 직후 다음과 같은 상황이 발생합니다.
해결책
nan이 발생할 가능성이 가장 높은 상황은 학습률을 너무 크게 설정한 경우이므로 lr을 1e-3 정도인 0.0014로 설정합니다. 다음과 같은 상황이 발생했습니다.
효과는 있지만 nan이 계속 나타납니다. 그런 다음 계속해서 0.00014로 줄이고 배치 크기를 128로 늘립니다(배치 크기를 늘리면 네트워크가 데이터 분포를 더 잘 학습할 수 있습니다. 물론, 이것도 비디오 메모리 크기에 따라 조절해야 하는데 nan이 또 나오지 않네요.