활동의 정상화, LN, BN, WN

참조 : https://zhuanlan.zhihu.com/p/33173246?utm_source=wechat_session&utm_medium=social&utm_oi=611573545537507328

다음, 모델의 초기화에 필요한, 십억원 일반 사용은 그렇게 높지 않다, 그러나 최종 결과는 좋지 않을 수 있습니다.

미백에 필요 원시 데이터의 1. 원인 :

그래야 데이터는 독립적이고 동일하게 가능한 분산 남아있다.

당신이 정상화 모든 종류의 필요 않는 이유 1. 데이터는 정기적를하고있다

일정 수준 후에 데이터를 정기적으로하지 않을 경우, 각 계층은 매우 강력한 것 다시 한 번 높은 수준의 데이터 분포 변화의 분포를 변경됩니다 얻은 업데이트 된 상위 매개 변수를 입력하기 때문에 매개 변수 업데이트 전략이 깊은 훈련은 어렵다 중요. 각 층의 결과가 비교적 균일 한 분포의 정규화를 할 수 있다면, 각각의 수신기는 상이한 발생 분포의 영향을 피할 수있다.

추천

출처www.cnblogs.com/wb-learn/p/11695609.html