PyTorch验证group normalization

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/tfcy694/article/details/88774424

gn的原理已经有很多不错的文章了，这里只帖一张来自原文的图：

以下是PyTorch验证的代码

import torch
import torch.nn as nn

x=torch.randn([2,10,3,3])+1
m=torch.nn.GroupNorm(num_channels=10,num_groups=2)

firstDimenMean = torch.Tensor.mean(x[0,0:5])
firstDimenVar= torch.Tensor.var(x[0,0:5],False) #Bessel's Correction贝塞尔校正不会被使用
y2 = ((x[0][0][0][1] - firstDimenMean)/(torch.pow(firstDimenVar+m1.eps,0.5) )) * m1.weight[0] + m1.bias[0]
print(y2)

y1=m(x)
print(m1.weight)
print(m1.bias)
print(y1[0,0,0,1])

输出：

tensor(0.4595, grad_fn=<AddBackward0>)
Parameter containing:
tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1.], requires_grad=True)
Parameter containing:
tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], requires_grad=True)
tensor(0.4595, grad_fn=<SelectBackward>)

有一个问题是，按照原理来讲，weight和bias参数的shape应该是N*G，但是这里是C，不知道为什么，琢磨明白了再来补充。