Pytorch: Automatic Differentitation (二)

这部分是pytorch自动求导的部分

#首先导入pytorch包
import torch

# 构建一个全为1的tensor,同时设置需要进行梯度求导
x = torch.ones(2, 2,requires_grad=True)
print(x)

tensor([[1., 1.],
        [1., 1.]], requires_grad=True)

# 做一个加法运算，看到也是带有求梯度性质的
y = x + 2
print(y)

tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)

print(y.grad_fn)

<AddBackward0 object at 0x7f9d17398668>

#在对y进行更多的操作
z = y * y * 3

#建议手写下这个计算过程，后面求梯度的时候也得算一下
out = z.mean()
print(z, out)

tensor([[27., 27.],
        [27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward0>)

# 我不明白为啥这段LZ没有输出啊。。。
a = torch.randn(2, 2, requires_grad=False)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)

# 使用链式法则求解out对x的求导
out.backward()
print(x.grad)

tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

#随机产生3个数
x = torch.randn(3, requires_grad=True)

y = x * 2
# 当其的平方和开跟小于1000，结束循环
while y.data.norm() < 1000:
    y = y * 2

print(y)

tensor([-1348.8553,    58.7602,  -407.5731], grad_fn=<MulBackward0>)

# 其实就是设置求导后不同维度的系数，可以看到如果将结果除以对应的系数，基本上都是一个数量级的，如果想获得对应的求导结果，可以将系数全部设置为1即可，不然按照教程的说法，是无法对向量直接求导的
v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(v)
print(x.grad)

tensor([1.0240e+02, 1.0240e+03, 1.0240e-01])

print(x.requires_grad)
print((x ** 2).requires_grad)

#当将代码块封装在with这句代码中就可以组织autograd设置跟踪了
#打印出来requires_grad为False了
with torch.no_grad():
    print((x ** 2).requires_grad)

True
True
False

参考地址:
https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#sphx-glr-beginner-blitz-autograd-tutorial-py