1: tensor不能反向传播,variable可以反向传播。
2:Variable计算时,它会逐渐地生成计算图。这个图就是将所有的计算节点都连接起来,最后进行误差反向传递的时候,一次性将所有Variable里面的梯度都计算出来,而tensor就没有这个能力。
3:variable 如何转化为numpy
4:Variable
有一个名叫data
的字段,可以通过它获得被包装起来的那个原始的Tensor
数据。同时,使用grad
字段,可以获取梯度(也是一个Variable
)。
5:每个Variable
有一个creator
的字段,表明了它是由哪个Function
创建的(除了用户自己显式创建的那些,这时候creator
是None
)
6: 当进行反向传播计算梯度时,如果Variable
是标量(比如最终的loss
是欧氏距离或者交叉熵),那么backward()
函数不需要参数。然而如果Variable
有不止一个元素的时候,需要为其中的每个元素指明其(由上层传导来的)梯度(也就是一个和Variable
shape匹配的Tensor
)
import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable
import torch
from torch.autograd import Variable # torch 中 Variable 模块
tensor = torch.FloatTensor([[1,2],[3,4]])
# 把鸡蛋放到篮子里, requires_grad是参不参与误差反向传播, 要不要计算梯度
variable = Variable(tensor, requires_grad=True)
var = Variable(tensor ) ### 默认是不参与反向传播,如果需要则需要在代码里面声明
print("tensor:",tensor)
print("variable:",variable)
print("var:",var)
#### 获取Variable 的数据
print(variable.data.numpy()) ###variable 数据转化为numpy 的类型
运行结果:
PS F:\Graduation project\deeplearning> python .\c.py
tensor: tensor([[1., 2.],
[3., 4.]])
variable: tensor([[1., 2.],
[3., 4.]], requires_grad=True)
var: tensor([[1., 2.],
[3., 4.]])
[[1. 2.]
[3. 4.]]