深度之眼PyTorch训练营第二期 ---4、autograd与逻辑回归

一、自动求导系统----torch.autograd

1、torch.autograd.backward  功能：自动求取梯度

• • 　　tensors：用于求导的张量，如loss
  •        retain_graph：保存计算图
  •        create_graph：创建导数计算图，用于高阶求导
  •        grad_tensors：多梯度权重

2、torch.aurograd.grad  功能：求取梯度

• • 　　outputs：用于求导的张量  ----- y
  •         inputs：需要梯度的张量  ----- w,x
  •         create_graph：创建导数计算图，用于高阶求导
  •         retain_graph：保存计算图
  •         grad_outputs：多梯度权重

小贴士：

　　（1）梯度不自动清零  grad.zero_（）

　　（2）依赖于叶子结点的结点，requires_grad默认为True

　　（3）叶子结点不可执行in-place操作

　　　　

二、逻辑回归

逻辑回归是线性的二分类模型

模型表达式： y = f(WX + b)

                      f(x) = 1/(1+eˆ(-x))    f(x)称为Sigmoid函数，也称为Logistic函数

　　　　　　class={0，0.5>y

　　　　　　　　　1，0.5<y

• 线性回归和逻辑回归之间的区别
  • 线性回归是分析自变量x与因变量y（标量）之间关系的方法
  • 逻辑回归是分析自变量x与因变量y（概率）之间关系的方法

• 机器学习模型训练步骤
  • 　　数据
  •        模型
  •        损失函数
  •        优化器
  •        迭代训练