任务1:深度学习激活函数,kaggle-kernel环境实践!–pytorch版本
6个激活函数
想3个问题,中心点在哪里,函数型是怎么样的(数学公式),值域
sigmoid:梯度消失
tanh:梯度消失
relu:resnet层数比较多的
softplus平滑的relu
LeakyReLU 有漏洞的relu
ELU
任务2:深度学习损失函数,kaggle-kernel环境实践!–pytorch版本
搞清楚是分类问题,还是回归问题
回归损失函数
L1_loss 绝对值
L2_loss 平方MSE_loss
分类损失函数
Hinge Loss-------pytorch MultiMarginLoss
Cross Entropy Loss