【学习记录】前馈神经网络

(1)分类

①浅层学习:分段学习

②深度学习:端到端

(2)激活函数

(3)从标注数据出发,优化模型数据(优化目标:损失值小,参数不复杂)

①标注数据:(xi,yi)(1<=i<=N)

xi:神经网络输入

yi:期望输出

②评分函数将输入数据映射为类别置信度大小:s=f(x)=W\varphi (x)

③损失函数估量模型预测值和真实值之间差距,损失函数给出差距越小,则模型鲁棒性越好,其中常用的损失函数:softmax(分类正确样本softmax值所占比重越大,其loss越小),SVM(分类正确样本置信度比分类错误样本置信度至少大1),FULL loss

④参数优化:梯度下降、误差反向传播(BP算法)

猜你喜欢

转载自blog.csdn.net/Jessicaxu123/article/details/130184818