交叉熵损失函数(softmax分类器)

对于训练集中第 i i 张图片数据 x i x_i ,在 W W 下会有一个得分结果向量 f y i f_{y_i} ,则损失函数几座 L i = l o g ( e f y i j e f j ) L_i=-log(\frac{e^{f_{y_i}}}{\sum_j e^{f_j}})
或者
L i = f y i + l o g j e f i L_i=-f_{y_i}+log\sum_{j}{e^{f_i}}
实际工程中一般这么计算:
f y i j e f j = C e f y i C j e f j = e f y i + l o g C j e f j + l o g C \frac{f_{y_i}}{\sum_je^{f_j}}=\frac{Ce^{f_{y_i}}}{C\sum_{j}e^{f_j}}=\frac{e^{f_{y_i}}+logC}{\sum_{j}e^{f_j+logC}}

发布了113 篇原创文章 · 获赞 51 · 访问量 17万+

猜你喜欢

转载自blog.csdn.net/weixin_43055882/article/details/93867312