深入理解神经网络原理:线性回归

什么是线性分类器

 寻找一个函数 把D维空间的输入映射到K维空间(分为K列)

 输入是D维列向量,输出是K*1维,那么W一定是K*D维

Wx+b的物理意义是什么

wx是列向量的内积->就是在算两个列向量的相关度->是在算 第一类的特征分量的表示 与 输入数据的相关度

w:是从w的眼中看到的 物体的分量 

    就像人的世界观

    婴儿刚开始不存在世界观,通过喂给数据,组件收敛成一个较好的世界观

wx:x与w每一类相似度匹配的度量,算出来的值越大,是某一类的可能性越大

将wx+b 用概率表示,使用softmax

 wx+b优化w的指标:loss 利用数据信息

通常y_label与y_pred 通常是k维的独热编码

交叉熵损失

 折页损失

通过循环计算是否比其他预测值都大,

 L2正则化

人话:loss相同情况下,选择绝对值小的参数

如何优化w的世界观

最常见的算法就是梯度下降算法,需要对矩阵w求梯度->对矩阵每个元素求梯度

分类讨论 对某行和其他行求梯度,相当于复合函数求梯度

 参考资料:七月在线 深度学习集训营

 

Guess you like

Origin blog.csdn.net/weixin_45955767/article/details/119892315