这是自己更细的第一个原创作品，经过这么久的深度学习，到现在自己可以做一些小的项目，有一一些发自内心的感慨。基础知识掌握情况决定研究的高度，我们刚开始接触深度学习时，一般都是看到别人的概括，这个方法很好能让我们快速上手，但是也有一个很大的缺点， 知识理解的不透彻，导致我们对算法优化时一头雾水。我也是抱着知识总结的思想开始自己的深度学习知识精髓的探索，也希望能从中帮助到更多人。文章中间存在表述不清的地方希望各位研友（研究深度学习的朋友）提出，我会努力完善自己的文章。
进入文章主题：
SVM损失函数（hinge loss）：
针对的问题：分类问题
首先先求出输入特征对应不同分类权值的乘积，然后根据这些分数用max求损失。回设计到总猜错的得分和减去正确得分然后加上设置的超级参数，其结果与零相比求最大值。得到的最大值就是损失值。通过求导得到权值的更新，达到降低误差。
Softmax loss （二分的话也叫作逻辑斯蒂回归）：
针对的主要是多分类并且算出概率：
softmax损失与svm损失最大的不同是，svm损失只需要把正确的分类得分大于不正确得分就可以了。但是，softmax损失，是希望正确的分类逐渐趋向1，二不正确的分类概率趋向于零，是一个无穷的感念。先对wx得分求exp（wx），然后再归一化归然偶求概率，最后再用-log（）求损失函数。