分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow
也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！
Softmax function
Softmax 函数 定义如下：
它具有很好的求导性质：
其中，的每一个维度 表明，属于第 类的概率。求导过程，请参考：Softmax vs. Softmax-Loss: Numerical Stability
Negative log-likehood
当我们使用softmax 函数作为 output function的时候，即：
在这里只表示某些需要优化的参数。
我们需要选择 negiative log-likelihood 作为代价函数( cost function), 也被称作 Cross-Entropy cost function. 即：
表示的是 tagert, 表示的是model's prediction. 通常， 表示的是 one-hot representation, 表示的是各类的 predicted probability.
Note
如果 采用的是 one-hot representation, 那么我们的计算公式是:
如果 是对应的 index, 而 是对应的 predicted probability vector 的话，计算公式：
它的求导公式也很简单:
Note
如果 采用的是 one-hot representation, 那么我们的计算公式是:
如果 是对应的 index, 而 是对应的 predicted probability vector 的话，计算公式：
给我老师的人工智能教程打call！http://blog.csdn.net/jiangjunshow
