机器学习常用数学公式

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/somTian/article/details/78373638

常用函数

softmax

$$softmax(x)_i = \frac {e^{x_i}}{\sum _j e^{x_j}}$$

sigmoid

$$\sigma(x) = \frac{1}{1+e^{-x}}$$

gradient of sigmoid

$$σ′(x) = σ(x)(1 − σ(x))$$

tanh

$$\tanh(x) = \frac{1-e^{-2x}}{1+e^{-2x}}$$

ReLU

$$ReLU(x) = max(0,x)$$

cross-entropy cost

$$CE(y,\hat y) = − \sum_i y_ilog(\hat y_i)$$

评测指标

准确率

$$Precision(\%) = \frac{True positive}{(True positive+False positive)} \times 100 \%$$

召回率

$$Recall(\%) = \frac{True positive}{(True negative+False negative)} \times 100 \%$$

F1-score

$$F1-Score = \frac{2}{\frac{1}{p}+\frac{1}{r}}$$
或者
$$F1-Score = \frac{2 \times P \times R}{P+R} = \frac {2 \times TP}{样本总数 + TP - TN}$$

MSE: Mean Squared Error

$$MSE = \frac{1}{m} \sum_{i=1}^{m}{({\hat y^{(i)} - y^{(i)}})}^2$$

RMSE

$$RMSE =\sqrt{ \frac{1}{m} \sum_{i=1}^{m}{({\hat y^{(i)} - y^{(i)}})}^2 }$$

MAE :Mean Absolute Error

$$MAE = \frac{1}{m} \sum_{i=1}^{m}{| \hat y^{(i)} - y^{(i)} |}$$

• 均方误差是指参数估计值与参数真值之差平方的期望值，可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度.
• 均方根误差是均方误差的算术平方根
• 平均绝对误差是绝对误差的平均值，能更好地反映预测值误差的实际情况.