关于吴恩达深度学习总结(一)

关于吴恩达深度学习总结(一)相关函数

一、cost function(成本函数)

衡量在全体训练样本上的表现情况
$J = \frac{1}{m} \sum_{i=1}^m \mathcal{L}(a^{(i)}, y^{(i)})\tag{6}$

$J = -\frac{1}{m}\sum_{i=1}^{m}y^{(i)}\log(a^{(i)})+(1-y^{(i)})\log(1-a^{(i)})$

二、loss function(损失函数)

衡量算法的运行情况，衡量在单个训练样本上的表现情况
$\mathcal{L}(a^{(i)}, y^{(i)}) = - y^{(i)} \log(a^{(i)}) - (1-y^{(i)} ) \log(1-a^{(i)})\tag{3}$

三、sigmoid function（sigmoid函数）

Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。
$sigmoid(x) = \frac{1}{1+e^{-x}}$

四、y hat

识别对象满足y=1的概率
$\hat{y}^{(i)} = a^{(i)} = sigmoid(z^{(i)})\tag{2}$

$z^{(i)} = w^T x^{(i)} + b \tag{1}$

五、参数的更新规则

$\theta = \theta - \alpha \text{ } d\theta$

$$

$$

扫描二维码关注公众号，回复： 5228969 查看本文章

alpha,对应的是学习率

六、w，b的导数

$\frac{\partial J}{\partial w} = \frac{1}{m}X(A-Y)^T\tag{7}$

$\frac{\partial J}{\partial b} = \frac{1}{m} \sum_{i=1}^m (a^{(i)}-y^{(i)})\tag{8}$

七、向量化logistic回归

$A = \sigma(w^T X + b) = (a^{(0)}, a^{(1)}, ..., a^{(m-1)}, a^{(m)})$

$J = -\frac{1}{m}\sum_{i=1}^{m}y^{(i)}\log(a^{(i)})+(1-y^{(i)})\log(1-a^{(i)})$

八、激活函数

1.sigmoid function（sigmoid函数）

$sigmoid(x) = \frac{1}{1+e^{-x}}$

2.tanh 函数

$tanh(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}}$

3.ReLU函数（max(0,x)）

4.leaky ReLU函数（max(0.01x,x)）