神经网络基础——从二分分类和逻辑回归说起

1.二分分类(Binary Classification)

给定一张64*64的RGB的图片,判断图片中是否为cat(0/1)

记号(notation)


2.逻辑回归(Logistic Regression)

当输出为0或者1的二元分类的监督学习方法。用预测值去估算y=1的概率大小。使用到了sigmoid函数。


3.逻辑回归的成本函数(cost function)


4.梯度下降优化算法(Gradient Descent)

使用梯度下降优化算法去寻求w,b使得成本函数(cost function)最小。GD是一个迭代的算法。


又分为批梯度下降和随机梯度下降。优化算法还有牛顿法(通常情况下速度更快);还有Conjugate gradient、BFGS、L-BFGS这里不表,不需要手动设置学习率,更快于GD

5.计算图(Computation Graph)

分为正向传播(forward propagation)和反向传播(backward propagation)。从左至右为正向,计算成本函数(要优化的函数);从右至左为反向,计算偏导数(用到求导的链式法则)。

以Logistic Regression为例描述Computation Graph,假设只有两个特征x1和x2,针对一个样本:


针对整个训练集,编码实现范例:


不过该方法有个缺点:两个循环loop,比较低效。我们一般使用向量化技术(Vectorization)取代之。

无论是CPU还是GPU,它们都有SIMD的指令(单指令流多数据流),这回帮助我们消除显示for循环:




猜你喜欢

转载自blog.csdn.net/sinat_28520127/article/details/81040915