第二周:神经网络编程基础
2.1 二分类
如何处理训练集
前向暂停,前向传播。反向暂停,反向传播
神经网络训练过程:前向传播,反向传播
逻辑回归:用于二分类
图片:三个矩阵:红绿蓝,像素强度值
把所有像素值放到一个特征向量中。
x,y,(x,y),X,Y,Mtrain,Mtest
X.shape,Y.shape
2.2 逻辑回归
2.3 逻辑回归代价函数
损失函数:误差函数:L
看预测值和实际值有多接近:
- 一般:预测值和实际值平方差或者平方差一半
- 逻辑回归:逻辑回归特有损失函数。因为优化目标不是凸优化,只能是多个局部最优值,梯度下降找不到全局最优值。
样本个数:
- 一个:损失函数
- 多个:代价函数,代价函数是参数的总代价
2.4 梯度下降法
2.5 导数
2.6 导数例子
2.7 计算图
反向传输:计算梯度 或者 导数
计算图:解释计算过程
2.8 使用计算图求导数
2.9 逻辑回归的梯度下降。(公式推导)
2.10 m个样本的梯度下降。(公式推导)
2.11 向量化
非向量化:for循环
向量化:np.dot(w,x)+b
2.12 向量化的例子
numpy库
2.13 向量化逻辑回归。(未整理)
2.14 向量化逻辑回归的梯度输出 (未整理)
2.15 python中的广播
2.16 关于 python numpy向量说明