深度学习:第一门课,神经网络和深度学习:第二周,神经网络的编程基础

第二周:神经网络编程基础
2.1 二分类

如何处理训练集

前向暂停,前向传播。反向暂停,反向传播
神经网络训练过程:前向传播,反向传播
逻辑回归:用于二分类
图片:三个矩阵:红绿蓝,像素强度值
把所有像素值放到一个特征向量中。

x,y,(x,y),X,Y,Mtrain,Mtest
X.shape,Y.shape


2.2 逻辑回归


2.3 逻辑回归代价函数
损失函数:误差函数:L
看预测值和实际值有多接近:

  • 一般:预测值和实际值平方差或者平方差一半
  • 逻辑回归:逻辑回归特有损失函数。因为优化目标不是凸优化,只能是多个局部最优值,梯度下降找不到全局最优值。

样本个数:

  • 一个:损失函数
  • 多个:代价函数,代价函数是参数的总代价

2.4 梯度下降法


2.5 导数


2.6 导数例子


2.7 计算图

反向传输:计算梯度 或者 导数
计算图:解释计算过程


2.8 使用计算图求导数


2.9 逻辑回归的梯度下降。(公式推导)


2.10 m个样本的梯度下降。(公式推导)


2.11 向量化
非向量化:for循环
向量化:np.dot(w,x)+b


2.12 向量化的例子
numpy库


2.13 向量化逻辑回归。(未整理)


2.14 向量化逻辑回归的梯度输出 (未整理)


2.15 python中的广播


2.16 关于 python numpy向量说明

发布了53 篇原创文章 · 获赞 4 · 访问量 8785

猜你喜欢

转载自blog.csdn.net/lee__7/article/details/102961614