吴恩达深度学习笔记4-Course1-Week4【深层神经网络】

深层神经网络(DNN):


一、深层神经网络

4层的神经网络:
这里写图片描述


二、前向与反向传播

前向 (forward propagation):
这里写图片描述
反向 (backward propagation):
这里写图片描述
notation:
n[l]:第l层的unit个数
W[l]:(n[l] , n[l−1])
b[l]:(n[l] , 1)
dW[l]:(n[l] , n[l−1])
db[l]:(n[l] , 1)

single example:
x:(n[0] , 1)
z[l]:(n[l] , 1)
a[l]=z[l]=dz[l]:(n[l] , 1)

multiple example:
x:(n[0] , m)
Z[l]:(n[l] , m)
A[l]=Z[l]=dZ[l]=dA[l]:(n[l] , m)


三、参数与超参数

参数(parameters):
训练网络得到的模型参数用于预测:W[l],b[l]

超参数(hyperparameters):
训练网络过程中所需要的的参数,超参数某种程度上决定着模型的参数 W[l],b[l] 的最终结果。

学习速率:α
迭代次数:N
隐藏层的层数:L
每一层的神经元个数:n[1],n[2],⋯
激活函数g(z)的选择

猜你喜欢

转载自blog.csdn.net/wang_jiankun/article/details/80230907