吴恩达 深度学习 神经网络和深度学习 浅层神经网络

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_24502469/article/details/80987311

1.神经网络视图

                                                            输出层X-->N层隐藏层-->输出层-->Y

*利用方括号内数字表示某一层

2.正向传播

*继续应用向量化思想来解决问题

3. 激活函数的选择

解决二元分类问题时，常用sigmoid

一般应用Relu或带泄露的Relu更方便，以应对梯度下降的缓慢地带

4.激活函数的导数

sigmoid的导数=a(1-a)

tanh的导数=1-a^2

                           

Relu

 

5. 反向传播

              

W，b在初始化时，W尽量使用随机数np.random.randn((a,b))