神经网络的一些概念

一、什么是深度神经网络

浅层神经网络:一个逻辑回归是一个浅层的神经网络,最简单的神经网络是包含一个隐藏层的双层神经网络【不含输入层】,

深层神经网络是一个包含多层隐藏层的神经网络。

二、深层神经网络和浅层神经网络的比较

计算y = x1 xor x2 xor x3 …… xor xn,x1异或到xn的结果。

左边是深层神经网络,时间复杂度为O(logn)

右边是浅层神经网络,时间复杂度为O(2^n)

三、超参数和参数:

参数:W和b

超参数:影响W和b的一些参数,如学习率、隐藏层数、单元数、激活函数的选择、以及代码运行时的mini-batch,几种不同的正则化参数等。

猜你喜欢

转载自www.cnblogs.com/Lee-yl/p/10012045.html