TensorFlow 学习(五):深度学习、神经网络

tensor

operation(返回结果tensor)

在S型神经元中,和感知器神经元的区别在于:

对于结果值z的转换,采用的不是sign函数进行转换,是采用平滑类型的函数进行转

换,让输出的结果值y最终是一个连续的,S型神经元转指使用的是sigmoid函数。

激活函数的主要作用是提供网络的非线性建模能力。只有加入了激活函数之后,深度神经网络才具备了分层的非线性映射学习能力。 激活函数的主要特性是:可微性、单调性、输

出值的范围;

常见的激活函数:Sign函数、Sigmoid函数、Tanh函数、ReLU函数、P-ReLU函数、Leaky-ReLU函数、ELU函数、Maxout函数等

神经网络主要由三个组成部分,第一个是架构(architecture)或称为拓扑结构(topology),描述神经元的层次与连接神经元的结构。第二个组成部分是神经网络使用的激励/激活函数。第三个组成部分是找出最优权重值的学习算法。神经网络主要分为两种类型,前馈神经网络(Feedforward Neural Networks)是最常用的神经网络类型,一般定义为有向无环图,信号只能沿着最终输出的那个方向传播。另外一个是反馈神经网络(Feedback Neural Networks),也称为递归神经网络(Recurent Neural Networks),也就是网络中环。

 

 

 

 

 

上面这些不用深度学习也能做,只是深度学习降低了难度。

感知器、S型神经元、神经网络

第一个模拟算法;

猜你喜欢

转载自blog.csdn.net/lusics/article/details/88073265
今日推荐