深度学习入门-基于Python的理论与实现 感知机

目录

 

感知机

感知机是什么

权重和偏置的含义

单层感知机的局限性

多层感知机


感知机

感知机是什么

就是人工神经元

权重越大,对应该权重的信号的重要性就越高。

权重和偏置的含义

权重是控制输入信号重要性的参数,偏置是调整神经元被激活的容易程度的参数。

单层感知机的局限性

单层感知机的局限性就在于它只能表示由一条直线分割的空间。

单层感知机(就是单个神经元)可以实现与门、或门、与非门,但是不可以实现异或门。因为通过画图发现,异或门是非线性的,就是不能使用一条直线将它的取值空间分开,而与门、或门、与非门是线性的,可以使用一条直线分开。

                                                                                 或门

       

                                                                               异或门

由直线分割而成的空间称为线性空间,由曲线分割而成的空间称为非线性空间。

多层感知机

由多层单层感知机级联构成多层感知机。这样单层感知机无法分割的非线性空间就可以用多层感知机分割了。

例如:异或门的构成如下:它是由两层构成,第一层:与非门和或门,第二层:与门。虽然与非门,或门,与门三个都是只能分割线性空间,但是通过组合它们就构成了一个可以分割非线性空间的函数。

单层感知机无法表示的东西,通过增加一层就可以解决。 

两层感知机(严格来说是激活函数使用了非线性的sigmoid函数的感知机)可以表示任意函数。

文中这句话的含义其实就是,用两层的网络可以构建任意的非线性函数。既然两层的网络可以构建任意的函数,那么为什么我们还要费心费力的构建多层网络呢,两层不就行了吗?原因就是,多层的更符合人的思维(模块化),我们一步一步(一层一层)的完成我们的网络。而两层虽然可以构建任意函数,但是它的参数实在是太复杂,确定非常困难。好比我们要找到一个复合函数,多层的思想就是从最里边的小括号开始,一步一步的组合来找到这个函数,而只使用两层的网络那就要求我们两步就要写出这个函数,实在太难做,太复杂。

猜你喜欢

转载自blog.csdn.net/wdx1993/article/details/83903235