深度篇——神经网络(一) 神经元与感知机

返回主目录

返回神经网络目录

下一章：深度篇——神经网络(二) ANN与DNN 结构和常用激活函数

目录内容

深度篇——神经网络(一) 神经元与感知机

深度篇——神经网络(二) ANN与DNN 结构和常用激活函数

深度篇——神经网络(三) 网络拓扑与训练神经网络

深度篇——神经网络(四) 细说调优神经网络

深度篇——神经网络(五) 细说优化器

深度篇——神经网络(六) 细说数据增强与fine-tuning

深度篇——神经网络(七) 细说 DNN 神经网络手写数字代码演示

本小节，细说神经元与感知机，下一小节细说 ANN与DNN 和常用激活函数

一. 神经元与感知机

1. 神经元是神经网络的基本组成

如果把神经元画出来，它大概如下图所示：

为了形象理解，可以简化为如下图像：

$\large input$ ：为输入数据，可以有很多的 feature，每个feature 为后面的 $\large x$

$\large output$ ：为输出结果，可以有很多的 label 值

$\large \sum$ ：为 $\large \sum_{i = 0}^{n} w_{i} x_{i}$ 的加和

$\large f$ ：为对上面加和结果做线性或非线性变化，即激活函数

$\large x$ ：为上面 $\large input$ 的 feature，其中，通常令 $\large x_{0} = 1$

$\large w$ ：为学习权重值

2. 感知机

(1). 感知机是神经网络的基础，感知机也被称为单层神经网络(其中，单个神经元也可以叫作感知机)

(2). 感知机的一大缺陷是无法解决线性不可分问题，想要解决这一问题，需要将原来线性可分的样本映射到另一个特征空间去，在该空间样本线性可分，映射方法主要有两种：

①. 人工指定映射方法

手动指定映射的方法，代表为核函数(核方法)。

②. 自动寻找映射方法

使用机器学习的方法自动获得映射方法，代表为神经网络。

3. 多层感知机

(1). 在神经网络中，第一层为输入层，最后一层为输出层，中间层为隐藏层。除了输出层，每层神经元包含 bias 都是全连接到下一层的。

(2). ANN (浅层神经网络) 人工神经网络有两个或两个以上隐藏层，层位 DNN (深度神经网络)

(3). 如果感知机层数越多(即网络越长)，基础学习率相对越小，否则 loss 容易不收敛。如果 loss 不收敛，可能是基础学习率不够小，也可能是过拟合，也可能是数据集有问题。

(4). 如果是回归，output 层没有非线性激活函数。如果是分类，output 层有非线性激活函数，并且 hidden 层(隐藏层) 通常都是非线性激活函数。

返回主目录

返回神经网络目录

下一章：深度篇——神经网络(二) ANN与DNN 结构和常用激活函数

万道一

发布了42 篇原创文章 · 获赞 15 · 访问量 2757

私信关注