Coursera机器学习笔记 第4周 第八章 神经网络：表述（一）

版权声明：本文为博主原创文章，如有转载请标注来源。 https://blog.csdn.net/shengchaohua163/article/details/79519511

第八章 神经网络：表述（一）

第1节 动机（Motivations）

8.1 非线性假设

参考视频：8 - 1 - Non-linear Hypotheses (10 min).mkv

前面我们学习了逻辑回归，它们可以很好的解决一些线性的分类问题。但是对于非线性问题，它们很难画出分类边界线。如下图。

如果要实现非线性模型，需要增加模型复杂度（增加特征组合和特征多次项）。但是，当特征太多时，计算的负荷会非常大：假设我们的数据有100个特征，用这100个特征来构建一个非线性的多项式特征模型，特征组合会非常多。即使只采用两两特征的组合，也有将近5000个特征($C_{100}^2$)，这对逻辑回归来说需要计算的特征太多了。

再如在图像识别中，一个50×50像素的图片，每个元素当作一个特征的话，拥有的特征量为2500，那么它的二次项数为$C_{2500}^2$（大约为3百万个）特征。普通的逻辑回归模型不能有效地处理这么多特征，神经网络可以帮助我们。

8.2 神经元和大脑

参考视频：8 - 2 - Neurons and the Brain (8 min).mkv

神经网络是一种很古老的算法，它最初产生目制造能模拟最神奇的学习机器——人类的大脑。神经网络不仅在逻辑上行得通，之后我们会看到，而且也能很好地解决不同的机器学习问题。

神经网络逐渐兴起于二十世纪八九年代，应用得非常广泛。但由各种原因在90年代后期应用变少。最近，它又东山再起了。其中一个原因是：神经网络时计算量偏大的算法。然而由于近些年计算机的运行速度变快，才足以真正运行其大规模的神经网络。而且，如今的神经网络对于许多应用来说是最先进的技术。

我们能学习数学，学着做微积分，而且大脑能处理各种不同的令人惊奇的事情。似乎如果你想要模仿它，你得些很多不同的程序来模拟这些五花八门的事情。不过，能不能假设大脑做这些事情的方法仅仅需要一个单一的学习算法？尽管这是一个假设，不过确实有一些这方面的证据：事例略。

神经网络可能为我们打开一扇进入遥远的人工智梦窗户，但在这节课中讲授神经网络的原因主要是对于现代机器学习应用。它是最有效的计数方法，因此在接下来的课程中，我们将开始深入到神经网络的技术细节。

第2节 神经网络（Neural Networks）

8.3 模型表示1

参考视频：8 - 3 - Model Representation I (12 min).mkv

我们思考一下大脑中的神经网络：每一个神经元都包含一个神经核（nucleus），许多突触（dendrite）和一个轴突（axon）。它们分别被看作处理单元、输入单元和输出单元（processing unit、input unit、output unit）。神经网络是大量元相互连接并通过电脉冲来交流的一个网络。 神经元如下图：

神经网络建立在很多神经元上，我们把其中一个个神经元看作是一个个学习模型。这些神经元（也叫激活单元，activation unit）采纳一些特征作为输入，并根据自身的模型提供一个输出，或者说这些神经元具有计算功能。下图是一个以逻辑回归模型作为自身学习模型的神经元示例。在神经网络中，参数又可被称为权重（weights）。

上图中的偏差单元（bias unit）$x_0$固定为1。$x_0,x_1,x_2,x_3$不进行计算，只向下一层提供数据。右边神经元采取的计算模型为$h_{\theta}(x)=\frac{1}{1+e^{-\theta^Tx}}$，此处和逻辑回归相同。

扫描二维码关注公众号，回复： 3437508 查看本文章

下图是一个稍微复杂的三层神经网络：

神经网络是许多逻辑单元按照不同层级组织起来的网络，每一层的输出变量都是下一层的输入变量。对上图中的三层神经网络予以说明：

• 第一层（输入层，input layer）：$x_1,x_2,x_3$是输入单元（input unit），增加偏差单元$x_0$并将其固定为1。输入层不进行计算，唯一功能是向下一层传递数据。
• 第二层或中间层（隐藏层，hidden layer）：中间层负责接收上一层的数据$x_0,x_1,x_2,x_3$，经过计算后将结果$a_1,a_2,a_3$（增加偏差单元$a_0=1$）传递给下一层。
• 第三层（输出层，output layer）：接收上一层的数据$a_0,a_1,a_2,a_3$，用来计算$h_{\theta}(x)$。
• 神经元发出的箭头代表数据的流向，由一个神经元发出的不同箭头传递的是相同的数据。需要向下一层传递数据的层都需要增加偏差单元。
• 偏差单元不算激活单元，因为它是人为添加的，而且值固定为1。输入层的输入单元算不需要计算的激活单元，只需要向下一层传递数据。
• 神经网络命名：我们把需要计算的层次称之为“计算层”，一般把拥有一个计算层的网络称之为“单层神经网络”。在本文里，我们简单地根据神经网络的层数来命名。

下面引入一些标记法来帮助描述模型：

• $a_i^{(j)}$: 第j层的第i个激活单元。
• $\Theta^{(j)}$: 从第j层映射到第j+1层的权重矩阵。权重矩阵的尺寸为：以第j+1层的激活单元数为行数，以第j层的激活单元数加1为列数。例如，上图所示的神经网络中的$\theta^{(1)}$的尺寸为3*4。

对于上图所示的模型来说，中间层的激活单元$a_1,a_2,a_3$和输出$h_{\theta}(x)$分别表达为：

$$\begin{align*} a_1^{(2)} = g(\Theta_{10}^{(1)}x_0 + \Theta_{11}^{(1)}x_1 + \Theta_{12}^{(1)}x_2 + \Theta_{13}^{(1)}x_3) \newline a_2^{(2)} = g(\Theta_{20}^{(1)}x_0 + \Theta_{21}^{(1)}x_1 + \Theta_{22}^{(1)}x_2 + \Theta_{23}^{(1)}x_3) \newline a_3^{(2)} = g(\Theta_{30}^{(1)}x_0 + \Theta_{31}^{(1)}x_1 + \Theta_{32}^{(1)}x_2 + \Theta_{33}^{(1)}x_3) \newline h_\Theta(x) = a_1^{(3)} = g(\Theta_{10}^{(2)}a_0^{(2)} + \Theta_{11}^{(2)}a_1^{(2)} + \Theta_{12}^{(2)}a_2^{(2)} + \Theta_{13}^{(2)}a_3^{(2)}) \newline \end{align*}$$

我们知道每个中间层的激活单元$a$都是由上一层的输出决定的，我们把这样从左到右计算的过程称为正向传播算法（Forward Propagation）。上面的讨论只是将数据集中的一行（一个训练实例）喂给了神经网络，而我们需要将整个数据集都喂给神经网络来进行学习。

对于上图来说，我们把数据集X中的第一个实例$x^{(1)}$从第一层到第二层的计算过程为：$g(\Theta^{(1)} \cdot x) = a^{(2)}$，其中

$$x=\begin{bmatrix}x_0 \\ x_1 \\ x_2 \\ x_3 \end{bmatrix} \Theta^{(1)}= \begin{bmatrix} \Theta^{(1)}_{10} & \Theta^{(1)}_{11} & \Theta^{(1)}_{12} & \Theta^{(1)}_{13} \\ . & . & . & \Theta^{(1)}_{23}\\ . & . & . & \Theta^{(1)}_{33} \end{bmatrix} a^{(2)}=\begin{bmatrix}a^{(2)}_1 \\ a^{(2)}_2 \\ a^{(2)}_3 \end{bmatrix}$$

8.4 模型表示2

参考视频 : 8 - 4 - Model Representation II (12 min).mkv

我们设置变量z为：

• 对于第2层，$z_k^{(2)} = \Theta_{k,0}^{(1)}x_0 + \Theta_{k,1}^{(1)}x_1 + \cdots + \Theta_{k,n}^{(1)}x_n$

所以第2层，

$$\begin{align*} z_1^{(2)} = \Theta_{10}^{(1)}x_0 + \Theta_{11}^{(1)}x_1 + \Theta_{12}^{(1)}x_2 + \Theta_{13}^{(1)}x_3 \newline z_2^{(2)} = \Theta_{20}^{(1)}x_0 + \Theta_{21}^{(1)}x_1 + \Theta_{22}^{(1)}x_2 + \Theta_{23}^{(1)}x_3 \newline z_3^{(2)} = \Theta_{30}^{(1)}x_0 + \Theta_{31}^{(1)}x_1 + \Theta_{32}^{(1)}x_2 + \Theta_{33}^{(1)}x_3 \newline \end{align*}$$
所以第2层的计算简化为 $$\begin{align*}a_1^{(2)} = g(z_1^{(2)}) \newline a_2^{(2)} = g(z_2^{(2)}) \newline a_3^{(2)} = g(z_3^{(2)}) \newline \end{align*}$$

前文$x$和$z^{(j)}$的标识如下：

$$\begin{align*}x = \begin{bmatrix}x_0 \newline x_1 \newline\cdots \newline x_n\end{bmatrix} &z^{(j)} = \begin{bmatrix}z_1^{(j)} \newline z_2^{(j)} \newline\cdots \newline z_n^{(j)}\end{bmatrix}\end{align*}$$

为了进一步统一符号标识，我们设置：$x = a^{(1)}$。所以：

• $z^{(j)} = \Theta^{(j-1)}a^{(j-1)}$
• $a^{(j)} = g(z^{(j)})$

所以输出层为$h_\Theta(x) = a^{(j+1)} = g(z^{(j+1)})$，对于三层神经网络：$h_\Theta(x) = a^{(3)} = g(z^{(3)})$。这和逻辑回归中的模型是统一的。有没有一点小兴奋，哈哈哈。

其实神经网络就是逻辑回归，只不过我们把逻辑回归中的输入向量[x0,x1…x3]变成了神经网络中间层的[a1…a3]。我们可以把[a1…a3]看作更高级的特征，也就是[x0,x1…x3]的进化体。它比原来的特征厉害，能更好地预测新数据。这就是神经网络相比于逻辑回归和线性回归的优势。

P.S. 正向传播算法

正向传播算法比较容易理解，三层神经网络的算法如下：

用Matlab代码向量化实现三层神经网络的正向传播算法：

m = size(X, 1); % X为输入数据集
X = [ones(m, 1), X]; 
a1 = X;
z2 = a1 * Theta1';
a2 = sigmoid(z2);
a2 = [ones(m, 1), a2];
z3 = a2 * Theta2';
a3 = sigmoid(z3);

---

推荐资料：

1. 神经网络浅讲：从神经元到深度学习