大数据基础--深度学习（刘鹏《大数据》课后习题答案）

1.简述人工神经网络定义。

　　人工神经网络简称神经网络（NN），是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。

　　人工神经网络从信息处理角度，抽象了人脑神经元网络，模拟神经元信息处理机制，建立起一个简单的模型，模型之间按照不同的连接方式组成不同的网络。从基本的功能来说，人工神经网络与生物意义上的神经网络是基本相似的。

2.简述神经网络架构。

　　一般的神经网络是层级结构，每层神经元与下一层神经元相互连接，同层神经元及跨层神经元之间相互连接，每层神经元的输出作为下一层神经元的输入，这种网络被称为前馈神经网络。多层神经网络中除了输入层，每个神经元都是一个多输入单输出信息处理单元。

3.简述误差逆传播算法。

　　逆误差传播（BP）的反馈机制：输入层将数据传入隐藏层，隐藏层通过数据之间的联系强度（权重）和传递规则（激活函数）将数据传到输出层。输出层处理传入数据，得到一个输出结果。若实际输出和期望不符，则比较两者得到一个误差。再利用误差对网络进行逆推，对网络中的连接权重进行反馈修正，从而完成整个学习。

　　BP的学习规则：使用最速下降法（即梯度下降法），通过反向传播不断调整网络的权值和阈值，获得网络的最小误差平方和（正向传播的输出值与样例值的差的平方和），从而找到最接近正确结果的权值和偏置。

4.大数据与深度学习之间有什么样的关系？

　　随着CPU和GPU计算能力的大幅提升，深度学习拥有了更高效的硬件平台作为支撑。大数据时代的海量数据解决了早期神经网络由于训练样本不足出现的过拟合、泛化能力差问题。因此，大数据需要深度学习，深度学习的发展又需要大数据支撑。

5.简述人工智能的未来发展。

　　未来应该是一个人工智能的世界。一朵花可能拥有智能，根据主人的心情来开放；每个人都有一个智能伴侣，让我们更加理性地购物；甚至还能帮助信徒决定他们的人生信仰等。未来的人工智能将很多领域代替人类，并能服务我们人类自身，处理我们的日常生活。

6.目前影响力比较大的深度学习模型有哪些？

　　（1）卷积神经网络

　　（2）深度置信网络

　　（3）循环神经网络

7.自动编码器主要有哪两种变体？

　　（1）稀疏编码器（Sparse AutoEncoder）。前提是当隐层节点数少于输入的时候，将相当于一个降维的过程，类似pca；在AutoEncoder的中间隐层加上L1的Regulations限制，就得到了Sparse AutoEncoder，L1主要用来约束每一层节点中大部分为0，少数为1。

　　（2）降噪自动编码（Denoising AutoEncoder）。最具代表性的就是去噪自编码器，应用范围广，其中去噪自编码器只需要去掉噪声，并保证隐层节点小于输入层节点；Masking Noise的自编码器只需要将高斯噪声改为随机遮挡噪声；VAE（Variational AutoEncoder）相对比较复杂，VAE中间节点的分布有强假设，拥有额外的损失项，且会使用特殊的SGVB算法进行训练，目前VAE在生成模型中发挥了很大作用。

8.卷积神经网络主要有哪些特点？

　　（1）局部感受区域，在卷积神经网络中，神经元只对视野中的某一区域产生响应，被称为局部响应区域。

　　（2）权值共享，一个卷积层中所有神经元均由同一个卷积核对不同区域数据响应而得到的，即共享同一个卷积核。

　　（3）降采样，一般在卷积后面会进行降采样操作，对卷积层提取的特征进行聚合统计。

9.降采样操作常用的类型有哪些？

　　（1）卷积层（Convolutional Layer）。卷积层是卷积神经网络中的核心部件。

　　（2）池化层（Pooling Layer）。卷积神经网络中另一个重要的概念就是池化，实现非线性降采样操作。将输入数据分成若干不重叠的矩形块，对每一个矩形块中的数据进行非线性操作得到单个数值。

　　（3）全连接层（Fully Connected Layer）。经过若干卷积层和池化层之后，卷积神经网络的高层通过全连接层实现。

10.简述循环神经网络的架构。

　　循环神经网络中存在环形结构，隐藏层内部的神经元是互相连接的，可以存储网络的内部状态，其中包含序列输入的历史信息，实现了对时序动态行为的描述。