1、什么是全连接神经网络？怎么理解“全连接”？
1、全连接神经网络解析：对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。
2、全连接的神经网络示意图：
3、“全连接”是一种不错的模式，但是网络很大的时候，训练速度回很慢。部分连接就是认为的切断某两个节点直接的连接，这样训练时计算量大大减小。
神经网络
1、一般的SGD的模型只有一层WX+b，现在需要使用一个RELU作为中间的隐藏层，连接两个WX+b，仍然只需要修改Graph计算单元为：
而为了在数学上满足矩阵运算，我们需要这样的矩阵运算：
这里N取1024，即1024个隐藏结点。
2、于是四个参数被修改：
其中，预测值计算方法改为：
3、计算3000次，可以发现准确率一开始提高得很快，后面提高速度变缓，最终测试准确率提高到88.8%。
谷歌人工智能写作项目：小发猫
2、神经网络连接方式分为哪几类？每一类有哪些特点
神经网络模型的分类
人工神经网络的模型很多，可以按照不同的方法进行分类全连接神经网络结构上有什么特点。其中，常见的两种分类方法是，按照网络连接的拓朴结构分类和按照网络内部的信息流向分类。
1 按照网络拓朴结构分类
网络的拓朴结构，即神经元之间的连接方式。按此划分，可将神经网络结构分为两大类：层次型结构和互联型结构。
层次型结构的神经网络将神经元按功能和顺序的不同分为输出层、中间层（隐层）、输出层。输出层各神经元负责接收来自外界的输入信息，并传给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换。根据需要可设计为一层或多层；最后一个隐层将信息传递给输出层神经元经进一步处理后向外界输出信息处理结果。
而互连型网络结构中，任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的连接程度将互连型网络细分为三种情况：全互连型、局部互连型和稀疏连接型
2 按照网络信息流向分类
从神经网络内部信息传递方向来看，可以分为两种类型：前馈型网络和反馈型网络。
单纯前馈网络的结构与分层网络结构相同，前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名的。前馈型网络中前一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。
反馈型网络的结构与单层全互连结构网络相同。在反馈型网络中的所有节点都具有信息处理功能，而且每个节点既可以从外界接受输入，同时又可以向外界输出。
3、Hopfield神经网络用python实现讲解？
神经网络结构具有以下三个特点：
神经元之间全连接，并且为单层神经网络。
每个神经元既是输入又是输出，导致得到的权重矩阵相对称，故可节约计算量。
在输入的激励下，其输出会产生不断的状态变化，这个反馈过程会一直反复进行。假如Hopfield神经网络是一个收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，一旦达到了稳定的平衡状态，Hopfield网络就会输出一个稳定的恒值。
Hopfield网络可以储存一组平衡点，使得当给定网络一组初始状态时，网络通过自行运行而最终收敛于这个设计的平衡点上。当然，根据热力学上，平衡状态分为stable state和metastable state, 这两种状态在网络的收敛过程中都是非常可能的。
为递归型网络，t时刻的状态与t-1时刻的输出状态有关。之后的神经元更新过程也采用的是异步更新法(Asynchronous)。
Hopfield神经网络用python实现
4、线性层和全连接层的区别
线性层和全连接层没有区别。线性层即全连接层。
全连接层，是每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。
例如在VGG16中，第一个全连接层FC1有4096个节点，上一层POOL2是7*7*512 = 25088个节点，则该传输需要4096*25088个权值，需要耗很大的内存。
卷积神经网络的全连接层
在 CNN 结构中，经多个卷积层和池化层后，连接着1个或1个以上的全连接层。与 MLP 类似，全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。为了提升 CNN 网络性能，全连接层每个神经元的激励函数一般采用 ReLU 函数。
最后一层全连接层的输出值被传递给一个输出，可以采用 softmax 逻辑回归（softmax regression）进行分类，该层也可称为 softmax 层（softmax layer）。对于一个具体的分类任务，选择一个合适的损失函数是十分重要的，CNN 有几种常用的损失函数，各自都有不同的特点。通常，CNN 的全连接层与 MLP 结构一样，CNN 的训练算法也多采用BP算法。
5、神经网络的特点
不论何种类型的人工神经网络，它们共同的特点是，大规模并行处理，分布式存储，弹性拓扑，高度冗余和非线性运算。因而具有很髙的运算速度，很强的联想能力，很强的适应性，很强的容错能力和自组织能力。这些特点和能力构成了人工神经网络模拟智能活动的技术基础，并在广阔的领域获得了重要的应用。例如，在通信领域，人工神经网络可以用于数据压缩、图像处理、矢量编码、差错控制（纠错和检错编码）、自适应信号处理、自适应均衡、信号检测、模式识别、ATM流量控制、路由选择、通信网优化和智能网管理等等。
人工神经网络的研究已与模糊逻辑的研究相结合，并在此基础上与人工智能的研究相补充，成为新一代智能系统的主要方向。这是因为人工神经网络主要模拟人类右脑的智能行为而人工智能主要模拟人类左脑的智能机理，人工神经网络与人工智能有机结合就能更好地模拟人类的各种智能活动。新一代智能系统将能更有力地帮助人类扩展他的智力与思维的功能，成为人类认识和改造世界的聪明的工具。因此，它将继续成为当代科学研究重要的前沿。