1. 网络结构
神经网络主要由以下3部分组成：
- 拓扑结构(topology)
描述神经元的层次与连接神经元的结构； - 激活函数
如常用的激活函数：sigmoid函数、tanh函数… - 优化算法
求解最优权重的优化算法
下面是一个全连接的网络结构，这里的全连接就是，神经元与上一层的每一个神经元都有连接。
上图中的隐藏层是2个，即是少量的隐藏层(一般为2层)，一般称为浅层神经网络(传统神经网络)；若是多层的隐藏层的神经网络就称为深度神经网络(DNN)。
2. 过拟合
增加隐藏层的数目以及神经元的个数，会使得网络的结构变得很复杂，其模型预测能力会变强，但可能导致过拟合问题，反而使得效果不好。所以在实际的应用中，隐藏层的数目、神经元的个数这些参数的选择还是很有讲究的。