深度神经网络（Deep Neural Networks，简称DNN）是深度学习的基础。
回顾监督学习的一般性问题。假设我们有$m$个训练样本$\{(x_1, y_1), (x_2, y_2), …, (x_m, y_m)\}$，其中$x$为输入向量，$y$为输出向量，利用这个训练样本训练模型的参数，使得给定模型一个$x_{test}$，其能够预测$y_{test}$。
采用CNN模型的时候，$x$输入向量全部喂给输入层，$y$输出向量和输出层的向量一起计算损失函数，而其中若干个神经元的隐藏层，每一个隐藏层都有对应的权重矩阵$W$和偏置向量$b$，对于训练过程中，喂入样本$x$得到$y_{predict}$，根据$y_{predict}$以及$y$计算出的损失函数，怎么去更新网络中的参数，即需要反向传播算法。在机器学习中，求出损失函数的最小极值，其对应的参数即为我们所期望的到的。在DNN中，常用的优化极值求解过程的方法为梯度下降法，其他还有牛顿法、拟牛顿法等等。
综上，对DNN的损失函数采用梯度下降法进行迭代优化求极小值的过程即为反向传播算法。