深度神经网络：
深度学习实际指的是基于深度神经网络（ deep neural networks, DNN）的 学习，也就是深度人工神经网络所进行的学习过程，或称作 Deep Learning。
这个 Deep 指 的是神经网络的深度（层数多）。
TensorFlow 是一个采用数据流图（ data flow graphs），用于数值计算的开源软件库。 节 点（ nodes）在图中表示数学操作，图中的线（ edges）则表示在节点间相互联系的多维数据 数组，即张量（tensor）。
前馈神经网络 （ feedforward neural network）： 在这种神经网络中，各神经元从输入层开始，接收前一级输入，并输入 到下一级，直至输出层。 整个网络中无反馈，可用一个有向无环图（ directed acyclic graph, DAG）表示。
前馈神经网络有两种： 一种叫 Back Propagation Networks一一反向传播网 络（以下简称 BP 网络），一种叫RBF Network－一径向基函数神经网络
神经网络本身就有很多种设计模式，并且会在不同的模式下 产生不同的训练效果和运用特点。
迭代法的核心思路就是用步步逼近的方式来接近理论上的精确值，只要发现当前的试 探值已经收敛到一个满足场景要求的误差精度就可以判断迭代结束，用这个试探值来充当 求解的目标值
迭代法中有一个经典的方法，就是我们现在要说的牛顿 迭代法（ Newton’s method），或称牛顿法，它是牛顿在 18 世纪提出的一种在实数域和复数 域上近似求解方程的方法。
梯度就是分别对每个变量进行微分，然后用逗号分割开，梯度是用<>包括起来，说明梯度其实一个向量。
梯度是微积分中一个很重要的概念，之前提到过梯度的意义
- 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
- 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向
梯度下降法
这篇文章讲解的很详细，很容易理解，读者可以直接看这篇文章即可，不在此再次介绍。