1、如何理解梯度下降?谈一谈对梯度下降的理解?
机器学习 101:一文带你读懂梯度下降-云栖社区-阿里云
梯度下降算法是很常用的算法,可以将代价函数J最小化。
梯度下降和优化器的联系
2、如何理解反向传播?
反向传播过程
3、激活函数的理解?
激活函数 of 神经网络
激活函数对神经网络的影响 - 万能逼近能力
看到使用了激活函数之后,神经网络可以通过改变权重实现任意形状,越是复杂的神经网络能拟合的形状越复杂,这就是著名的神经网络万有逼近定理。
cross_entropy
Tensorflow编程基础之Mnist手写识别实验+关于cross_entropy的理解 - 西红柿炒蛋就加糖! - 博客园
https://www.cnblogs.com/kerwins-AC/p/9948841.html