版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/hxxjxw/article/details/89842897
1、1943年McCulloch Pitts神经元模型
引入的激活函数f可以有效避免仅使用
的线性组合，提高了模型的表达率，是模型具有更好的区分度。
常用的激活函数有relu、sigmoid、tanh
2、神经网络的复杂度
神经网络的复杂度多用神经网络层数和神经网络参数的个数表示
计算层数只计算具有运算能力的层（所以是不计入输入层的）
3、神经网络的优化
- 损失函数loss
- 学习率learning_rate
- 滑动平均ema
- 正则化regularization
损失函数（loss）：预测值（y）和已知答案（y_）的差距
y是前向传播计算出来的结果
神经网络优化目标：loss最小
神经网络的优化目标就是想找到某套参数，使得
