神经网络简介

网络结构

输入层、隐含层(多层)、输出层

 单个神经元结构，g(z)为激励函数，线性组合，非线性处理

逻辑回归

正向传播预测结果，反向传播调整w和b

激励函数

作用：提供规模化的非线性化能力

常用：

损失函数

单次训练损失：

 全部训练损失：

梯度下降

逻辑回归梯度下降

 同步更新

网络向量化

网络梯度下降(反向传播调参)

训练过程