深度学习小结
其他
2019-04-28 15:41:30
阅读次数: 0
- 调节学习速率
- 合理初始化权重,常用的:高斯分布初始化权重,均匀分布。。。。
- 浅层NN可以拟合任何函数,数据量巨大
- 深层可以用更少的数量更好的拟合,前提:空间中的元素可迭代而来
- 防止过拟合
L2正则化
dropout
每个epoch之后shuffle训练数据
设置early-stopping
加batch normalization(标准化所有的sample的统计分布,降低batch内不同样本差异性)
- BN最大的优点允许网络使用较大学习速率进行训练加快训练速度(减少epoch次数)
- 为什么深层比浅层高效
迭代组成的先验知识使得样本可帮助训练共用同底层的样本
- 卷积:
对图像元素矩阵变换
提取图像特征
多种卷积核提取多种特征
一个卷积核覆盖的原始图像面积称为感受野
一次卷积提取局部特征,因此需要在此基础上继续做卷积
- 池化
卷积计算得到的特征维度巨大,易过拟合,因此在图像局部特征做平滑处理(局部相关性原理)
- 全连接:softmax
- 卷积核矩阵中的元素值即参数
- cnn优点:
sparse interaction稀疏交互
parameter sharing参数共享
equivalent representation 等价表示
- CNN/DNN区别
dnn输入的是向量形式,未考虑平面结构信息
cnn输出可以是tensor
- filter尺寸计算
(input_size+2*padding_size-fiter_size)/stride+1
- RNN记忆功能
递归效应
上一时刻隐状态参与到当前状态的计算
转载自blog.csdn.net/qq_39643868/article/details/89539701