计算机视觉（五）深度学习基础

物联网 2023-08-01 18:00:12 阅读次数: 0

文章目录

深度学习基础

卷积神经网络与传统神经网络区别

深度学习与神经网络的区别

在这里插入图片描述

目标函数

选择合适的目标函数

在这里插入图片描述
在这里插入图片描述

Softmax层

在这里插入图片描述

改进的梯度下降

梯度消失的直观解释

在这里插入图片描述

激活函数

在这里插入图片描述
在这里插入图片描述

学习步长

在这里插入图片描述

SGD的问题

在这里插入图片描述
存在马鞍面，使我们的训练卡住，于是提出下面方法：

Momentum动量

在这里插入图片描述

Nesterov Momentum

在这里插入图片描述
先利用“惯性”，“走”一步。避免一开始，就被当前梯度带偏。

Adagrad

为不同的参数设置不同的学习步长。
在这里插入图片描述

RMSprop

改进的Adagrad。使：
小的可以变大，大的可以变小。
在这里插入图片描述

Adam

在这里插入图片描述

各种梯度下降算法比较

在这里插入图片描述
在这里插入图片描述

关于算法选择的建议

在这里插入图片描述

Batch Normalization的由来

在这里插入图片描述
在这里插入图片描述
量纲不同，需要进行归一化处理。

避免过适应

在这里插入图片描述

早期停止训练

在这里插入图片描述

权重衰减

在这里插入图片描述

Dropout

在这里插入图片描述

测试时权重应减小

在这里插入图片描述

CNN初步介绍

CNN的基本组件

在这里插入图片描述

CNN卷积层

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

CNN池化层

在这里插入图片描述
通道数没变，尺度大小变了。

CNN-Softmax层

在这里插入图片描述

池化层的误差反向传播

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

卷积层计算在这里插入图片描述

卷积层运算的展开表示

在这里插入图片描述
与全连接是有区别的。

卷积层的误差反向传播

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
转了180度

在这里插入图片描述
在这里插入图片描述
下面是残差在这里插入图片描述

下面是梯度·在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/m0_60634555/article/details/132013855
今日推荐
国产云输入法——仅华为无云端数据上传安全问题
开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40
开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）
开源日报 | 中学生开源前端动画引擎；全球首个Llama3 8B中文版开源模型；联想电脑恐出局；Linus讽刺AI炒作
“百模大战”必有一战 | 2024中国“百模大战”竞争格局分析
最强开源大模型 Llama 3 上架 Gitee AI
周排行
自媒体文章如何提高原创度以及如何检测原创度
开启qq邮箱的smtp服务
Qt程序单次启动（QSingleApplication类）
国外的外包网站
更新IDEA主题——放飞代码风格
cocos2dx 实现搓牌效果（翻牌效果），包括铺平动画
dict和json之间的互相转换
angular的一些思考
. Fibonacci数列是这样定义的： F[0] = 0 F[1] = 1 for each i ≥ 2: F[i] = F[i-1] + F[i-2] 因此，Fibonacci数列就形如：0, 1
洛谷P1064 金明的预算方案
每日归档
更多
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)
2024-04-21(0)
2024-04-20(6)
2024-04-19(5)
2024-04-18(0)
2024-04-17(5)
2024-04-16(70)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022