假期学习回顾与总结

学习内容

专业理论学习：

学习资料介绍：

假期学习整体分为吴恩达深度学习课程和《动手学深度学习PYTORCH版》,前者偏重理论，感觉适合入门，网易云课堂视频（https://mooc.study.163.com/smartSpec/detail/1001319001.htm）+配套黄海广主编针对吴恩达深度学习课程DeepLearning.ai 《深度学习课程 笔记 （V5.1 ）》（后来看的是新版5.7版）；后者侧重使用pytorch框架实现深度学习的一些理论。

学习情况介绍：

1. 吴恩达深度学习课程：最开始接触这门课程是在2020年4月，当时做毕设（人脸表情识别）急需一些卷积神经网络的知识，先学习了第四门课（卷积神经网络）。后来就忙毕业的一些事情直到2020年六月底开始重新学习，这次从头开始学习的，学习状态不错，对视频中出现的数学公式也进行了一些推导，并整理在博客。学习还算顺利，直到第五门课（序列模型）开始感到吃力，个人感觉是自然语言相关（可能不准确），所以第五门课简单学了一下，理解不是很深入。
   整理在博客专栏（吴恩达深度学习笔记）https://blog.csdn.net/dujuancao11/category_9871211.html，虽然很多是复制粘贴，但我就是想要自己整理一下，这样比完全坐在那里看要印象深刻，时不时有我的手写笔记，字丑是硬伤。
   原因：
   前期学习顺利可能是因为毕设是计算机视觉方面（人脸表情识别），相关资料看的比较多，而且是先实践再具体按需学习（对自己稍有了解的东西再深入学习总是比新学一个东西要容易很多）。后期不顺可能是因为缺乏一些更基础的东西，也可能是前期学习有些累了，精力不是很高。
2. 动手学深度学习PYTORCH版：个人感觉前面一部分理论很多是吴恩达深度学习课程学习过的，用pytorch实现了一遍，不仅让我对吴恩达深度学习课程学过的理解更深刻，而且也学习了如何使用python代码+pytorch框架实现一些基础算法。由于吴恩达深度学习学到序列模型没有再学，动手学深度学习PYTORCH版也是学到了语言模型，之后有空继续学吧。
   整理在博客专栏（动手深度学习）https://blog.csdn.net/dujuancao11/category_10303149.html

从2020年7月开始每周五进行每周五汇报，现简单复习回顾，简单总结一下。（周周之间内容可能不连续，先按照当时汇报做整理）

7月

2020.7.10

简单汇报了吴恩达深度学习，讲了深度学习应用，用房价预测案例入门理解神经网络，了解不同类型网络的不同应用，了解深度学习热门原因。

• 图像应用常使用卷积神经网络CNN，对于序列数据，例如音频，常用递归神经网络RNN。
• 推动深度学习变得如此热门的主要因素：包括数据规模、计算量及算法的创新。
• 一个神经网络的计算，都是按照前向和反向传播过程组织的。前向过程计算网络输出，反向传输优化学习更新参数，后者用来计算出对应的梯度或导数（多元链式求导）。

一些关键词

逻辑回归、激活函数（sigmoid、tanh、ReLu、Leaky ReLu函数图）、损失函数、代价函数、梯度下降算法、前向传播和反向传播、for循环与向量化技术、python广播机制、神经网络结构图。

除此之外还简单汇报了一下之前做的人脸表情识别。（刚刚简单回顾了一下老师提出的建议，收获很大，认真做科研呀！）

2020.7.17

两大部分：吴恩达深度学习+论文《 Xception: Deep Learning with Depthwise Separable Convolutions 》

吴恩达深度学习

关键词：训练集、测试集、验证集、欠拟合（高偏差）、过拟合（高方差）、归一化输入、梯度消失和梯度爆炸

• 可以没有测试集，测试集的目的是对所选定的神经网络系统做无偏估计。如果不需要无偏估计，样本可以只分为训练集和验证集，验证集则被称为测试集。
• 过拟合解决：
  § 正则化，常用的有 L2 正则化和 “Dropout （随机失活）”正则化。
  § early stopping 也可以减少过拟合，让神经网络在迭代中表现很好的时候及时停止训练。
• 归一化输入 可以加速神经网络的训练。

论文在此次PPT汇报不是很全面，在2020.7.24详细汇报了。

2020.7.24

1、 Xception网络架构的介绍、keras搭建网络、训练网络

可视化的代码与结果已上传在我的CSDN博客https://blog.csdn.net/dujuancao11/article/details/107467515

训练代码详解见：https://blog.csdn.net/dujuancao11/article/details/107532649

这里这列出小结内容：

Inception 与 Xception

■ 小结：从常规卷积 -> 典型的 Inception -> 简化的 Inception -> 极端的 Inception ，实际上是 输入通道分组的一个变化过程 。

① 常规卷积可看做将输入通道当做整体， 不做任何分割。

② Inception 则将通道分割成 3 至 4 份 （通道分组）， 进行 1×1 的卷积操作。

③ 极端的 Inception 则 每一个通道都对应一个 1×1 的卷积 。

引入深度可分离卷积的 Inception，称之为 Xception（Extreme Inception）。

■ 极端的 Inception 模块与 Xception 论文的主角 - 深度可分离卷积 的两点区别：

① 顺序相反 ： 深度可分离卷积 先进行 channel-wise 的空间卷积，再进行 1×1 的通道卷积， Inception 则相反。

② 是否有非线性激活 ： Inception 中，每个操作后会有一个 ReLU 的非线性激活，而 深度可分离卷积 则没有。

2、学会使用labelimg和labelme进行目标检测数据集标注，labelme和labelimg类似，但生成的标注文件类型不同，应根据需要选择合适的方式标注。https://blog.csdn.net/dujuancao11/article/details/107541996

2020.7.31

吴恩达深度学习课程

关键词：batch 梯度下降法（梯度下降算法）、mini-batch 梯度下降法、优化算法（指数加权平均数、动量梯度下降法（ Momentum ）、RMSprop 算法、Adam 算法）、超参数、正交化、查准率、查全率、迁移学习、多任务学习、端到端的深度学习

• 如果 mini-batch 大小是 2 的n次方，代码会运行地快一些。
• 指数加权平均的本质就是以指数式递减加权的移动平均。各数值的加权随时间而指数式递减，越近期的数据加权越重，但较旧的数据也给予一定的加权。
• 动量梯度下降法（ Momentum ）：基本的想法就是利用了类似移动指数加权平均的方法来对网络的参数进行平滑处理，让梯度的摆动幅度变得更小。 并利用该梯度更新权重，运行速度几乎总是快于标准的梯度下降算法。
• RMSprop 算法对梯度计算了微分平方加权平均数。一方面有利于修正摆动幅度，使得各个维度的摆动幅度都较小。另一方面也使得网络函数收敛更快。
• Adam 算法是将Momentum算法和RMSprop算法结合起来的一种算法。
• 正交化：通俗理解，如果一个控制旋钮同时控制两个性质，很难调整控制。然而正交化后方便调整。正交意味着互成90度，例如：一个维度控制转向角，而另一个维度来控制速度。
• 查准率：在分类器标记为猫的例子中，有多少真的是猫。如果分类器有95%的查准率，这意味着分类器标记为猫的时候，有95%的机会真的是猫。
• 查全率：对于所有真猫的图片，分类器正确识别占多少百分比。如果分类器查全率是90%，这意味着对于所有的图像，分类器准确地分辨出了其中的90%。
• 迁移学习：有的时候神经网络可以从一个任务中习得知识，并将这些知识应用到另一个独立的任务中。迁移学习起作用的场合是，在迁移来源问题中有很多数据，但迁移目标问题没有那么多数据。在迁移学习中，步骤串行，从任务A里学习然后迁移到任务B。
• 在多任务学习中，同时开始学习，试图让单个神经网络同时做几件事情，然后希望每个任务都能帮到其他所有任务。
• 端到端的深度学习：以前有一些数据处理系统或者学习系统，它们需要多个阶段的处理。那么端到端深度学习就是忽略所有这些不同的阶段，用单个神经网络代替它。是否使用端到端深度学习的关键问题：是否有足够的数据能够直接学到从x映射到y的复杂函数。

8月

2020.8.7

吴恩达深度学习

有关卷积神经网络

• 卷积神经网络是一类包含卷积运算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
• 卷积神经网络能够按其阶层对输入信息进行平移不变分类。卷积神经网络仿照生物的视知觉感知机制构建，可以进行监督学习和非监督学习。隐藏层内的卷积核参数共享和层间网络的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征（例如像素和音频）进行学习，有稳定的效果。
• 边缘检测：卷积运算是卷积神经网络最基本的组成部分。神经网络的前几层检测边缘，利用不同的卷积核分别进行水平、竖直边缘检测，或者其他角度的边缘检测。

以下图片来源于自己的PPT 

2020.8.14

接触目标检测算法，重点汇报了YOLO系列的one-stage算法。

PPT具体内容整理在另一篇博客https://blog.csdn.net/dujuancao11/article/details/108889097

2020.8.21

学习R-CNN系列算法，并作对比总结。

（自我评价：这些算法用到的时候还是需要再深入学习的。）

PPT具体内容整理在另一篇博客https://blog.csdn.net/dujuancao11/article/details/108889097

2020.8.28

介绍了一些基于摔倒行为的目标检测算法。开始接触freemind，真心好用。

（自我评价：相关文献的阅读还是太少，所以对汇报不是很满意，就不再多写了。）

9月

2020.9.4

学习摔倒检测算法。《基于卷积神经网络和XGBoost的摔倒检测》一文提出的摔倒检测算法准确率较高，达到98.3%（（录用定稿）网络首发时间：2020-06-02 13:47:02）。

本周进展主要是项目方面，暂不公开。

2020.9.11

• 重点关注了“摔倒检测”方面的文献，了解“摔倒检测”研究现状与挑战，并整理成思维导图（《跌倒检测国内外研究现状.mm》）。
• 梳理了项目任务以及计划，并整理成文档。

2020.9.18

介绍了几种常见的卷积神经网络，并整理博客专栏。

• 《卷积神经网络（LENET）》 https://blog.csdn.net/dujuancao11/article/details/108571642
• 《深度卷积神经⽹络（ALEXNET）》https://blog.csdn.net/dujuancao11/article/details/108572001
• 《使⽤重复元素的网络（VGG）》https://blog.csdn.net/dujuancao11/article/details/108573152
• 《⽹络中的网络（NIN）》https://blog.csdn.net/dujuancao11/article/details/108573616
• 《含并行连结的网络（GOOGLENET）》https://blog.csdn.net/dujuancao11/article/details/108595486
• 《残差网络（RESNET）》https://blog.csdn.net/dujuancao11/article/details/108614152
• 《稠密连接网络（DENSENET）》https://blog.csdn.net/dujuancao11/article/details/108614891

PPT具体内容见https://blog.csdn.net/dujuancao11/article/details/108889308

2020.9.25

很遗憾前段时间学的太狠了，不小心落枕+长期看电脑，颈椎出现了问题。

继续项目文献调研。

---------------------------------------------------------------------

今天竟然是2020年9月最后一天，我也要准备研究生开学了，好好加油呀。