****深度学习—从LeNet到DenseNet：https://www.cnblogs.com/eilearn/p/9044446.html
讲的很全面很不错
**** https://blog.csdn.net/weixin_43624538/article/details/85227041
给出了DenseNet论文链接以及GitHub代码链接，这就是对论文的理解精华部分的总结。
摘要中，作者概括出DenseNet的几个优点：
1、减轻了vanishing-gradient（梯度消失）
2、加强了feature的传递
3、更有效地利用了feature
4、一定程度上较少了参数数量
最后，还遗留一个反直觉的问题：为什么稠密的结构，连接更紧密了，反而参数会变少了呢? 答案十分显然：稠密结构网络深度较低，每层网络的通道数也明显变少-----每层新增K个通道,而传统CNN各层很容易出现上百的通道。
链接：https://www.sohu.com/a/161923204_651893
主要讲黄和刘当时的创新想法，DenseNet 是受什么启发提出来的？我们在训练的过程中随机扔掉很多层也不会破坏算法的收敛，说明了 ResNet 具有比较明显的冗余性，网络中的每一层都只提取了很少的特征（即所谓的残差）。
DenseNet 是一种具有密集连接的卷积神经网络。在该网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。
得出：我们让网络中的每一层都直接与其前面层相连，实现特征的重复利用；同时把网络的每一层设计得特别「窄」，即只学习非常少的特征图（最极端情况就是每一层只学习一个特征图），达到降低冗余性的目的。DenseNet 与其他网络最主要的不同。需要强调的是，第一点是第二点的前提，没有密集连接，我们是不可能把网络设计得太窄的，否则训练会出现欠拟合（under-fitting）现象，即使 ResNet 也是如此。
另外，我们还提出了一个可实现自适应推理的多尺度 DenseNet，用于提高深度学习模型的推理效率。这个方法的主要思想是用浅层的特征来预测相对「简单」的图片，而只用深层的特征来预测比较「难」的图片。由于很多实际应用中，简单的图片占有较大的比例，而它们并不需要非常深的模型也能被正确预测，因此这种自适应推理方法可以有效的降低深度模型推理时的平均计算开销，而不降低精度。感兴趣的读者请关注我们的 arXiv 论文 《Multi-Scale Dense Convolutional Networks for Efficient Prediction》（https://arxiv.org/abs/1703.09844），代码参见https://github.com/gaohuang/MSDNet。
CVPR 2017最佳论文作者黄高深入解析深度学习中的三大挑战：https://www.jianshu.com/p/28f99abcab67
目前来看，深度卷积网络挑战主要有：
Underfitting（欠拟合）。一般来说，模型越为复杂，表达能力越强，越不容易欠拟合。但是深度网络不一样，模型表达能力够，但是算法不能达到那个全局的最优（resnet基本解决）。
Overfiting（过拟合），泛化能力下降。
实际系统的部署。如何提升效率和减少内存、能量消耗。
深度学习网络模型汇总：https://blog.csdn.net/zengyubao1/article/details/100945232
****常用的深度学习模型：https://blog.csdn.net/jackkang01/article/details/81064114
这个给出了模型图，给出了每一个论文的链接，比较好。其中Rcnn是基于区域的cnn结构，应用于目标检测问题的深度学习框架，改进方法有Fast-R-CNN.Fastert-R-CNN.YOLO是目前最先进的实时系统，建立在深度学习的基础上，以解决图像检测问题。SegNet是一种用于解决图像分割问题的深度学习架构。它由一系列的处理层(编码器)和相应的一组解码器组成，按像素分类。下面的图片总结了赛格网的工作。
详解深度学习之经典网络架构（七）：DenseNet：
https://blog.csdn.net/chenyuping333/article/details/82414542
Keras.applications包，一堆可以复用的深度学习模型库：
https://blog.csdn.net/u011240016/article/details/83826246
调用keras包就可以直接用深度学习网络模型去测试图像，Keras提供的这些模型，都是CNN模型，一系列的卷积层 + 一层或多层全连接层，include_top这个参数可以控制的是，到底要不要最后的这些全连接层。注意，如果是False则最后的全部全连接层都不要。只要这样，才能把这些模型当做特征提取器来用。模型的两大组成部分，分别有如下的功能：
卷积层：用于特征提取，从图片中识别出各种模式
全连接层：用于解释这些卷积层发现的模式，比如输出类别
关于权重，卷积层的权重是固定的，等于卷积核大小x卷积核个数，与输入无关。
而全连接层则与输入有关，一个输入元素对应一个权重。