深度学习中对深度的理解还是很值得去思考的，是规模的深度，还是特征的深度？
事实上，通过实验可以发现卷积层的参数由卷积核的个数和卷积核的尺寸来控制，这两个参数直接决定整层的参数的个数，如果两个卷积层这两个参数完全相同，那么这两层的总参数量也完全相同。我们在设计神经网络的时候，卷积核一般是逐层增加的，卷积核的尺寸控制在3*3或者5*5这样的小尺寸是比较好的，小卷积核尺寸已经有很多网络结构说明在图像识别上是具有一定优势的。卷积核的增加直接导致了网络参数的增加，当然在网络中缩小卷积核的尺寸或者卷积核的个数也可以减少当层的参数个数，U-Net就是很明显的代表，事实上经过U-Ne处理之后的图像更加凸显了模型想要采集的重点特征，也就是在encoder的过程中，模型是对特征进行不断抽象从而获取高级特征，神经网络本身就是层次结构，这种层次结构是对特征一步步的提取。
如何理解深度学习中特征的深度呢？浅层一般提取的都是诸如纹理，结构，色彩这些基础的特征，这些通过是通过我们所给的参数来描述的，浅层的效果不够理想，也是我们给的参数无法很好的拟合基本特征进而来描述整个影像，基础特征的自由度太大了。联系到高光谱影像的处理，高光谱影像由于高维特性在维度这个方向带来的特征很大，而在空间上的采样是有限的，局部地区的样本总数可能很少，也就是说维度的高和空间的数量上没办法很多的对应拟合起来，但是高维往往不是都有用的，有很多的冗余信息，所以在处理该类影像时候，我们也要把维度先降下来，不过在研究上，我们也可以去探索整波段输入的可能性。利用深度学习去处理这个问题的时候，我们的设定可以直接影响到模型的总参数量，但是从神经网络的规范设计上来讲，我们还是要把通道数随着网络深度的增加而增加的，每一层的参数量是要不断上升的，这样就能基于前一层实现对特征很好的拟合，给的参数量够给特征进行线性组合，再通过激活函数增加非线性，不断增加层次。
从上面分析来看，我们是可以考虑在高光谱影像中应用更深的结构的，从往常的实验表明，深度越深，对于特征的拟合是更好的，由于Hughes现象的存在，在3D网络中是不是能够通过神经网络本身的特征提取和对第三位尺寸的控制来实现深度的特征提取。
深度学习的深度我自己认为更多还是特征的层次的抽象提取，我们还是要遵循网络的基本设计在每层上不断增加参数量的。模型可以在规模上很深，但是人为的去在每一层减少参数，也可以让总的参数量不那么大，进而在计算上也更有优势，这也是现在需要研究的问题。
实验结构深度的简单代码在我的github上，欢迎关注！！