摘要：由于不同的成像原理造成跨光谱图像块的匹配存在困难与挑战；根据不同光谱的成像数据在高级特征桑语义特征存在共同性，（共享语义特征空间）更好的学习，提出了（SCFDM: progressive comparison of spatially connected feature
metric learning with a feature discrimination constrain）使用特征差分约束的度量学习-空间对比连接特征网络；此网络保持了在其相对应的光谱域的底层特征，在高层特征空间进行跨光谱特征的交互，特征差分约束增强了网络框架去提炼共享的高级语义特征；
1.简介
•可见光:依赖光照
•红外：不依赖光照，但无颜色信息
•深度：超声波，核磁共振等
获取更加丰富复杂的信息必然进行相互补充，第一步就需要校准，问题就是 不同的成像光谱所产生的图片，存在非线性的表面特征差别；
| 传统的基于手工特征提取 |
SIFT,SURF,shape-context,ORB SURF(speeded-up robust feature) BRIEF(binary-robust-independent-elementary features) .. |
| 最近几年的深度学习 |
|
| 1、基于深度学习的局部特征学习 |
在于 特征距离选择、损失函数设计、训练样本挖掘等 |
|
|
Traditional cnn ,Siamese-network, a positive-negative network二、三、四层网络设计、相似性度量等 |
| 2、度量学习 |
把匹配任务转换为分类任务 |
|
|
如图的两种 |
| 共同的特点都是针对单光谱的图片匹配 |
|
| 特征提取网络 |
目前：提取特征 进一步阐述了像素级别与图像块的区别、并采用图像块的原因 每层的卷积核的作用，感受野也是逐步增加 2-branch设计，加速空间对比 |
| 度量网络 |
组成：3个FC+softmax （在FC中使用了dropout=0.25避免overfitting） 度量学习：cross_entropy |
| 特征差分网络 |
对特征图进行全局平均池化，减少参数/避免过拟合 约束： 差分使用欧式距离
|
目的：enforcing the network to extract patch features from the shared space
- 去除提取的低价特征，保留高级的语义特征
- 借用度量学习的优势，建立度量特征差分约束，对比连接的空间特征
a progressive comparison of spatially connected feature metric learning with a feature discrimination constrain (SCFDM)the feature network is constrained by a contrastive loss, which penalizes the non-matched patch-pairs with a small distance and the matched patch-pairs with a larger distance. The cross-entropy loss function of metric learning network optimizes the whole framework, which makes the predicted matching labels more consistent with the ground truth
效果与结论：
