GitHub - yuxiangsun/RTFNet: RGB-Thermal Fusion Network for Semantic Segmentation of Urban Scenes
GitHub - haqishen/MFNet-pytorch: MFNet-pytorch, image semantic segmentation using RGB-Thermal images
GitHub - huaaaliu/RGBX_Semantic_Segmentation
GAMUS:一种遥感数据的几何感知多模态语义分割基准
归一化数字地表模型中的几何信息与土地覆盖的语义类别高度相关。联合开发两种模式（RGB和nDSM（高度））在提高分割性能方面具有巨大的潜力。然而，由于以下挑战，它仍然是遥感领域中一个探索不足的领域。首先，现有数据集的规模相对较小，现有数据集中的多样性有限，这限制了验证的能力。第二，基于遥感数据对卷积网络和基于Transformer的网络的现有多模态融合策略进行综合评估和分析。此外，我们提出了一种新颖有效的基于Transformer的中间多模态融合Transformer-based intermediary multi-modal fusion（TIMF）模块，。
GAMUS数据集包含从五个不同城市收集的11507块：俄克拉荷马州、华盛顿特区、费城、杰克逊维尔和纽约市。这些图像瓦片是使用上述数据收集过程收集的，如图2所示。每个RGB图像瓦片都有一个空间大小为1024×1024的相应nDSM映射。我们将所有图像瓦片分为三个子集：具有6304瓦片的训练集、具有1059瓦片的验证集和具有4144瓦片的测试集。所有图像像素都用六种不同的土地覆盖类型进行了注释，其中包括1种。地2.植被低矮；3.建筑物；4.水；5.道路；6.树。nDSM中提供的高度统计信息如图3所示。从图中可以看出，高度存在明显的长尾分布，即高度值较低的像素数量明显多于高度值较高的像素数量。我们还通过求平均值来显示空间分布的统计数据
基于CNN的融合方法：五种不同的多模态融合范式的说明，包括1）单一模态，其中仅使用RGB模态；2） 1）单一模态，其中仅使用高度模态；3） 多模态早期融合，其中进行图像级融合；4） 多模态特征融合，其中不同模态的特征被融合；5） 多模态后期融合，其中来自不同模态的分割结果被组合。 
基于Transformer的融合方法 六种不同的多模态融合范式的说明，包括1）单一模态，其中仅使用RGB模态；2） 单一模态，其中仅使用高度模态；3） 多模态早期融合，其中进行图像级融合；4） 多模态跨特征融合，通过交叉注意机制融合不同模态的特征；5） 多模态后期融合，其中来自不同模态的分割结果被组合；6） 中间融合，其中说明了所提出的TIMF模块。
不同融合策略在GAMUS数据集上用于监督语义分割的比较结果（IoU）