GC-Net

刘 瑾,季 顺 平.基于深度学习的航空遥感影像密集匹配[J].测 绘 学 报,2019,48(9):1141-1150.DOI:10.11947/j.AGCS.2019.20180247.

GC-Net

采用端到端的学习策略,直 接 学 习从核线立体像对到深度图的可微映射函数。

第1步

GC-Net将 视 差 看 作 第3维,构 建 图 像-视 差 张 量。由3D卷 积 学 习 特 征,得 到 最 优 视 差 图(即3D张 量中 的 一 个 曲 面)。在 图2中,立体像对首先通过一系 列 共 享 的2D卷 积 核 提 取 特 征 图。

第2步

将特 征 图 (Feature map)串 联 并 构 建 代 价 立 方 体(cost volume)。具 体 的,以 左 片 特 征 图 为 例,设其宽度和长度分别为w和h,右 片 相 对 于 左 片 的 最 大 视 差 为n。将对应的右片特征图每次平移一个像素,即 共 生 成n张 图。左片特征图与平移后的n张 右 片 特 征 图逐 个 串 联,得 到w×h×(n+1)的3D张 量。

第3步

利 用3D卷 积 和3D反 卷 积 学 习 一 系 列 的3D特征 图,其 最 终 的 大 小 为W×H×n。H和W分别 为 原 始 图 像 的 长 宽。

第4步

通 过 定 义 一 个SoftArgmin函 数,将3D特 征 图 压 缩 为2D视 差图d′。最 后,采 用d′与 参 考 视 差 图d之 间 的 一 次范 式 误 差 作 为 代 价 函 数,反 向 传 播 并 迭 代 得 到 最优 参 数。
在 试 验 中,2D卷 积 部 分 包 含18个 卷 积 层,每一 层 含32个 卷 积 核,其 中 第1层的卷积核大小为5×5,剩 余17层 均 为3×3。3D卷 积 部 分 包 含14个 卷 积 层,卷 积 核 大 小 均 为3×3×3。前 两 层的卷积核个数为32,后3层 为128,剩 余3D卷 积层 的 卷 积 核 个 数 为64。反 卷 积 部 分 由5层 反 卷积 组 成,反 卷 积 核 大 小 为3×3×3,每 一 层 的 反 卷积核个数分别为64/64/64/32/1。
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/rdw1246010462/article/details/107190339
GC