一、名词解释
HSLT：high spatial resolution but low temporal resolution，高空间低时间分辨率
LSHT：low spatial resolution but high temporal resolution，低空间高时间分辨率
SR：super-resolution，超分辨率
NLM：nonlinear mapping，非线性映射
LSR：low-spatialresolution，低空间分辨率
二、CNN成功运用于各个方向的原因
1）CNN的深层架构在捕获大规模图像的特征方面更有效;
2）提出快速有效的训练方法，如整形线性单元（ReLU），批量标准化，残差学习等;
3）通过强大的GPU上的并行计算，显着加快了训练速度。
三、本文提出的基于深度学习神经网络的时空融合模型步骤
1）NLM
2）SR
3）图像融合
其中前面五层CNN实现
四、训练阶段
首先学习MODIS（500米）和Landsat（250米）图像之间的NLM模型，然后学习LSR和原始Landsat图像之间的SR模型。
1）非线性映射NLM CNN==>>在MODIS和Landsat图像之间寻找映射关系
首先将Landsat图像的空间分辨率下采样与MODIS图像之间的空间分辨率相似，将Landsat空间分辨率降低10倍。
NLM CNN分为三层，分别是：输入层、三个卷积隐藏层，输出层，三个卷积隐藏层分别为特征提取、NLM和重建，具体结构如下图所示：
2）超分辨率SR CNN==>>关联LSR Landsat和原始Landsat图像
SR CNN分为三层，分别是：输入LSR Landsat图像、三个卷积隐藏层，输出残差图像，三个卷积隐藏层分别为特征提取、NLM和重建，具体结构如NLM CNN结构类似。
五、预测阶段==>>采用由高通调制和加权组成的融合模型来充分利用可用信息
首先将先前和预测日期的MODIS图像输入到学习的NLM CNN中获得过渡LSR Landsat图像；接着将其输入融合模型以获得预测日期的LSR Landsat图像；与先前日期的模拟LSR Landsat图像一起，将最后一步中的融合结果输入到学习的SR CNN中以获得过渡LSR Landsat图像；最后将其馈入模型以在预测日期获得最终融合结果。
从过渡图像到LSR Landsat图像的融合模型的实现过程如下图所示：
Mi（i=1，2，3）表示MODIS图像，Ti表示将MODIS图像映射到过渡图像的结果，Li^l表示LSR Landsat图像（通过双三次插值从Landsat图像下采样得到），High-pass modulation表示高通调制方程（该步骤是像素级的），Weighting为加权策略。