空间变换网络（Spatial Transform Networks，STN）
该网络不需要关键点的标定，能够根据分类或者其它任务自适应地将数据进行空间变换和对齐（包括平移、缩放、旋转以及其它几何变换等）。在输入数据在空间差异较大的情况下，这个网络可以加在现有的卷积网络中，提高分类的准确性。
STN 计算较快，几乎没有增加原有网络模型的训练时间。由于它能够在训练过程中，学习到与任务相关的空间变换参数，因此能够进一步最小化网络的损失函数。STN 不只可以用在输入的图像层，也可以加入卷积层或者其它层之后。
总流程
STN 主要可以分为三个部分：
1）localisation network.用来计算空间变换的参数θ。
2) grid generator. 得到input map U∈RH×W×C到 output map 各位置的V∈RH′×W′×C对应关系 Tθ。
3) sampler. 根据input map U 和 对应关系 Tθ，生成最终的output map。
流程图如图所示：
1）Localisation Network
它的作用就是通过一个子网络（全连接或者卷积网，再加一个回归层），生成空间变换的参数θ。
θ 的形式可以多样，如需实现2D仿射变换，θ 就是一个6维（2x3）向量的输出。
2）Parameterised Sampling Grid
假设U (不局限于输入图片，也可以是其它层输出的feature map)每个像素的坐标为(x_si,y_si)， V 的每个像素坐标为(x_ti,y_ti)，空间变换函数 Tθ 为仿射变换函数，那么 (x_si,y_si) 和 (x_ti,y_ti) 的对应关系可以写为：
(xsi，ysi)=Tθ(Gi)=Aθ(xti，yti)
当然，Aθ也可以有其它形式，如3D仿射变换，透射变换等。
3）Differentiable Image Sampling
在计算得到 Tθ 后，就可以由以下公式 U 得到 V 了（省略推导公式若干，只放上最终形式）：
Vci=∑nH∑mW U_cnm max(0,1−|xsi−m|)max(0,1−|ysi−n|)