Botao He 1,* and Shaohua Yu 2
Received: 7 October 2015; Accepted: 17 December 2015; Published: 25 December 2015 Academic Editor: Gonzalo Pajares Martinsanz
School of Optical and Electronic Information, Huazhong University of Science and Technology,
Wuhan 430074, China
2 Wuhan Research Institute of Posts and Telecommunications, Wuhan 430074, China; [email protected]
Correspondence: [email protected]; Tel.:+86-27-87693908
摘要： 本论文提出一种基于鲁棒性视差用于实时同步监控录像的视频拼接技术。本文提出的一种有效的两路视拼拼接方法用于为监控应用构建一个具有大视场视频。在拼接模型计算阶段，我们开发了一种分层变形算法，使背景场景与传统的全局投影变形方法相比，具有位置依赖性，对视差的鲁棒性更强。在拼接缝选择更新阶段，我们提出了一种基于最佳的拼接缝选择方式的变化检测来避免重影和前景移动造成的伪影。实验结果证明我们的算法能够有效的将多路视频拼接融合成一路没有鬼影和明显拼接缝的大视场视频。
关键词：视频拼接；视频监控；分层投影；视差
1. 引言
图像拼接，也叫做图像拼接、全景拼接，其在计算机视觉领域中被授予广泛的关注[1-8]。经过几十年的发展，图像拼接的基本原理得到了很好的研究并且目前较为成熟。有许多关于图像拼接的研究工作[1-8]，通常是通过估算一个全局的二维投影变形来使输入图像对齐。一个二维的投影变形使用一个3x3的单应性矩阵来参数化[1-3,9]，这种矩阵能够保持全局的图像结构，但是不能处理有视差时的情况。只有当场景是平面的，或者影像间仅有旋转差异时才正确。然而，在实践中，这种条件很难得到满足，因此会产生鬼影和拼接缝（见图1）。如果输入的影像存在视差，那么不存在能够对齐这些图像的单应性矩阵。当用一个全局的变形去拼接这些图像，像图1a所示的鬼影便会显现出来。一些先进的图像融合技术，如拼接缝切割[10-12]可以被用来减轻这些伪影。 然而，如果有移动的物体穿过拼接缝，另一种如图1b所示的鬼影将被显现出来。
先前的研究表明，创建一个无缝、无漂移的全景影像最具挑战性的问题是执行正确的图像对齐不是使用一个简单的全局投影模型然后修定对准误差[6,8,9]。因此，最近的一些图像拼接方法侧重于利用空间变化法来对齐图像[6-8]，这些方式能够处理视差问题并且在一定程度上允许局部偏差，但是需要更多的计算。
视频拼接技术在机器人、工业检测、监视和导航等领域有着广泛的应用，它面临着图像拼接所带来的各种问题，而且由于视频中运动对象的影响，视频拼接的难度更大。一些研究人员试图通过调整视频序列来构建全景影像[13,14]，这是全景图像的生成而不是动态视频视场的扩展。其他作品专注于自由移动设备[15-18]，尤其是移动设备，其中包括时变单应性矩阵的高效计算技术[15]，如融合的最佳缝合线的选择[16]，等。然而，由于计算量大、分辨率低，可能不适合于监视应用。
（a）
(b)
图1。 重影的主要原因来自于偏心误差。在这里，我们在红色方框内显示了两种类型的鬼影现象：（a）使用全局投影变形鬼影；（b）由人物运动穿过拼接缝所导致的鬼影。
图2. 本文的视频拼接方法的流程图。我们的方法包含了两个部分：初始化拼接模型计算的阶段和选择拼接缝更新阶段。在初始拼接模型计算阶段，首先利用背景模型算法生成每个输入视频流的静止背景。然后利用多分辨率分层变形法去对齐背景影像。最后，执行最佳缝合线搜索融合生成全景背景。生成的拼接模型是一个映射表，其中每个条目表示源图像的像素索引和全景影像的像素索引之间的对应关系。为了减轻移动物体所造成的鬼影的影响，在缝合线选择更新阶段，我们根据是否有物体穿过之前的缝合线来执行缝合线更新。我们的方法能够达到一种平衡，既能抑制重影效果又能达到实时的要求。
本文展示了一种有效的视差鲁棒监控视频拼接方法，能够结合多分辨率融合和基于变化检测的拼接缝更新法。视频拼接对齐的有效性在无缝影像拼接中仍然是关键的，我们以分层的拼接方式进行视频配准，而不是简单的全局投影变形。Xiao等人[19]提出了一种类似的基于分层的视频配准方法，但是他的目标是通过图层拼接和区域扩展将单个任务视频序列与参考图像对齐，而不是为运动监控构建动态全景视频。通过将匹配特征对划分为多个层（或平面）和基于这些层的局部对齐，分层变形的方法似乎对于视差更具有鲁棒性。此外，对于固定的监控视屏的变形的数据被存储于一个索引表，用来后续帧的“循环利用”，避免了重复的配准和插值。在本文中，这个索引表被称为初始缝合模型。除了分层变化，一种基于缝合线更新的局部重叠区域变换检测方法被执行用来消除前景移动所造成的鬼影。图2展示了本文算法的视频拼接的过程。
2.相关论文
今年来，视频拼接技术由于其在公共安全领域的广泛应用受到了大量的关注[11,20,21]。一般来说监控视频拼接可以被视为为每一帧图像的拼接，因为相机的位置总是固定的。与图像拼接技术不同的是，视频拼接要求更为严格的实时处理能力，大的视差和动态前景必须仔细思考才能获取一致的大视场的视频。图像拼接是计算机视觉领域上的相关问题[1,9,22]。有一些免费的和商业的软件也能够有效的进行图像拼接，比如AutoStitch[23]，微软的Image Compositing Editor[24]，和Adobe的Photoshop CS5[25] 拼接功能。然而，这些方法都需要工作在输入图像包含很少或没有视差的假设中。这意味着所拍摄的场景要么离相机足够的远，可以被视为一个平面，或者这些图像是严格按照它们的投影中心来旋转得来的。这种假设过于严格以至于无法在真实的监控场景中满足。因此，像鬼影或破碎图像结构的未对准伪影将会使全景影像在视觉上无法被接受（如图1所示）。
一些先进的图像合成技术，如缝合线的切割[10-12]和融合[26,27]，已经被用来减少伪影。然而，这些方式仍然不能处理显著的视差。在本文中，我们还使用了拼接缝的切割和融合作为抑制伪影的最后一步。近年来，研究出了另一条基于空间变化的变形[6,7,28]。APAP算法在重叠区域内采用局部投影变化然后进行动态的直接线性变换[29]来平滑的推算局部投影变换成非重叠区域。保形半投影（SPHP）空间变换[28]结合了射影变换和相似变换，两者都有优点。然而，它的主要关注点是减少由投影变换而导致的非重叠区域失真而不是对准精度。所以在APAP中即使将APAP引入到他们的变换，他们也不能解决重叠区域结构失真的问题。Gao等人[6]提出为包含两个主平面的场景（接地平面和远平面）使用双单应矩阵映射（DHW）算法。如果所需的设置为真，算法会执行的很好，如果源图像有两个以上的平面，则可能失败。有DHW收到启发[6]，我们建议使用一种分层的映射算法来对齐背景场景。这种算法是基于局部的，输出比传统的全局投影映射对于视差更具鲁棒性并且比DHW[6]只能从两个平面处理图像更灵活。
除了视差，运动的前景是视频拼接中重影产生的另一个原因。虽然我们提出利用分层映射来尽可能精确的对齐影像并且利用缝合线切割来融合源图像，但是当一些物体穿过拼接缝时，仍可能存在一些伪影。Liu等人[20]没有对动态的突出景物进行考虑，仅仅是以前几帧计算得到的拼接模型来拼接后面的各帧影像。相比之下，Tennoe等人[30]和Hu等人[11]在每一帧都对缝合线进行更新，这是非常耗时的。为了平衡伪影的抑制和实时需求。我们建议首先探测之前缝合线周围的变化，然后只在缝合线处有物体移动时对缝合线实行更新。由于变化检测缝合线周围的开销要比更新缝合线的开销低很多，由移动的突出地方所造成的伪影能通过我们的方法在可接受的时间内得到抑制。
3.初始化拼接模型计算
由于我们的关注点在提升图像配准精度和减少移动物体造成的伪影，我们不改变传统的对于不同数目的输入影像的图像拼接流程[9]。在接下来的部分，为了更加简明的阐述，我们只描述两路视频输入的分层映射算法和拼接缝更新选择算法。在实验部分，我们提供了两个和两个以上输入视频的拼接结果。
3.1 背景图像的生成和特征提取
固定监控摄像头，我们在拼接模型计算部分只执行对齐，因为实时变化的单应性矩阵计算可能会导致全景视频中背景场景的抖动。背景建模对于避免突出部分的易变性必不可少[31,32]。我们把输入视频的第一个Ngmm帧利用高斯混合模型（GMM）[33]建立背景框架。提取背景图像的SIFT[3,34]特征并且通过（BBF）最佳容器优先算法[35]进行匹配。 3.2 分层映射 由DHW[6]受到启发，我们假设场景中不同的物体通常位于不同的深度层。同一层（平面）中的物体在空间变换中应保持一致。 与基于全局单应性矩阵和基于双单应性矩阵的映射相比，分层映射对于丰富的场景或许更好和更具鲁棒性。 分层配准。我们将输入的影像分别表示为I1和I2，匹配特征对为
，其中pki是Ik影像的（k=1,2）第i个匹配点。对于给定的匹配特征对，我们首先利用随机采集一致(RANSAC)算法[36]鲁棒性的将特征对分配到不同的层中，然后估计每个层的单应性矩阵。将k层的一致匹配特征对表示为Lk，Lk中的匹配数表示为|Lk|，该层对应的单应性矩阵为Hk。为了保证所分的层具有代表性，我们引入一个阈值Hmin来表示在|Lk|中匹配对的最小数目。匹配对数目少于Nmin的层将被简单的减少。详细的图层配准过程示于算法1.
通过分层配准，我们将匹配的特征对分到多个层，每层都包含了具有一致性的特征对且有一个相同单应性矩阵。图3展示了两个分层配准的例子，其中的特征点以圆圈表明，且在相同层的点以相同的颜色表示。从图3中我们能看到在同一层被集合在一起的匹配对几乎来自于同一平面或拥有相同的深度，这与我们的期望一致。
图3. 在不同层中匹配的特征点的例子，不同的颜色代表了不同的层：（a）多层的大视差下匹配的特征点；（b）多层的拥有远景和近景的图像的匹配特征对。 局部对齐。为了简化局部对齐的计算，源图像被分成了M*N个格子。由于特征点通常不与任何格网顶点重合。我们以格子中心和与它不同层的最近点的距离作为依据来判定网格的偏差。一个网格gj由它的中心点cj表示。gj的单应性矩阵表示为Hj*，它是通过如等式（1）所示的由含有权重wjk的各层Hk融合计算得到。
式中，
，ajk是一个与位置相关的高斯权重：
这里pk*表示第k层离cj的最近特征点，σ是一个比例常量。
得到每个格网的局部单应性矩阵后，在格子gj中的源像素坐标p对应的参考影像的目标像素位置p`能通过等式（3）轻易的获取：
这个过程称为正向映射[9]，为了加速计算，我们只执行一次正向映射，并在像素映射表中存储源像素位置和目标像素之间的对应关系。这个像素映射表正是拼接模型。索引表被存储，以便通过在源图像中查找每个对应的像素，而不是在新的一帧到达时重复变换来获得映射影像。图4a,b分别展示了基于全局投影映射和分层映射的全景影像。显而易见，在图4b中的建筑比图4a中的对齐的更好。
图4. 基于（a）全局投影映射（b）分层映射的全景影像，(c)为缝合线的选择结果。（d）是根据（c）中选择的缝合线最后融合影像。缝合线的选择结果（c）取决于多层映射的拼接图像（b）。 3.3最佳切缝 尽管分层的映射具有视差鲁棒性，但它仅适用于提取背景场景的拼接模型计算的阶段。我们通过缝合线的选择来消除由移动突出物体产生的鬼影。 最佳缝合线的寻找方式，也被叫做最佳缝合线选择[5]或切缝，目的是在重叠区域寻找一个像素点形成的连续最优曲线来连接成对的映射影像。 接缝不应引入不一致的场景元素或强度差异。因此，本文应用两个准则形成重叠的差分图：强度能量
和梯度能量
，它们被定义为：
其中，IA(i,j),IB(i,j),
和
分别是图像A和B中像素的强度和梯度。寻找最佳拼接缝合线是一个能量最小化问题（如等式（5）所示）并且可以转换为二元的马尔可夫随机场(MRF)标志问题[37]：
为了加速计算过程，在我们的算法中，对变形后的影像和背景影像进行下采样并在缝合线选择后恢复到原始尺寸。图4c和d展示了一个拼接缝选择的例子。从图4c中我们能看到，这条被选择的缝合线主要穿过没有坡度或强度差异的平坦区域，因此产生的全景影像没有明显的鬼影在视觉上保持一致。 4. 缝合线的选择更新 在初始化拼接模型计算之后，这些视频在总体上是预先对齐的。然而，由于移动的突出物体，前门的缝合线或许会失去最优性，甚至丢失信息。由于切缝算法即使在下采样的帧中也需要复杂的计算，使它很难被用来实时的跟新视频流。因此我们采用基于变化检测的缝合线更新方法，而不是实时的缝合线选择。 4.1围绕之前缝合线的变化检测 首先，我们将新的映射的框架调整到更小的比例，就像我们在最佳缝合线选择部分所作的那样。即使图像已经缩小，但是直接计算两幅图像的梯度变化曲线和变化的能量估值其开销依然昂贵。然而，我们观察到与非重叠区域的变化相比，那些重叠部分的区域更有可能妨碍最佳缝合线。此外，只有在变化穿过最佳缝合线时才可能导致它的失败（见图5），可以通过梯度差来衡量。
图5. （a）带有缝合线的初始对齐帧；（b）变化没有穿过缝合线的新的对齐帧；（c）变化穿过缝合线的帧。 当搜索到一个最佳缝合线时，该缝合线的原始的梯度值G0被存储下来。在当前缝合线中我们以gi0表示像素pi的原始梯度，git表示在时间t时的梯度值。为了计算具有大的梯度变化的像素数，我们使用下面的规则来判断像素pi处是否发生了变化：
如果Ct中的总像素数大于Ncd，那我们就认为在重叠区域有新的物体移动并且最优缝合线可能需要更新。在等式（6），δ是一个经验选择的常数，鉴于Ncd取决于该缝合线的所有像素数N~。在实验中我们将Ncd设置为0.3N~。 4.2 缝合线更新 正如前一节所述，对于每一个新映射的帧和变化检测，是为了检测是否需要改变缝合线，如果是的话，我们由3.3节提出的缝合线选择选算法择一条新的缝合线，否则，我们继续使用以前的拼接缝并转换到图像融合的过程中。 4.3 融合 切缝可以消除重影，但是它提供的图像没有重叠区域，这可能会导致出现明显的拼接缝。我们用球形扩展核来扩大缝合的图像，然后使用一个简单的线性加权融合方式[9]去融合图像。 5 实验 为了评估我们视频拼接方法的性能，我们对有视差的静止图像和实际监控视频进行了一些实验。 5.1 实验设置 在不同情况下，有几个经验参数需要手动调整。在背景建模阶段，我们使用初始20帧来为每个像素构造5个GMM模型的分量。如果场景更加杂乱，帧数可能会设置得更大。在我们的实验中，每一层的最小匹配对数Nmin设置为12。对于分层映射，原始720P的图像被分成80*45个网格。我们提供了2、3、4路通道输入的拼接结果。 5.2 拼接静止影像 为了评估提出来的分层映射算法，我们首先用有视差的静止图像进行实验，并且在图6和图7中将我们的结果与其他图像拼接方法的结果进行比较。
图6. 双单应性矩阵映射[6]，APAP[18]，保形半投影（SPHP）[28]，以及我们的算法的比较。红色圆圈表示突出的错误。 DHW[6]只考虑两层（一个远景平面和一个近地平面），所以当场景有多个深度层次或者包含复杂的对像时就会拼接失败。对于丰富的场景，我们的算法比DHW更适用且更具鲁棒性（见图6）。图7展示了我们的算法和一些最先进的算法在一个艰难的场景中的比较[8]。当使用APAP算法对齐两幅图像整个重叠区域时，它会扭曲突出的图像结构，例如红色方框指出支柱。当重叠区域覆盖了图像的大部分区域且有大视差的时候SPHP也会失败（见图7c）。从图6和图7中可以看到，我们的算法的拼接结果没有明显的扭曲，并且在视觉上比其他算法更容易被接受。
图7. 多种拼接方法的比较。 彩色方框和放大的方框显示了未对准的错误。 5.3 固定监控视频的拼接 为了评估严密的缝合线更新选择的性能，我们在固定监视录像上进行大量实验，并比较了我们没有更新缝合线的结果。从图8展示的结果可以看到，当我们在视频拼接阶段没有跟新缝合线时，一些由移动物体引起的明显伪影会使缝合视频在视觉上无法被接受。比较结果表明，基于变化检测缝合线更新算法对避免鬼影和由目标移动（特别是有移动目标穿过之前的缝合线时）造成的未对齐现象非常有效。
图8. 从输出视场（FOV）视频拍摄的帧：（a1-d1）取自于未更新初始缝合线的视频输出。（a2-d2）取自采用基于缝合线更新方法的变化检测的视频输出。（a1），（a2），（b1）和（b2）是两路720P视频拼接的结果。(c1)和（c2）是三路720P视频拼接的结果。而（d1）和（d2），他们是四路720P视频的拼接结果。 5.4 时间分析 除了抑制视差和运动目标引起鬼影，在算法的开发过程中，视频拼接任务的实时性也需要慎重考虑。为了评估所提方法的速度，我们将两路视频作为输入，并测试不同视频分辨率的时间消耗。为了做出公平的比较，逐帧更新单应矩阵的拼接速度、没有拼接缝选择更新的分层映射、有缝合线更新的分层映射的速度都列在表1当中。这些实验都在一台PC上进行，PC搭载英特尔酷睿i3 2.33GHz 双核CPU和2GB RAM。所有测试算法都用C++实现。 从表1中我们能看到，在拼接模型计算阶段，根据配准结果建立索引表，各帧影像可以通过索引直接投影到全景视频流，而不需要为新的每一帧影像进行对齐和拼接，从而大大提高了拼接方法的拼接效率。表1还展示了缝合线选择的更新过程会在一定程度上减缓每帧的拼接过程。 表1. 不同分辨率的视频下的不同视频拼接方式的速度比较
6. 结论 本文提出了一种有效的针对固定监视视频的视差鲁棒拼接算法。该方法由两部分组成：拼接模型计算阶段的对齐工作和视频拼接阶段基于变换检测的每帧影像更新。该算法采用分层映射的方式对背景场景进行预校正，这样对场景视差更具鲁棒性。对于新的每一帧影像，采用一个基于有效变化检测的缝合线更新方法来避免由运动的突出物体所造成的鬼影和伪影。因此，该算法可以为动态场景提供高效优质的没有鬼影和伪影的拼接性能。 作者贡献：这项工作是在所有作者的合作下实现的。Botao He 和 Shaohua Yu完成算法设计和代码实现，Botao He完成了数据收集、基线算法的实现和起草稿件的早期版本。Shaohua Yu组织工作和提供经费，监督本研究并严格审查论文草稿。所有的作者讨论了结果和含义，对所有阶段的原稿进行了评论并核准了最终版本。 利益冲突：作者声明没有利益冲突。 参考文献 1. Brown, M.; Lowe, D. Recognising Panoramas. In Proceedings of the Ninth IEEE International Conference
on Computer Vision, Nice, France, 13–16 October 2003; pp. 1218–1225.
2. Szeliski, R. Video mosaics for virtual environments. IEEE Comput. Graph. Appl. 1996, 16, 22–30.
3. Eden, A.; Uyttendaele, M.; Szeliski, R. Seamless image stitching of scenes with large motions and
exposure differences. Comput. Vis. Pattern Recognit. 2006, doi:10.1109/CVPR.2006.268.
4. Levin, A.; Zomet, A.; Peleg, S.; Weiss, Y. Seamless Image Stitching in the Gradient Domain; Springer Berlin
Heidelberg: Berlin, Germany, 2004; pp. 377–389.
5. Mills, A.; Dudek, G. Image stitching with dynamic elements. Image Vis. Comput. 2009, 27, 1593–1602.
Sensors 2015, 15, 7 11 of 12
6. Gao, J.; Kim, S.J.; Brown, M.S. Constructing Image Panoramas Using Dual-Homography Warping. In
Proceedings of the EEE Conference on Computer Vision and Pattern Recognition (CVPR), Providence, RI,
USA, 20–25 June 2011; pp. 49–56.
7. Zaragoza, J.; Chin, T.J.; Tran, Q.H.; Brown, M.S.; Suter, D. As-projective-as-possible image stitching with
moving DLT. IEEE Trans. Pattern Anal. Mach. Intell. 2014, 36, 1285–1298.
8. Zhang, F.; Liu, F. Parallax-Tolerant Image Stitching. In Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition (CVPR), Columbus, OH, USA, 23–28 June 2014; pp. 3262–3269.
9. Szeliski, R. Image alignment and stitching: A tutorial. Found. Trends Comput. Graph. Vis. 2006, 2, 1–104.
10. Agarwala, A.; Dontcheva, M.; Agrawala, M.; Drucker, S.; Colburn, A.; Curless, B.; Salesin, D.; Cohen, M.
Interactive digital photomontage. ACM Trans. Graph. 2004, 23, 294–302.
11. Hu, J.; Zhang, D.Q.; Yu, H.; Chen, C.W. Discontinuous Seam Cutting for Enhanced Video Stitching. In
Proceedings of the IEEE International Conference on Multimedia and Expo (ICME), 29 June–3 July 2015;
pp. 1–6.
12. Kwatra, V.; Schödl, A.; Essa, I.; Turk, G.; Bobick, A. Graphcut textures: Image and video synthesis using
graph cuts. ACM Trans. Graph. 2003, 22, 277–286.
13. Steedly, D.; Pal, C.; Szeliski, R. Efficiently Registering Video into Panoramic Mosaics. In Proceedings
of the Tenth IEEE International Conference on Computer Vision, Beijing, China, 17–21 October 2005;
pp. 1300–1307.
14. Hsu, C.T.; Tsan, Y.C. Mosaics of video sequences with moving objects. Signal Process. Image Comm. 2004,
19, 81–98.
15. El-Saban, M.; Izz, M.; Kaheel, A. Fast Stitching of Videos Captured from Freely Moving Devices by
Exploiting Temporal Redundancy. In Proceedings of the 17th IEEE International Conference on Image
Processing (ICIP), Hong Kong, China, 26–29 September 2010; pp. 1193–1196.
16. El-Saban, M.; Izz, M.; Kaheel, A.; Refaat, M. Improved Optimal Seam Selection Blending for Fast Video
Stitching of Videos Captured from Freely Moving Devices. In Proceedings of 18th IEEE International
Conference on the Image Processing (ICIP), Brussels, Belgium, 11–14 September 2011; pp. 1481–1484.
17. Okumura, K.I.; Raut, S.; Gu, Q.; Aoyama, T.; Takaki, T.; Ishii, I. Real-Time Feature-Based Video Mosaicing
at 500 fps. In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems
(IROS), Tokyo, Japan, 3–7 November 2013; pp. 2665–2670.
18. Au, A.; Liang, J. Ztitch: A Mobile Phone Application for Immersive Panorama Creation, Navigation, and
Social Sharing. In Proceedings of the IEEE 14th International Workshop on Multimedia Signal (MMSP),
Banff, AB, USA, 17–19 September 2012; pp. 13–18.
19. Xiao, J.; Shah, M. Layer-based video registration. Mach. Vis. Appl. 2005, 16, 75–84.
20. Liu, H.; Tang, C.; Wu, S.; Wang, H. Real-Time Video Surveillance for Large Scenes. In Proceedings of the
International Conference on Wireless Communications and Signal Processing (WCSP), Nanjing, China,
9–11 November 2011; pp. 1–4.
21. Zeng, W.; Zhang, H. Depth Adaptive Video Stitching. In Proceedings of the Eighth IEEE/ACIS
International Conference on Computer and Information Science, Shanghai, China, 1–3 June 2009;
pp. 1100–1105.
22. Brown, M.; Lowe, D.G. Automatic panoramic image stitching using invariant features. Int. J. Comput.
Vis. 2007, 74, 59–73.
23. AutoStitch. Available online: http://cvlab.epfl.ch/ brown/autostitch/autostitch.html (accessed on
18 December 2015).
24. Microsoft Image Composite Editor. Available online: http://research.microsoft.com/en-us/um/
redmond/groups/ivm/ICE/ (accessed on 18 December 2015).
25. Adobe Photoshop CS5. Available online: http://www.adobe.com/products/photoshop (accessed on
18 December 2015).
26. Burt, P.J.; Adelson, E.H. A multiresolution spline with application to image mosaics. ACM Trans. Graph.
1983, 2, 217–236.
27. Pérez, P.; Gangnet, M.; Blake, A. Poisson image editing. ACM Trans. Graph. 2003, 22, 313–318.
28. Chang, C.H.; Sato, Y.; Chuang, Y.Y. Shape-Preserving Half-Projective Warps for Image Stitching. In
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Columbus,
OH, USA, 23–28 June 2014; pp. 3254–3261.
Sensors 2015, 15, 7 12 of 12
29. Alexa, M.; Behr, J.; Cohen-Or, D.; Fleishman, S.; Levin, D.; Silva, C.T. Computing and rendering point set
surfaces. IEEE Trans. Vis. Comput. Graph. 2003, 9, 3–15.
30. Tennoe, M.; Helgedagsrud, E.; Næss, M.; Alstad, H.K.; Stensland, H.K.; Gaddam, V.R.; Johansen, D.;
Griwodz, C.; Halvorsen, P. Efficient Implementation and Processing of a Real-Time Panorama Video
Pipeline. In Proceedings of the IEEE International Symposium on Multimedia (ISM), Anaheim, CA, USA,
9–11 December 2013; pp. 76–83.
31. Kumar, P.; Dick, A.; Brooks, M.J. Integrated Bayesian Multi-Cue Tracker for Objects Observed from
Moving Cameras. In Proceedings of the 23rd International Conference on Image and Vision Computing
New Zealand, Christchurch, New Zealand, 26–28 November 2008; pp. 1–6.
32. Kumar, P.; Dick, A.; Brooks, M.J. Multiple Target Tracking with an Efficient Compact Colour Correlogram.
In Proceedings of the 10th International Conference on Control, Automation, Robotics and Vision, Hanoi,
Vietnam, 17–20 December 2008; pp. 699–704.
33. Zivkovic, Z. Improved adaptive Gaussian mixture model for background subtraction. Proc. Int. Conf.
ICPR Pattern Recognit. 2004, 2, 28–31.
34. Kumar, P.; Ranganath, S.; Huang, W. Queue Based Fast Background Modelling and Fast Hysteresis
Thresholding for Better Foreground Segmentation. In Proceedings of the Fourth Pacific Rim Conference
on Multimedia Information, Communications and Signal, Singapore, 15–18 December 2003; pp. 743–747.
35. Beis, J.S.; Lowe, D.G. Shape Indexing Using Approximate Nearest-Neighbour Search in
High-Dimensional Spaces. In Proceedings of the IEEE Computer Society Conference on Computer Vision
and Pattern Recognition, San Juan, Territory, 17–19 June 1997; pp. 1000–1006.
36. Fischler, M.A.; Bolles, R.C. Random sample consensus: A paradigm for model fitting with applications
to image analysis and automated cartography. Comm. ACM 1981, 24, 381–395.
37. Szeliski, R.; Zabih, R.; Scharstein, D.; Veksler, O.; Kolmogorov, V.; Agarwala, A.; Tappen, M.; Rother, C.
A comparative study of energy minimization methods for markov random fields with smoothness-based
priors. IEEE Trans. Pattern Anal. Mach. Intell. 2008, 30, 1068–1080.
c 2015 by the authors; licensee MDPI, Basel, Switzerland. This article is an open
access article distributed under the terms and conditions of the Creative Commons by
Attribution (CC-BY) license (http://creativecommons.org/licenses/by/4.0/).