小米AI魔法分身解密(二)

    上一篇博客小米AI魔法分身解密(一)中,我们分析了基于拍照版本的小米AI魔法分身,本篇将分析基于拍视频版本的小米AI魔法分身,所分析的方案只能出类似的效果,真的要达到小米那个效果,还需很长的路要走。

    方案1:视频本来就是多张图片形成的效果,我们可以参考上一篇博客,将其中一个视频中的每一个目标物体抠出来,融合到第二个视频中。对于方案1,将视频中的每张图片分离出,然后抠出每张图的目标物体,接着和第二个视频的每张图片进行融合,理论上是可行的,但这种做法肯定是很耗时,而且会导致视频的不连续性,那么我们可不可以对视频直接进行抠图呢?

    方案2:视频人像分割,直接将视频中的人像抠图出来,再进行融合,其参考资料可见https://zhuanlan.zhihu.com/p/48080465

但我们观察小米10拍摄视频版本的魔法分身录像的时候(我没有小米10,只能看别人的录制过程了),其视频链接参见https://www.zhihu.com/zvideo/1240054619562336256

    在仔细观察这个拍摄过程之后,我们会发现有几个特点,第一个是实时拍摄;第二个是拍摄完第一个视频,再拍摄第二个视频的时候,第二个视频是叠加到第一个视频上,它这个算法的对齐工作做的真好(第一个视频和第二个视频有一个白色的框,手毕竟会抖动),这个实时匹配对齐是这个算法的一大难点,图片匹配融合,我在这篇博客小米AI魔法分身解密(一)中也提到了一点参考资料,希望能做到抛砖引玉。

猜你喜欢

转载自blog.csdn.net/u013289254/article/details/107699099