综述:什么是光流及其在深度学习中的应用

综述:什么是光流及其在深度学习中的应用

[email protected]

声明:本文为CSDN首发,谢绝转载,商业转载请联系笔者MrCharles本人获取同意

在现实生活中,那个人不会接触到视频呢?就拿每天使用的微信来说,朋友发送给你的短视频,朋友圈的视频,或者是抖音的搞笑小视频等等,亦或者E盘里面的苍老师。对于视频平台,总会遇到一个问题,如何在没有人工干预的情况下让系统知道用户上传的视频描述了什么?或者,具体点,系统怎么知道你有没有上传爱情动作片,传播不雅视频给大众?今天我们来看看这个问题。

视频与图像有很大的差别,视频除了具有图像中的空间结构外,还具有时间结构。视频也具有他图像不具有的信息,例如声音,但是我们本文暂时忽略这点。视频只是在特定时间分辨率(即每秒帧数)下运行的图像集合。这意味着视频中的信息不仅在空间上(即在视频中的对象或人物中)进行编码,而且还按照特定顺序依次进行编码,例如接球vs扔球,跳舞vs拥抱。这些额外的信息使视频分类非常有趣,同时又充满挑战。
在这里插入图片描述

光流场, Flow Field

声明:本文为CSDN首发,谢绝转载,商业转载请联系笔者MrCharles本人获取同意

背景

在分类,分割,场景理解等方面,有相当多的深度学习算法应用于空间域。但是,在时间域中表现良好的算法比空间域少很多。原因很简单,将时间添加到计算中非常复杂,想想你的loss function,梯度公式吧,引入时间t你会觉得非常棘手。

创建用于检测时间结构的算法的挑战之一是执行视频片段的简

猜你喜欢

转载自blog.csdn.net/MrCharles/article/details/103626282