目标识别之异常检测-徘徊检测项目

异常行为检测深入研究

1. 异常行为检测研究现状

1.1 异常行为视频分析综述

1.1.1 异常行为分析研究架构

综述文献：

• A Review on Video-Based Human Activity Recognition
• https://github.com/hoya012/awesome-anomaly-detection

一般而言，人类活动识别可以分为三个层次的表示形式，分别是低层核心技术，中层人类活动识别系统和高层应用程序，如图1所示考虑了三个主要的处理阶段，即对象分割，特征提取和表示以及活动检测和分类算法。首先从视频序列中分割出人类对象。然后，可以正确提取人类对象的特征，例如形状，轮廓，颜色，姿势和身体运动，并由一组特征表示。随后，将活动检测或分类算法应用于提取的特征，以识别各种人类活动。此外，在第二级人类活动识别系统中，讨论了三个重要的识别系统，包括单人活动识别，多人交互和人群行为以及异常活动识别。最后，第三级应用程序讨论了在监视环境，娱乐环境或医疗保健系统中应用的公认结果。

1.1.2 异常行为汇总

1.2 异常行为监测研究

1.2.1 视频中的多分辨率语义活动表征和异常发现

（1）模型：LDS1: YOLOv3 + DeepSORT

（2）数据集：CAVIAR dataset

（3）思想：提出了一种新颖的方法，可以在不同的分辨率下对活动进行表征和分析。语义信息是根据观察活动的分辨率来传递的。此外，利用多分辨率活动表征来检测异常活动。本文提出了一种多分辨率方法，用于自动表征人的活动，使用语义术语传递此类活动并检测异常活动，例如人们异常地在某个区域中长期停留，闲逛或走低频率的道路。 该方法的主要创新之处在于，基于区域的多分辨率特征被利用来在需要时调整语义解释，并提取区域占用和活动区域之间转移的统计数据，以建立统计阈值，从而可以区分正常/异常活动。

（4）文献：Multiresolution semantic activity characterisation and abnormality discovery in videos

（5）代码：https://github.com/ntienvu/abnormal_detection_video_surveillance

1.2.2 视频监视中异常检测的贝叶斯非参数方法

（1）模型：

（2）数据集：

（3）思想：我们提出了非参数数据分割和多模式异常检测的框架。 通过在流数据的不同相干部分上建立多个异常检测模型，我们提出的框架对于大规模视频数据中的异常检测具有更高的鲁棒性。 尤其是当摄像机经过多天监控并显示出很大的数据变化时。 我们对14天以上的视频数据进行收集的实验证明，与单模式检测器相比，所提出的多模式异常检测器具有更高的性能。本文的主要贡献是：（1）建议使用Infinite Hidden Markov模型进行流数据分割，以及（2）引入用户界面，使用Rank-1鲁棒PCA进行特征提取，并使用贝叶斯非参数因子分析进行模式发现， 允许用户检查和浏览可疑的异常事件。

（4）文献：Bayesian Nonparametric Approaches to Abnormality Detection in Video Surveillance

1.2.3 Abnormal Event Detection at 150 FPS in MATLAB

（1）模型：sparse combination learning

（2）数据集：CAVIAR dataset

（3）思想：我们提出了一种通过稀疏组合学习的异常事件检测方法。这种方法直接学习稀疏组合，在不影响有效性的前提下，将测试速度提高了数百倍。我们的方法在几个数据集中取得了最先进的结果。它与传统的子空间聚类有关，但主要区别于传统的子空间聚类

（4）文献：Abnormal Event Detection at 150 FPS in MATLAB

（5）代码：

• http://www.cse.cuhk.edu.hk/leojia/projects/detectabnormal/
• http://vision.eecs.yorku.ca/research/anomalous-behaviour-data/

2. 异常行为检测算法综述

2.1 徘徊行为检测算法

2.1.1使用多摄像机视频监控网络的基于深度学习的游荡检测系统

（1）模型：LDS1: YOLOv3 + DeepSORT

（2）数据集：PETS 2007

（3）思想：提出了一种在多摄像机网络上具有重识别（ReID）功能的基于深度学习的游荡检测系统（LDS）。提出的LDS主要包括目标检测和跟踪，游荡检测，特征提取，摄像机切换以及游荡者的重新识别。使用“一次只看一次”（YOLOv3）可以检测到此人，并使用具有深度关联矩阵的“简单在线实时跟踪”（DeepSORT）对该人进行跟踪。从轨迹分析中，一旦满足时间和位移阈值，该人将被视为游荡者。

（4）文献：Deep Learning based Loitering Detection System using Multi-camera Video Surveillance Network

2.1.2 基于行人活动区域分类的游荡检测

（1）模型：GMM +Meanshift

（2）数据集：PETS 2007

（3）思想：本文首先使用行人活动区域的大小从一个新的角度给出了游荡的定义。行人游荡行为分为三类。所提出的算法基于在给定的停留时间阈值内的轨迹坐标，通过曲线拟合来动态计算行人活动区域的矩形，椭圆形和扇形。如果在一定时间段内检测到行人活动受到约束，则识别为游荡。

（4）文献：Loitering Detection Based on Pedestrian Activity Area Classification

2.1.3 识别视频游荡行为的熵模型

（1）模型：Heat map +Entropy Model

（2）数据集：PETS 2007

（3）思想：熵理论可以用于检测人群中的不规则行为。 先前关于游荡检测的大部分工作仅提供了游荡者的分类。 为此，涉及一些时间阈值或分数。 在实践中选择此阈值并不容易。 例如，将不会检测到停留在此时间阈值以下区域的行人有可疑行为。 此外，他们在移动的人和正在等待的人之间没有区别。 分析大量镜头时，可能会有许多潜在游荡者。 根据时间阈值微调警报将很困难。 我们通过提供候选人列表来重新考虑尝试对游荡者进行分类，而最可能的游荡者位于顶部。 这样，操作员可以做出最终判断。 我们的方法可以检索游荡者，并在按可疑程度排序的有序列表中提供其他可疑候选人。我们将熵理论应用于个体，以确定他们移动了多少。

（4）文献：An Entropy Model for Identifying Loitering Behavior in Videos

2.1.4 游荡人员检测的马尔可夫随机游走模型

（1）模型：Markov + Random Walk

（2）数据集：PETS 2007

（3）思想：我们基于轨迹的时空共现和分布，利用外观和运动特征提出了马尔可夫随机行走模型。

（4）文献：A Markov Random Walk Model for Loitering People Detection

2.1.5 在公共交通区域发现游荡人员

（1）模型：

（2）数据集：Bus Stop video

（3）思想：本文提出了一种基于视觉的方法，可以自动检测到游荡于市区公交车站的人。使用公交车站的静止摄像头视图，整个场景中的行人被分割和跟踪。找到行人的整洁无阻的视图时，系统会拍摄个人快照。然后，使用基于外观的方法，将快照用于将单个图像分类到数据库中。用于关联单个图像的功能基于短期生物特征，这些特征可以更改，但可以在短时间内保持有效；该系统使用衣服颜色。将线性判别方法应用于颜色信息，以增强特征空间中不同个体之间的差异并使它们之间的相似性最小化。为了确定给定的个人是否正在游荡，可以使用在其对应的数据库类中随快照收集的时间戳来判断一个人存在了多长时间。使用30分钟的繁忙公交车站视频进行了一项实验，其中有6个人对此游荡。结果表明，系统成功地将所有六个人的图像分类为游荡。

（4）文献：Detection of Loitering Individuals in Public Transportation Areas

2.1.6 用于异常事件检测的Avenue数据集

（1）模型：

（2）数据集：Avenue Dataset(http://www.cse.cuhk.edu.hk/leojia/projects/detectabnormal/dataset.html)

（3）思想：

（4）文献：Avenue Dataset for Abnormal Event Detection(http://www.cse.cuhk.edu.hk/leojia/projects/detectabnormal/index.html)

（5）代码： https://github.com/gongruya/abnormality-detection

3. 异常检测框架及数据集

3.1 常用视频异常分析检测数据集

[1] A Review on Video-Based Human Activity Recognition

3.2 大型视频异常检测的判别框架

（1）模型：unsupervised

（2）数据集：

• Avenue Dataset(http://www.cse.cuhk.edu.hk/leojia/projects/detectabnormal/dataset.html)
• Subway surveillance dataset
• Personal Vacation Dataset
• UMN Unusual Activity Dataset

（3）思想：贡献包括一个新的异常检测框架，它是（1）独立于异常的时间顺序，和（2）无监督，不需要单独的训练序列。我们展示了我们的算法，即使我们调整设置，从标准数据集中删除训练序列，也能达到最先进的结果。

（4）文献：A Discriminative Framework for Anomaly Detection in Large Videos

（5）代码：

• https://github.com/alliedel/videofeatures ；
• https://github.com/alliedel/anomalyframework_ECCV2016 (matlab & C++);
• https://github.com/alliedel/anomalyframework_python (Python & C++)

3.3 用于人类活动异常检测的多时标轨迹预测

（1）模型：

（2）数据集：IV Corridor dataset（https://drive.google.com/drive/folders/1Rxm-4fPqhfVPB9HINGtbdvauYpQuCD5i?usp=sharing）

（3）思想：在监控场景中，跳跃是短期的异常，而游荡是长期的异常。单一的、预先确定的时间尺度不足以捕捉到不同时间持续时间发生的各种异常情况。在本文中，我们提出了一个多时间尺度的模型来捕捉不同时间尺度的时间动态。特别是，所提出的模型对给定的输入姿势轨迹在不同时间尺度上进行未来和过去的预测。该模型是多层的，其中中间层负责生成对应不同时间尺度的预测。这些预测被结合起来，以检测异常活动。此外，我们还引入了一个研究用的异常活动数据集，该数据集包含4,83,566个注释帧。我们的实验表明，所提出的模型可以捕获不同时间长度的异常活动，并优于现有的方法。

（4）文献：Multi-timescale Trajectory Prediction for Abnormal Human Activity Detection

（5）代码：

• https://rodrigues-royston.github.io/Multi-timescale_Trajectory_Prediction/

3.4 异常检测的未来帧预测–新基线

• （1）模型：YOLOv3 + Future
• （2）数据集：
  • UCSD dataset
  • Avenue dataset
  • ShanghaiTech dataset

• （3）思想：视频中的异常检测是指对不符合预期行为的事件进行识别。然而，几乎所有现有的方法都是通过最小化训练数据的重构误差来解决这个问题，这不能保证异常事件的重构误差较大。在本文中，我们提出在视频预测框架内解决异常检测问题。据我们所知，这是第一个利用预测的未来帧与其地面真相之间的差异来检测异常事件的工作。为了对正常事件的未来帧进行更高质量的预测，除了常用的强度和梯度的外观(空间)约束外，我们还在视频预测中引入了运动(时间)约束，强制要求预测帧和地面真相帧之间的光照度保持一致，这也是将时间约束引入视频预测任务中的第一项工作。这种空间和运动约束有利于正常事件的未来帧预测，并因此有利于识别那些不符合预期的异常事件。在一个玩具数据集和一些公开的数据集上进行了大量的实验，验证了我们的方法在对正常事件的不确定性和对异常事件的敏感性方面的有效性。
• （4）文献： Future frame prediction for anomaly detection–a new baseline
• （5）代码：https://github.com/StevenLiuWen/ano_pred_cvpr2018

3.5 虚警率渐近界的监视视频在线异常检测

• （1）模型：YOLOv3 + Statistic
• （2）数据集：
  • UCSD dataset
  • Avenue dataset
  • ShanghaiTech dataset

• （3）思想：我们提出的算法由一个多目标深度学习模块与一个统计异常检测模块组成，其高效性在几个公开的数据集上得到了证明，我们的表现优于最先进的算法。
• （4）文献：Online Anomaly Detection in Surveillance Videos with Asymptotic Bounds on False Alarm Rate
• （5）代码：
  • https://github.com/kevaldoshi17/Prediction-based-Video-Anomaly-Detection-
  • https://github.com/StevenLiuWen/ano_pred_cvpr2018

3.6 使用时空自动编码器的视频异常事件检测

（1）模型：LSTM

（2）数据集：

• UCSD dataset
• Avenue dataset
• Subway dataset

（3）思想：我们提出了一种用于检测视频中异常的efficient方法。最近卷积神经网络的应用已经显示出卷积层在物体检测和识别方面的前景，特别是在图像中。然而，卷积神经网络是有监督的，需要标签作为学习信号。我们提出了一种时空架构，用于包括拥挤场景在内的视频中的异常检测。我们的架构包括两个主要部分，一个用于空间特征表示，一个用于学习空间特征的时间演变。在Avenue、Subway和UCSD基准上的实验结果表明，我们的方法的检测精度与最先进的方法相当，速度高达140 fps。

（4）文献：Abnormal Event Detection in Videos using Spatiotemporal Autoencoder

（5）代码：

• https://github.com/harshtikuu/Abnormal_Event_Detection
• https://github.com/alexisbdr/warehouse-anomaly

4. 徘徊行为检测数据集

1. PETS 2007 : 数据集是包含以下三种场景的多传感器序列，但场景复杂性不断提高：徘徊，有人值班的行李搬运（盗窃）和无人值守的行李。

• Loitering Loitering is defined as a person who enters the scene,and remains within the scene for more than t seconds. For the purposes of PETS 2007, t = 60 seconds.

• 针对PET2007数据集的异常视频分析的其他研究可以参照文献：Tenth IEEE International Workshop on Performance Evaluation of Tracking and Surveillance (PETS 2007)

1. UCSD数据集

UCSD：UCSD的行人数据集由两部分组成，即Ped1和Ped2。我们将Ped1从我们的实验中排除，因为它的分辨率明显较低，为158 x 238，而且报告的结果缺乏一致性，因为最近的一些工作只报告了整个数据集的一个子集的性能。UCSD Ped2数据集，由16个训练视频和12个测试视频组成，每个视频的分辨率为240×360。所有的异常事件都是由于自行车、滑板车和轮椅等车辆穿越行人区造成的。

An on-line, real-time learning method for detecting anomalies in videos using spatio-temporal compositions.

W. Liu, W. Luo, D. Lian, and S. Gao. Future frame prediction for anomaly detection–a new baseline. 2017.

1. MIT trajectory dataset

Multiresolution semantic activity characterisation and abnormality discovery in videos.

1. Avenue dataset

中大大道数据集由16个训练视频和21个测试视频组成，帧分辨率为360×640。异常行为表现为人们投掷物品、闲逛和奔跑。

1. ShanghaiTech dataset

上海科技大学校园数据集是目前视频异常检测中规模最大、最具挑战性的数据集之一，它由来自13个different场景的330个训练视频和107个测试视频组成。它由来自13个different场景的330个训练视频和107个测试视频组成，这使它有别于其他可用数据集。每个视频帧的分辨率为480 x 856。

1. mall_1, mall_2 dataset

商场数据集

1. Subway exit dataset

英国地铁进出口

5. 徘徊检测项目分析