AI 视频分析识别系统
关键字:AI视频行为识别分析系统、AI视觉分析系统、AI图像识别分析系统、AI识别系统、AI行为分析系统
- 概述
- 背景
人工智能大时代背景下，视频应用领域相关的行业应用方式已经发生了深刻的变化，各论安防监控还是各类垂直行业视频应用，都需要AI视觉分析与识别技术助力，而且需求广泛而迫切。在应用层面，以AI分析识别技术为核心，集传统视频监控和行业相应传感器/预警等设备一并接入管理并相互联动的一体化综合管理成了刚性应用需求，由此，深圳融合永道科技有限公司早在2012年就已以此方向，研发新一代AI智能视频一体化平台软件，深挖行业需求，响应时代号角，向AI领域进军。
-
- 目标
本平台在我司AI-MIS分析识别算法中间件为核心的技术框架下,以AI人工智能机器视觉技术为支撑，以AI视频应用为核心，把实现客户需求为目标。细化应用规则，在良好的横向业务应用规则扩展支持的同时，又重视纵向的技术深度化研发。持续研发适配更多的场景业务，为社会治安治理、保障安全生产提供有力的技术手段。
- 系统架构
2.1 系统网络拓朴图
2.1.1 局域网模式典型应用
备注: 本模式为局域网环境下典型应用，所有设备都接入在同一个局域网下,AI系统服务器可以接入各式各品牌的网络摄像头和硬盘录像机，也可以对接一些报警设备和传感器设行。
客户端管理电脑登录连接主服务器，在客户端软件用户界面统一管理系统。
一台主AI服务器支持接入多台从AI服务器，实现堆叠接入管理，便于系统扩容。
2.1.2 多分部本地AI系统互联网应用
备注: 本模式为多个分散在各地的分部AI系统，将报警事件统一上传云平台，通过IE客户端连接云服务器访问，本地AI系统架构为局域网模式，只要将本地AI服务器设置指向云管理服务器地址信息即可完成联网。本模式特点：两级架色，本地局部单元系统（本地运算),中心系统统一所有分部的本地系统的接警记录
2.1.3 互联网/大型多级局域网后台分析模式
备注:
2.2 AI-MIS算法中间件
2.2.1 AI-MIS算法中间件简介
AI-MIS采用人工智能机器视觉“深度学习”技术底层架构，结合应用级算法，采用组件化设计，方便扩展算法类型，同时具备强大的样本处理能力，样本自动化生产标签能力，可以高效研发新算法组件。
2.2.2 算法模块
| 序号 |
名称 |
备注 |
| 1 |
对象类别识别能力 |
人,跌倒的人,吸烟,眼镜,背包,安全带,反光衣,帽子,厨师帽,安全帽,手机,口罩,手提包,路面坑洞,蒙面,人脸正面,人脸侧面,举手,持刀,持枪,持棍,小汽车,自行车,摩托车,面包车,大客车,中巴车,火车,出租车标志,挖掘机,自卸货车,灌式货车,货柜车,渣土车,飞机,风筝,狗,猫,牛,马,鸟,老鼠,蟑螂,壁虎,行李箱,打包箱,手,三轮车,轮椅,火,烟柱,蛇 |
| 2 |
拌线探测 |
本算法规则在视频内划线，指定布控对象类别，系统检测当布控对象经过线条时，触发抓拍事件;对象长时间停留在线条上，则每隔N秒后触发一次抓拍事件，由用户指定检测哪一种对象或多个对类别 本算法规则通常应用于检测某种对象经过，如人员越界，车辆进出， 动物出入等。
|
| 3. |
AB线探测 |
本算法规则在视频内划两条线，指定布控对象类别，系统检测当布控对象经过A线条再经过B线条时，触发抓拍事件;反之则不触发 本算法规则通常应用移动方向要求的某种对象经过，如人员越界，车辆进出， 动物出入，逆行，不按方向行驶等。
|
| 4 |
对象滞留侦测 |
本算法规则在视频内绘制一个矩形或多边形布控区域，设定某种对象长时间滞留在布控区域内(设定超过指定的N秒后)，产生抓拍事件 本算法规则通常应用于周界预警，车辆违停，人员排徊 |
| 5 |
区域入侵侦测 |
本算法规则在视频内绘制一个矩形或多边形布控区域，指定某种对象经过布控区域内，跟踪并产生抓拍事件 本算法规则通常应用于周界预警 |
| 6 |
对象移走探测 |
本算法规则在视频内绘制一个矩形或多边形布控区域，设定必须有某种对象存在于布控区域内，如果在设置的时间范求没有检测到该对象，则产生抓拍事件 本算法规则通常应用于保安离岗或卫兵离岗、贵重物品看护 |
| 7 |
进入AB区域探测 |
本算法规则在视频内绘制两个区域，指定布控对象类别，系统检测当布控对象经过A区再经过B区时，触发抓拍事件;反之则不触发 本算法规则通常应用移动方向要求的某种对象经过，如人员越界，车辆违规变道，不按方向行驶、逆行等。 |
| 8 |
人群聚集探测 |
本算法规则在视频内绘制区域，设置区域内人数超过N人时，产生人群聚集抓拍事件 |
| 9 |
车辆拥堵探测 |
本算法规则在视频内绘制区域，设置区域内车辆数量超过N时，产生车辆拥堵抓拍事件 |
| 10 |
区域人流统计 |
本算法规则在视频内绘制区域,跟踪进入区域的人员，当人员离开区域时产生一次抓拍记数事件 本算法规则应用于区域性人数统计
|
| 11 |
有人跌倒 |
本算法规则在视频内绘制区域,跟踪进入区域的人员，当人员在区域内跌倒时产生一次抓拍事件 本算法规则通常应用于敬老院、社区、看护老人是否跌倒预警。 |
| 12 |
对象静止探测【警门睡岗】 |
本算法规则在视频内绘制区域,跟踪进入区域的人员，当人员处于静止状态时产生一次抓拍事件 本算法规则通常应用于识别警/门卫是否正在睡觉的行为 |
| 13 |
烟火探测 |
本算法规则在视频内绘制区域,识别布控区域内产生火苗或烟柱时产生抓拍事件 本算法规则通常应用于消防安全场所 |
| 14 |
打电话 |
本算法规则在视频内绘制区域,识别布控区域内人员打电话时产生抓拍事件 本算法规则通常应用于石油化工，防止打电话时的无线电流触发火灾; 另外防止一些安全生产区域，防止员工因打电话造成安全事故 |
| 15 |
未戴安全帽识别 |
本算法规则在视频内绘制区域,识别布控区域内人员未戴安全帽时产生抓拍事件 本算法规则通常应用于工地、安全生产车间，防止员工戴安全帽，以免引发安全事故 |
| 16 |
对象快速移动探测 |
本算法规则在视频内绘制区域,识别布控区域内人员快速移动时产生抓拍事件 本算法规则通常应用于监狱，当有人快速移动时，及时预警 |
| 17 |
黑名单人脸识别预警 |
本算法规则在视频内绘制区域,识别布控区域内人员是否为黑名单人员，如果为黑名单人员则产生抓拍事件，及时预警通知安全人员处置等 本算法规则通常应用于单位或社区，或公安布控,及时发现黑名单人员便于工作人员及时处置 |
| 18 |
人车识别跟踪 |
本算法规则在视频内绘制区域,跟踪识别进入区域内的人员(人脸识别)和车辆(车牌识别),产生抓拍事件 本算法规则应用多摄像头人员或车辆跨镜轨迹跟踪 |
| 19 |
出入人流计数 |
本算法规则是在视频内绘制两条线，即A线和B线，当人员从A线再到B线时，触发一次人流计数抓拍事件，通常应用于具有方向性的人流计数统计场所 |
| 20 |
未戴手套识别 |
本算法规则在视频内绘制区域,识别布控区域内人员未戴手套时产生抓拍事件 本算法规则通常应用于需要戴手套的工作场景，防止员工不戴手套，以免影响卫生或其它安全事件 |
| 21 |
吸烟识别 |
本算法规则在视频内绘制区域,识别布控区域内人员吸烟时产生抓拍事件 本算法规则通常应用于消防安全场所 |
| 22 |
有人持刀识别 |
本算法规则在视频内绘制区域,识别布控区域内人员有人持刀时产生抓拍事件,及时预警 本算法规则通常应用于校园安全监控 |
| 23 |
未戴口罩识别 |
本算法规则在视频内绘制区域,识别布控区域内人员未戴口罩时产生抓拍事件 本算法规则通常应用于厨房或其它需要戴口罩的工作场景，防止员工不戴口罩，以免影响厨房卫生或其它安全事件 |
| 24 |
未戴厨师帽识别 |
算法规则在视频内绘制区域,识别布控区域内人员未戴厨师帽时产生抓拍事件 本算法规则通常应用于厨房工作场景，防止员工不戴厨师帽，以免影响厨房卫生环境 |
| 25 |
外来人员人脸识别 |
算法规则在视频内绘制区域,识别布控区域内人员不是内部人员时产生抓拍事件 本算法规则通常应用于单位或社区，防止闲杂人员进入 |
| 26 |
白名单人脸识别 |
算法规则在视频内绘制区域,识别布控区域内人员是否为内部人员，如果为内部人员则出入口通行放行、联动开门、考勤记录、会议签到等 本算法规则通常应用于单位或社区，防止闲杂人员进入 |
| 27 |
打架行为识别 |
本算法规则支持识别有人打架行为，及时预警 |
| 28 |
未穿反光衣识别 |
检测人员是否穿反光衣,或同行人中是否有人穿反光衣 |
| 29 |
未戴安全带识别 |
检测人员是否未戴安全带 |
| 30 |
石油石化工人工服识别 |
检测人员是否有穿工装，目前只支持中石油中石化工人工服识别 |
| 31 |
骑车不戴头盔 |
支持检测骑自行车、电动车、三轮车的人员未戴头盔 |
| 32 |
举手求救 |
支持检测人员举手方式发出求救信号 |
| 33 |
货车违规载人 |
支持检测各类货车违规载人，或家用三轮车载人抓拍 |
| 34 |
汽车车牌识别 |
支持各种汽车号牌识别，兼容新能源汽车车牌识别,兼容香港车牌识别 |
| 35 |
两轮电动自动车车牌识别 |
支持各种自动摩托车/自行车白牌、黄牌、蓝牌号牌识别 |
| 36 |
人数限定 |
支持设置视频场景内小于指定的人数参预警或大于指定的人数预警 |
2.2.3 算法定制能力
AI-MIS中间件采用组件化架构，因此具有强大的可扩展性，完备的生产工具组件，使得AI-MIS中间件可以支持快速的定制新业务算法，在不需要太多改动上层业务代码的情况下，高效的研发和训练生产新型算法规则。
2.3 系统环境说明
本系统采用跨平台主式编写底层算法，和上层应用软件，理论上可以适配支持任何操作系统，目前经过测试的操作系统为ubuntu 18.04 和Windows 7/8/10/12/16 ,本系统数据库为了更好的适配算法，提高查询速度和大数据存储，采用了自研数据库 AIDB。
- 功能模块
3.1 实时预览
3.1.1 AI通道实时预览
客户端预览功能界面，支持实时预览AI节点通道实时视频，该视频带有分析叠加效果，支持云台控制、支持预置位管理、捕图、画面双击放大、全屏等操作。
3.1.2 监控通道实时预览
客户端预览功能界面，支持实时预览监控摄像头节点通道实时视频，该视频不带有分析叠加效果，支持云台控制、支持预置位管理、捕图、画面双击放大、全屏等操作。
3.1.3 视图管理
在客户端预览功能界面内，支持将已经打开的视频保存为视图模板，支持创建9999个视图，可以设定客户端启动后自动加载模板。
3.1.4 云台控制
在客户端预览功能界面内，支持将已经打开的视频进行云台操作，默认支持向左、向左、向上、向上、左上、右上、左下、右下、拉远、拉近、转到预置位等操作，支持创建自动定时执行预置位计划。
3.2 数据查询
客户端具有数据查询功能界面，支持选中某个通道、事件类型、时间范围查询系统智能抓拍通道产生的报警抓拍数据，支持将查询到的数据(含图片)下载到客户端 本地磁盘。
3.3 统计分析
系统内器海量统计分析模块，自动计数每一种事件类型数据，统计粒度最小单位为小时，支持按每日、月、年、时间段、通道等方式快速查询统计数据。
3.4 档案管理
系统支持人员档案管理和车牌档案管理，人员档案管理主要应用人脸识别黑白名单和访客管理应用，黑名单人员主要应用于人脸识别发现黑名单人员预警，白名单人员主要应用于单位内部人员出入口通行管理、考勤和会议签到管理。
车辆与号牌管理主要应用于出入口车辆通行管理（不涉及收费）。
3.5 系统配置
在系统配置功能模块内，管理员用户可以操作设置如下功能：
AI通道相应的摄像头及分析识别算法应用规则
监控通道相应的摄像头，及设置是否录像等
上传第三方平台http协议配置
联动邮件发送配置
系统维护操作（系统重启、时间同步）
3.6 二次开发
本系统提从如下二次开发协议接口：
- 第三方Http 请求协议 ,由用户向本系统发起http post请求响应操作，系统接收到命令后，执行相应的操作，主要包含：请求系统通道列表，查询通道的抓拍事件记录，拉取图片，添加人员（人脸），查询人员，删除人员，检测人脸，检测对象等接口
- 系统主动上传抓拍事件Http协议, 由用户在系统配置添加第三方接收ip地址和端口信息，系统将抓拍事件记录实时上传到此第三方ip地址端口，具体协议请查阅相应的文档
- Socket方式实时视频传输和抓拍事件实时接收协议， 系统由通过Socket TCP通讯方式向系统拉取视频流（含分析叠加信息）、订阅接收报警事件，详情可查阅对应的DEMO程序。
- 系统性能参数
| 序号 |
项目 |
备注 |
|
| 1 |
系统用户数 |
最大支持9999个用户同时在线 |
|
| 2 |
事件记录最大数量 |
最大支持1024亿条记录存储，查询响应速度不高于3秒 |
|
| 3 |
AI服务器堆叠数量 |
支持1024台AI服务器 |
|
| 4 |
监控摄像头接入数量 |
最大支持900000个监控摄像头 |
|
| 5 |
抓拍事件接收时间 |
少于1秒 |
|
| 6 |
单个AI通道叠加分析规则数量 |
最大可同时添加16个算法同时运算 |
|
| 7 |
|
|
|
欢迎电话联系，一起交流 AI行为分析系统技术开发事宜 TEL&WX: 13570895778