视频云服务的技术现状与发展探讨

视频云服务的应用发展和技术演进贯穿了整个视频监控发展的四个时代,也作为一个重要的产品解决方案形态承前启后、继往开来人工智能领域的整个发展路径中。视频上云到提供视频云服务,再到由环绕视频云提供各类视频应用和以视频云服务为核心横向发展到边缘计算,纵向衍生到AI赋能的能力底座。其技术现状可谓五彩斑斓,百花齐放。

我们从视频云服务来追溯一下视频监控发展的四个时代。自2017年以来,人们明显的感觉到身处第四次工业革命当中,革命的核心首当其冲就是人工智能,无AI不安防、无AI不智能、无AI不视频。人工智能发展了70多年,真正对视频监控系统发展产生历史性影响就是在2017年,可以被称为这个时代的元年,人脸识别技术的商业化成熟应用是这个时代诞生的引爆点。总结60多年的视频监控发展历史,视频监控发展大体上可划分为4个时代:模拟时代、数字时代、智能时代、数据时代。

模拟时代(1957-2004),关键字:三看(看不见、看不清、看不懂)。模拟时代有三大特点:看不见。受限于成本、技术等多个因素,模拟时代很多应该安装监控设备的地方没有安装监控设备导致看不见。看不清。模拟监控的分辨率是以电视线为基准的,380TVL、420TVL、480TVL、540TVL都是主流的分辨率,远达不到高清监控的标准,导致视频画面放大后模糊不清,尤其是经过数模转换之后更加明显(DVR硬盘录像机的有损压缩尤为明显)。看不懂。模拟视频信号几乎没有分析、智能功能,通常也就是实现画面(全画面或部分区域)的移动侦测功能。模拟时代视频监控的主要作用是监视、录像和回放录像。

数字时代(2004-2017),关键字:四全(全域覆盖、全网共享、全时可用、全程可控)得益于网络技术和IT技术的进步,数字时代改进了模拟时代的一些缺点,具有以下4个特点:全域覆盖。高清摄像机比例达到100%;重要部位视频监控覆盖率达到100%。全网共享。重点区域视频联网率达到100%;重点公共区域的视频图像资源联网率达到100%。全时可用。重点区域视频监控摄像机完好率达到98%,实现视频图像信息的全天候应用。全程可控。建成分层安全体系,重要视频图像信息不失控,敏感视频信息不泄露。数字时代拓展了大规模集群应用,强调覆盖面和大型联网应用,使得各个“闭路”的监控系统变成一个强大的视频监控资源网。

智能时代(2017-),关键字:三看(看得见、看得清、看得懂)。得益于人工智能技术的发展,视频监控进入智能时代后,产生了质的变化:看得见。在全域覆盖的情况下,基本做到了视频监控无死角覆盖,确保在每个需要监控的地方能够看见视频,视频监控对城市而言就像人的眼睛,不然就会存在管理盲区。看得清。目前主流应用的摄像机都是网络型,像素可达200万、300万,分辨率可达1080P或者4K,甚至更高分辨率(比如8K),也有全景、鱼眼等大视角的摄像机,确保看到的画面是高清的、宽阔的、能够用于智能分析的。看得懂。得益于近2年车牌、车辆、人脸、人体、物体特征识别等计算机视角技术的发展,计算机可以用类似人眼的功能来自动识别这个视频或图像,具有类人脑智能。智能时代视频监控已经具备人脑的部分功能,实现对视频的解析和智能应用。

数据时代(2018-),关键字:四全(全景数据、全量数据、全域数据、全息数据)。云计算、大数据已经不是时髦的词汇,已经切切实实的深入到社会治理的方方面面。非结构化的视频图像数据被结构化之后,就能够形成视频图像大数据,这些数据可以分为四类:全景数据。包含空间维度内的人、车、物、手机、门禁、WIFI、物联感知、地图、地址、门牌号、网格、人口、房屋、单位、城市部件等数据。全量数据。在全景数据的基础之上包括时间维度,全时空数据,包含轨迹、活动、事件等数据。全域数据。在全景数据之上构建数据之间的关联,属于多维关联信息,多渠道、多视角、多侧面收集而成。包含了系统所有信息的模型,实现数据的关联、碰撞和多维感知。全息数据。将全域数据和视频图像进行融合,产生立体化空间、多维度、相互关联的全时空数据。典型应用包括3D全息投影、虚拟显示VR、增强显示AR。数据时代视频监控的特点就是能够全面看、自动看、关联看。全面看:视频图像一体汇聚、全网共享。大范围内多维数据的跨系统、跨区域共享。自动看:高密度、高算力、多算法框架、千亿级图片秒级检索,算的快、比的准。关联看:视频大数据与社会、网络、政务、警务大数据等资源的碰撞分析。实现“图事件关联”、“人脸、车辆、手机等多轨合一”等应用。

视频云服务在当前的技术发展中,率先在行业解决方案中构筑起安防AI新生态。

2017年开启的人工智能时代彻底改变了安防行业,形成安防AI的新生态。

对于硬件厂商而言,前端设备越来越智能,催生了边缘计算,摄像机、前端接入设备都具备了一定的智能功能,典型的设备包括人脸摄像机、车辆摄像机、视频结构化主机。而人工智能的核心技术体现就是AI芯片,芯片赋予前端设备更强大的分析功能,而芯片的计算力要得到充分的发挥,依赖于算法和框架,这种嵌入式技术的发展完全改变了传统的CCD、CMOS、DSP、主板等架构,增加了更多的AI芯片,直接改变了硬件厂商的生态链。AI的发展催生了更多的新型硬件设备,主要的特点就是硬件设备越来越具备人工智能功能,真正做到了用机器来代替人的眼睛来感受这个世界。

对于软件厂商而言,随着云计算、大数据技术的发展,改变了传统安防软件的功能和体系架构。以视频监控软件为例,传统的视频监控具备监视、录像和回放功能即可,稍微复杂一点的具备一些初步的分析功能(比如浓缩摘要、入侵探测、画面移动侦测)。视频数据是天然的非结构化数据,之前很难挖掘视频数据的潜力,而人工智能技术中的计算机视觉技术,主要的应用就是将非结构化的视频数据进行结构化处理,这样计算机就可以将视频画面中的人脸、行人(ReID)、车牌、车辆、物体进行分类识别,经过处理的视频数据便能够被计算机所识别,充分的挖掘了视频数据的潜力,形成各种各样的SaaS应用。结构化处理之后的视频间接的改变了停车场管理软件(车牌识别)、门禁管理软件(人脸识别)、消费管理(人脸支付)等安防软件,新的进入者可以完全利用不同的模式来颠覆现有的行业,从而催生安防软件行业的新生态。

对于集成商(工程商)而言,前端硬件的智能化、后端软件系统大数据化、云化催生了全新的解决方案,围绕视频大数据间接的改变了整个集成商市场。以视频监控系统为例,平安城市、雪亮工程的方案架构越来越复杂,从双网双平台到三网三平台(视频专网/公安网/互联网、各部署一套联网运维平台),系统的架构从三级升级到四级甚至五级(省/市(区)/县/镇/村),视频监控除了需要联网之外还要进行大数据的应用,大数据的应用基础就是一人一档、一车一档、一机一档(一台摄像机一个档案),又催生了新的系统。再此基础之上再次构建视频大数据应用系统,就是视频云系统,充分利用人工智能,重新架构视频监控的应用,诞生了另外一种解决方案新生态。

众多IT企业涉水安防产业。华为进军视频监控设备制造、阿里推出城市大脑、腾讯提出互联网+战略,且不论众多传统的IT企业建设AI实验室(其中一个重要的方向就是计算机视觉识别),这些IT企业的进入给安防产业注入了活力,但也间接改变了安防行业的格局,给众多的传统老牌安防企业带来了压力,貌似不相关的IT产业和安防行业高度融合,这也是一个明显的趋势。

AI安防新秀层出不穷。2018年最火热的莫过于人工智能独角兽企业,其典型代表企业云从科技、旷视科技、商汤、依图均涉足安防行业,更不用说业务范围仅限于安防的千视通、深鉴科技、云天励飞等AI新秀企业。这些企业带来的是强大的研发团队(动辄上千人的团队)、全新的解决方案、全新的理念,彻彻底底的改变了传统安防行业。有的时候,你甚至会发现有一圈人在开一个安防行业的峰会,竟然都是AI圈的企业,甚至没有一家安防企业,而他们很可能会重新制定安防行业的游戏规则。

以上种种,AI催生了全新的安防新需求、提供了全新的产品和解决方案,给安防行业重新带来了新的活力,构建了安防行业的新生态。AI安防的新生态圈里,有AI芯片厂家、AI算法和框架厂家、老牌的安防企业、传统的IT企业、大型的集成商、工程商,安防市场足够大,足以容纳下足够的玩家,因为行业多、需求负责,暂时未出现未来也不会出现一家独大的巨无霸企业,就像BAT在IT行业的地位,而是在每个细分市场上各有分工,满足不同的需求,大家一同构造一个硬件、软件、解决方案、工程、运维协同发展的AI合作新生态。在这个新生态里既有大型运营商(包括中国移动、中国联通、中国电信等),也有大型的IT企业(包括华为、腾讯、阿里巴巴),也有大型的产品制造商(包括海康威视、大华股份等),还有大型的集成商(包括佳都科技、东方网力等),当然也少了AI新秀企业(包括云从科技、千视通等)。

视频云服务的发展呈现出围绕场景提供应用,围绕算法提供能力,围绕数据提供服务的趋势。这些场景不断延申到公共安全行业的其他细分市场、这些算法不断提供硬核的产品形式,发展自主可控算法集成度高的芯片,围绕数据提供数据生产者和消费者的各种数据服务,接入服务、感知服务、分析服务、汇聚服务、计算服务、建模服务、存储服务等,利用大数据技术,容器化技术的发展,使得传统IaaS,PaaS,SaaS的界限愈发模糊,视频云服务的载体形成为边缘设备、云端服务、流程镜像、智能设备、智能家居、可穿戴设备等。

为当前最先进的某视频云服务为例,视频云服务交付给用户较常用的应用平台形式中,视频云+大数据应用平台是比较典型的交付形式。视频云+大数据应用平台是基于人工智能与大数据技术,以人脸识别技术为核心,整合人脸抓拍、视频+门禁数据、四标四实数据、设备数据(WiFi)、车辆抓拍数据等多维数据,以视频大数据的比对、分析、挖掘能力从人、车、案等多角度协助基层民警开展打防管控工作,解决人工翻查录像费时费力、发现预防能力不足、重点管控对象不能主动发现、人员精确身份难以确定、海量布控库下如何精准打击等问题,为基层公安机关开展立体化治安防控工作提供“尖刀利器”。视频云+大数据平台除了具备基本的视频调阅、人脸比对、车辆分析、布控预警、特征检索、轨迹分析等应用,还提供更多的人脸技战法、车辆技战法、大数据碰撞、异常活动分析等视频大数据分析模型,支持各警种扩展定义各类业务专题模型,为各级公安用户提供视频大数据应用的综合系统。视频云+大数据应用平台是一个整体解决方案,以视频图像为主、多种资源关联叠加,构建了视频资源服务体系和应用体系,实现了多维感知数据的汇聚、解析、存储与基于业务场景的应用。视频云+大数据平台通过“前端感知—后端人工智能处理—大数据关联分析—形成抓捕、管控两类信息流”的应用模式,为基层公安机关开展立体化治安防控工作提供“尖刀利器”。平台依据广东省厅“智慧新警务”规划中的视频云赋能工程的相关要求设计,同时遵循公安部《GA/T 1400 公安视频图像信息应用系统》系列规范。视频云+大数据平台包括:视频图像信息数据库(一库)、应用支撑服务平台(一平台)、视频图像解析系统和视频云+应用系统组成。

  • 视频图像信息数据库:数据汇聚接入、数据处理、数据服务提供。
  • 视频图像解析系统:由视频结构化处理、人脸特征提取处理、车辆图片二次分析处理三大能力构成。
  • 视频云应用支撑平台:提供视图调阅、人员比对、车辆比对、结构化数据检索、轨迹分析等服务API,供各警种调用。
  • 视频云+应用系统:在资源共享和能力开放的基础上,结合用户视频应用需求,具备基本的视频调阅、人脸比对、车辆分析、布控预警、特征检索、轨迹分析等应用,还提供人脸技战法、车辆技战法、大数据碰撞比对、团伙深挖扩线、异常活动分析等视频大数据分析应用,支持各警种扩展定义各类业务专题模型,为各级公安用户提供视频大数据应用的综合系统。

系统架构:

  • 视频云+大数据平台采用两级两网双平台架构,建设资源共享、能力开放、安全可控的视频大数据平台。
  • 在视频专网部署云管理平台、视频图像资源汇聚平台、视频图像信息数据库、视频图像解析系统、视频云应用支撑平台(提供API接口)、视频云+应用系统(部署基本应用)。省市两级部署方式趋同,省级平台多了跨地市应用。视频专网内支持基本应用,包括视频调用、人员布控、车辆布控等功能。
  • 公安信息网拥有更多的数据资源,可定制更多的应用系统和大数据分析功能。

系统架构如下图所示。

系统特点:

  • 基于时空大数据分析模型,构建立体治安防控体系
  • 多源数据汇聚,构建视频图像信息数据库
  • 基础设施层基于实战业务需求,实现弹性计算调度
  • 平台服务层促进多算法开放接入、应用百花齐放
  • 视频云+应用,支撑防控、研判、指挥调度等业务需求

平台特色

  • 云资源弹性伸缩调度
  • 基于AI的视频分析多算法集成
  • “1+N”已知身份人脸库设计
  • 跨区域分布式协同处理
  • 开放和兼容视频能力服务

新特点

  • 应用成效的合成
  • 一人一档、人脸+治安防控、人脸+社区管控、事件防控
  • 非汽车识别
  • 人脸多算法集成
  • 云从、华云、海康、优图、旷视……
  • 人脸多算法布控
  • 多源数据汇聚
  • 视频、卡口、人脸抓拍、车辆抓拍、视频结构化
  • 一标三实
  • 拓展应用场景
  • 业务应用场景:指挥、防控、管控、侦查
  • 大数据应用场景:标签、画像、技战法模型
  • 生态解决方案
  • AR解决方案集成
  • 3D地图及大数据可视化集成
  • 容器云解决方案;微服务、容器化
  • 人脸算法集成
  • 小特征的人脸特征分布式检索引擎
  • 黑人分类识别算法集成
  • 人脸多算法布控报警联动引擎

“全量汇聚”,资源统一管理

以一机一档实现对视频资源的管理,并为其它系统共享资源目录,联网/共享平台提供视频的接入和共享能力,满足各种第三方应用系统的需求。

“多元解析”:计算资源弹性调度

根据公安实战业务特点,实现弹性计算支撑。大案要案:短时间处理海量视频,进行视频结构化分析,查找线索;专项行动:针对某类案件进行专项行动,相关资源进行临时协调;大型活动/节假日/春运/马拉松等安保:临时增加监控摄像头分析。

视频业务存在波峰波谷,需要灵活分配CPU/GPU资源给各业务,提升计算的综合利用率。

视频图像解析系统

视频图像解析系统部署于视频专网和公安专网。视频专网内的解析系统用于实现对视频专网中的联网视频、离线视频文件、人脸抓拍图片和车辆卡口过车图片等进行识别解析,生成结构化数据。公安专网内的解析系统用于实现对公安网内各警种视频图像信息资源识别解析,生成结构化数据,并且能对视频进行行为分析功能。

视频图像解析系统功能包括视频结构化处理、人脸特征提取处理、车辆图片二次分析处理三大能力构成,支持多算法。视频图像解析系统解析了人、机动车、非机动车。

架构上支持多算法集成框架,一个是多种类的人的、车的,人脸特征,人员特征的,多种类的特征算法并存;另外一个是多厂家算法的并存。

  • 多元异构算法并存,人车特征统一解析
  • 支持多算法开放接入,算法插件化管理,即插即用;算法可独立升级切换;
  • 多种类型算法共享统一GPU/CPU资源池,资源使用效率更高;
  • 为上层业务提供开放的北向API接口,降低应用层的开发难度。
  • 基于容器架构实现多算法集成、促进算法生态体系发展

在全国范围内,视频云服务的探讨中由广东省公安厅提出的智慧新警务视频云赋能工程就是最具说服力的视频云服务发展探讨。

广东省公安厅视频云赋能工程建立以全省视频图像为主、多种资源关联叠加的视频图像资源服务体系。视频云实现视频、人像、车辆、门禁等信息的采集、汇聚、解析、关联和融合,为各警种、各地市、各基层实战部门提供一个资源共享、能力开放、安全可控、实战支撑为一体的视频云大数据平台。

视频云赋能工程主要是针对基层对于视频应用普遍存在的“看不全、看不到、不好用、用不深”等关键问题,建立一个以全省视频图像资源智能化应用的支撑服务体系,将视频图像智能化应用能力赋予全警。

科学规划,合理布建。首创视频监控时空大数据选址规划模型,利用4大门类10亿余条数据,精准推导出广东省视频监控及卡口布建位置和数量,视频选点以“数据说话”,转变以往“拍脑袋”的建设模式,推进全省重点区域视频监控与治安卡口全覆盖、无盲区,确保“人过留影、车过留痕”。

星环结合,扁平应用。率先应用“横纵结合、自动选径”的星环模型,全省视频监控融汇为扁平化的资源池,解决以往视频建设各自为政、自主规划导致的视频跨地共享难题,全省民警无论身在何处,即可实现“一点发起、全网响应、全面共享”。

AI助力,提升效能。创新提出多算法集成框架,集成国内外先进的各类算法,确保视频云能够更精准提取每一帧图像中的人、车、物等特征信息,从以往“靠人看”升级为“智能看”,区域内人员轨迹可感知、身份可核查,为公安“打防管控”工作赋予新能力。

三大功能特色:

  • “全面看”——全省视频图像资源一体汇聚、全省共享。提取每一帧画面里面的行人特征(人脸、着装、行为特点)、车辆特征(车牌、品牌型号、颜色)以及物品等信息。视频云作为“全省一片云”的视频网域,按照“1+21”布局进行规划建设,解决全省视频图像信息资源数据孤立分散等问题,实现全省范围内多维数据的跨系统、跨区域共享。
  • “自动看”——高算力、多算法、千亿级图片秒级检索。解决民警快速从海量视频找线索的难题,解决当前视频图像内容分析和视频追踪以人工主观判断为主、简单视频分析为辅的低水平应用现状,实现视频图像内容的智能解析、识别、布控、检索和多算法融合管理。
  • “关联看”——视频图像资源与警务大数据资源的碰撞分析。将视频图像资源与警务大数据资源融合一体、统一应用,突破集中于人脸比对、图片检索的独立应用模式,实现“图案关联”、“人脸、手机、车辆等动态轨迹”多轨合一。

视频云是视频资源及数据的采集汇聚、结构化解析、分析挖掘与能力开放共享平台,主要特色包括:对接视频门禁与互联网停车平台获取小区人车进出数据,与人脸卡口、车辆卡口构建完整的防控圈,解决人车目标“最后一公里”问题;构建异构计算资源池,实现不同业务场景下异构资源的灵活配比与编排调度,提升资源利用效率;建成全省智能算法仓库,实现多算法、多版本的共存和融合,各地市择优应用,并探索按使用计费;构建“1+N”已知身份人脸库,持续采集鲜活照片,提升重点人员身份确认的准确性和有效性;建设一个开放的视频大数据服务能力平台,把视图数据共享、视图解析、视图大数据分析等能力演进到云上服务。

视频云服务的发展呈现出围绕场景提供应用,围绕算法提供能力,围绕数据提供服务的趋势。这些场景不断延申到公共安全行业的其他细分市场、这些算法不断提供硬核的产品形式,发展自主可控算法集成度高的芯片,围绕数据提供数据生产者和消费者的各种数据服务,接入服务、感知服务、分析服务、汇聚服务、计算服务、建模服务、存储服务等。视频云服务在智慧城市领域已经成为关键重要的赋能服务应用,是构建社会安全立体化、行业管理效率化、民生服务智慧化的重要城市资源要素,下一步随着5G的大规模商用,低延时高带宽的网络信息高速公路的建立,视频云服务会诞生更多的杀手级应用场景,形成新一轮的核心赋能输出能力,在未来的智慧城市中提供有温度更贴近民生、有思想,有力量的视频云服务,实现智慧城市的全息的刻画、AI赋能识别技术达到深刻的洞察,各行各业智慧的赋能。

猜你喜欢

转载自blog.csdn.net/jaminwm/article/details/119675969