农业物联网视频监控系统介绍

农业物联网视频监控系统介绍（鸿控原创） 

2020-02-07 21:14

1.  前言

随着安防视频监控系统网络化和高清化的变化，尤其是平安城市、基于物联网的智慧城市的建设以及各个行业应用的深度挖掘，海量级的城市规模和跨地域的监控系统对存储的容量、扩展性、稳定性、可靠性、管理型都出现更强烈的需求。

1. 面对百PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。云存储通过云计算、虚拟化等关键技术能够突破这些性能瓶颈，实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。 设计原则
2. 针对本次工程的实际情况,充分考虑系统建设的建设发展需求，以实现存储资源统一管理、高效应用、系统规模平滑扩容为目标，以“先进、可靠、成熟、开放、经济”为总体建设原则。先进性原则
3. 在系统总体方案设计时采用业界先进的方案和技术，以确保一定时间内不落后。选择实用性强产品，模块化结构设计，具备动态扩容能力的系统，既可满足当前的需要又可实现今后系统发展平滑扩展。可靠性原则

数据是业务系统核心应用的最终保障，不但要保证整套系统能够7X24运行，而且存储系统必须有高可用性，以保证应用系统对数据的随时存取。同时提供可靠冗余策略，对应用数据进行更加安全的数据保护，降低硬件故障、网络异常等给系统造成的数据丢失风险。

1. 在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有效的安全访问控制，实现故障屏蔽、冗余重建等智能化安全可靠措施，提供统一的系统管理和监控平台，进行有效的故障定位、预警。成熟性原则
2. 为确保整个系统能够稳定工作，软件平台将使用先进、完善、易于管理和稳定可靠的云存储资源管理系统，对于与应用的集成接口，提供高效稳定统一的访问接口。开放性原则
3. 开放高性能的应用API编程接口，提供人性化的应用和管理界面，以满足用户需求。充分考虑系统的升级和维护问题，支持在线升级和维护。系统的维护和升级操作由系统管理员即可完成。经济性原则

现有业务系统存储数据量较大，且随着监控高清化的趋势，以及建设规模的扩大，存储数据的规模扩展较快。因此在建设系统存储架构时，应从长远的角度考虑，建设一个长期的存储架构，除了可以应对存储硬件设备的升级速度外，还必须考虑到对前期存储设备的投资保护，在保证不断提供功能和性能提高的同时，存储架构在较长的时间内能够保持相对稳定。结合先进的云平台技术架构优势，根据本次项目建设的实际容量需求设计，同时充分考虑应用发展需求，实现系统可弹性在线平滑升级。通过软件实现在较廉价普通服务器上实现高度容错，同时能够保持较高的磁盘利用率，保证在较低冗余度的情况下实现数据的高可靠，大大节约和降低系统的建设成本和持有维护成本。

1.  整体设计 技术路线

1. 视频云存储在系统设计中，采用的核心技术如下： 超融合设计
2. 大华视频云存储围绕着视频、图像、结构化数据进行数据的采集、存储、转发、分析，运用分布式的云架构，并结合大华对安防业务的深入理解，提供更为丰富的安防特性。利用超融合基础架构，整套智微云存储具备计算、存储、流媒体、视频和卡口接入能力，提供满足安防行业需求的一整套视频云解决方案。 微服务架构

传统的单体系统将全部功能打包在一起作为单个单元或应用程序。 这个单元可以是JAR、WAR、EAR，或其他一些归档格式，但其全部集成在一个单一的单元。对应用程序做任何细微的修改都需要将整个系统重新构建、重新部署。单体式系统在不同模块发生资源冲突时，扩展将也会非常困难，且任何一个模块中的一个bug，比如内存泄露，将会有可能弄垮整个进程。传统单体系统扩展困难，可靠性很低，最终，敏捷性的开发和部署变的无法完成。

视频云存储采用微处理结构模式解决了上述问题，微服务是一种架构风格，一个大型复杂系统由一个或多个微服务组成。系统中的各个微服务可被独立部署，各个微服务之间是松耦合的，每个微服务仅关注于完成一件任务并很好地完成该任务，在所有情况下，每个任务代表着一个小的业务能力。每个微服务都可以单独部署及重新部署而不影响整个系统，这使得服务很容易升级。这样分布式的微服务架构使得系统具备更强的敏捷性、高性能和可扩展性。

1.  双网络设计

分布式系统由于数据分散存放在不同的节点，因而，出现磁盘故障或者节点故障时不可避免的会进行跨节点的数据重构。当追求重构速度时，节点间的数据交互压力很大，为了避免网络拥塞，拖慢整个系统，需要将业务网络和存储网络分离。业务网络和存储网络分别使用不同的物理网卡以达到从网络上相互隔离的目的，可以根据用户现有网络状况选择千兆和万兆连接。前端IPC接入的数据流走单独的业务网络，后端数据离散流和控制信令流走单独的存储网络，以满足不同场景用户的组网需求。无论哪种组网，系统中所有节点网络都是冗余，任何单一网口故障或者单一交换机故障均不影响系统使用。

1.  X86服务器架构

为解决建设过程中海量非结构化数据安全弹性的存储，采用分布式系统主要出发点在于将多台X86服务器虚拟化成统一的存储资源，实现存储、计算资源的虚拟化，然后借助于统一的接口开放给上层应用使用和调度资源。故而讲究将多台性能一般的服务器组成大的资源池，一般采用单控制器，支持X86架构的服务器组成。

1.  产品组成结构

1. 智微云存储支持2台节点起步，最大6台节点，超过6台节点增加元数据服务器实现横向扩容，以最小的代价组成从前端接入到存储转发与一体的整体解决方案。 产品硬件形态 DH-CSS7224E-S

带元数据管理服务和存储服务，既可以作为管理也作为存储节点使用，最少2台起。 型号DH-CSS7224E-S 外形规格 4U 标准架式服务器 主处理器 英特尔Skylake 4核CPU 内存DDR4 ECC内存，整机标配32GB，整机最多可扩展至64GB 硬盘 标配

内置1块2.5英寸SATA 1TB企业级机械硬盘

内置1块2.5英寸SATA 480GB数据中心级别固态硬盘

最大支持24个3.5"的SATA硬盘或者SAS硬盘 网卡 8个10/100/1000Mbps以太网口;

1.  负载均衡模式 电源冗余 1+1 550W CRPS冗余均流电源 电源 AC100V~240V，50~60Hz，支持热插拔 整机功耗 最大功率430W,稳定功率280W(满配硬盘) 最大功率120W ,稳定功率105W(无硬盘) DH-CSS7124S-VR/DH-CSS7124S-ERD外观结构图

负责提供存储空间容量和数据流服务；

提供磁盘级的负载均衡：DN根据磁盘的IO负载，空间容量等情况，自动选择负载最轻的磁盘读写新的数据文件；

采用Erasure Code冗余方式实现容错，数据冗余分布存储在不同的数据节点上；

型号 DH-CSS7124S-VR DH-CSS7124S-ERD 外形规格 4U 标准架式服务器 4U 标准架式服务器 处理器 英特尔IvyBridge 4核CPU 英特尔IvyBridge 4核CPU 内存 16GB DDR3 主频1333MHz 16GB DDR3 主频1333MHz 硬盘 标配内置 1块 2.5英寸 SATA 150G 固态硬盘

最大支持24个2.5"或3.5"的SATA硬盘或者SAS硬盘 标配内置 1块 2.5英寸 SATA 150G 固态硬盘

最大支持24个2.5"或3.5"的SATA硬盘或者SAS硬盘 网卡 8个10/100/1000Mbps以太网口;

负载均衡模式 8个10/100/1000Mbps以太网口;

1.  负载均衡模式 电源 1+1冗余电源；400W；100V~240V，47~63Hz，支持热插拔 1+1冗余电源；400W；100V~240V，47~63Hz，支持热插拔 功耗 不大于400W（含硬盘）， 不大于200W（不含硬盘） 不大于400W（含硬盘）， 不大于200W（不含硬盘） 配套平台 9系平台 8系平台 智微云存储系统架构

1. 智微云存储采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。为用户提供从前端数据采集，存储，转发，于一体的综合解决方案. 数据接入层-统一设备管理

统一设备管理

1. 由于前端设备的各异性，同时系统又要负责管理各厂商生产的各种类型的前端设备，登陆到设备，从设备获取码流，向设备下发配置/命令，订阅设备产生的告警、事件等等。然而，不同厂商的前端设备往往需要相应的协议才能接入，同时一些标准的接入方式，如国标、Onvif也需要支持，考虑可以方便地扩展新的厂商、新的设备类型。视频云存储接入集群系统可以屏蔽各种前端设备之间的协议上差异，对其进行一层抽象产生逻辑设备，并向上提供一种统一的管理这些逻辑设备的标准接口，以此实现上层业务逻辑与底层设备具体协议之间的解耦。 数据接入层-统一流媒体技术

统一流媒体技术

由于接入服务集群面对众多的前端设备，所面临的问题不仅仅是各种协议不同所带来的统一接入问题，还需要能够支持各种前端设备所采用的各不相同的媒体打包格式。例如，国标接入协议明确要求设备端将码流封装为PS流，我司设备在使用二代协议接入时设备端只提供DH流，此外RTP流、RTPoverRTSP等码流封装格式也被广泛使用。

视频云存储接入服务集群提供对前端各种码流进行封装格式转换（非编码格式转换）的能力，将前端各异的码流封装格式统一为我司标准的大华流，其他集群（如存储集群）可以用我司标准的RTSP方式从接入服务集群获取媒体流。

1.  视频图片直存

基于统一设备管理技术，视频云存储内置了分布式流媒体和图片服务能力，支持IPC、卡口相机、电警相机以及微卡口的直存服务，视频云提供了完整的设备/通道的添加、删除，配置管理一系列的业务逻辑和流程。

1. 视频云存储每个节点内置视频接入和卡口接入微服务模块，利用模组化的方式组合出高可靠、高性能的分布式接入服务集群，视频云微服务架构设计理念通过小而美的业务拆分，通过分而自治来实现复杂系统的优雅设计实现，可以轻松实现微服务的快速迭代、升级、扩展。 EFS分布式文件系统

分布式文件系统(EFS)，利用多节点并行处理技术架构提供海量非结构化数据存储能力。主要包括元数据服务集群负载均衡模块、数据节点内磁盘负载均衡模块、高可靠数据分布策略管理模块、数据节点的磁盘管理模块、智能恢复模块、一致性保护模块、用户配额模块、系统安全管理模块等构成。

EFS实现数据流和控制流分离

数据存储节点(DN)负责提供存储空间容量和数据流服务，使得存储空间的增长和数据流服务能力增长相匹配，为海量存储提供基本保障.

元数据管理服务器(MDS)负责控制流管理和服务.

EFS通过集群技术，将众多存储服务器组建成一个集群，实现了Scale-out（横向扩展）方式的扩展，具备提供海量存储能力；

支持自身的配额管理，可以针对bucket和用户指定空间大小，当用户实际使用空间接近阈值时，报警提示；

负载均衡：集群内部，自动根据各存储节点的IO负载、空间容量、CPU、内存负载等因素，调度数据流向，实现IO读写的负载均衡。

生命周期管理：生命周期模块会自动感知云存储的状态，包括用户空间使用情况以及用户/bucket的生命周期/文件信息，然后根据生命周期策略对需要删除的文件进行删除。

1.  系统特性 分布式云存储系统管理设计 统一存储空间管理

统一命名空间管理是分布式文件系统的一个重要功能，只有提供统一命名空间管理，才能将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、高可共享能力。一个具备一定规模的存储集群，随时都可能发生磁盘、存储服务器硬件等方面的故障，统一命名空间管理功能实现了将整个集群统一视图功能，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性。同时，存储的扩展仅限存储内部，而不会影响到系统与业务系统的接口，也保证了存储空间内数据的高共享能力。

系统通过分布式集群技术，将所有存储节点的存储空间统一管理，资源池化成一个统一的存储空间池，实现了将整个集群统一视图功能，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性。同时，系统保证所有文件的文件名在统一命名空间内，实现文件访问的统一命名空间，保证了存储空间内数据的高共享能力。

1. 只需要获得存储集群的访问IP，以及文件所在bucket名称和文件名，即可通过系统客户端在其他主机上访问这个文件。这就实现了分布式文件系统内数据的高可共享能力。 海量数据存储

传统存储服务器由于主机的性能、散热、最大支持盘位数、管理开销与复杂度等方面的限制，所能支持的存储能力都比较有限，而无法适应海量存储需求。而Scale-up的扩展方式显然无法突破其限制，且性价比较低。而本分布式文件系统通过集群技术，将众多廉价存储服务器组建成一个集群，实现了Scale-out方式的扩展，具备提供海量存储能力，成为一种性价比非常高的选择。

1. 系统将数据存储和访问等数据业务流和系统管理、数据管理等相关的控制流分离。数据存储节点负责提供存储空间容量和数据流服务，使得存储空间的增长和数据流服务能力增长相匹配，为海量存储提供基本保障。而元数据管理服务器负责控制流管理和服务。由于控制流流量相对有限，元数据服务器所能提供的存储空间，仅受限于服务器的内存量。 云池配额管理

通过存储虚拟化技术，各种云存储设备被虚拟化成一个统一存储池，提供给多个系统来使用。通过存储池管理，可以为每个系统或者每个用途划分独立的存储空间来使用。比如可以给视频存储，图片存储，视图库各自划分一个空间，也可以细化到为每个摄像头划分一个空间，可以灵活配置。

存储池用Bucket来表示，是分布式文件系统内的一个存储文件的容器，系统中每一个文件，都必须包含在一个Bucket中，Bucket不能嵌套，即Bucket内不允许再次创建Bucket。Bucket通过全局唯一名称标识。扁平的系统结构，使得云存储提供海量存储、线性扩展能力成为可能。这样的扁平结构成为众多分布式文件系统的选择，用户可以创建Bucket，删除Bucket，按照范围罗列Bucket内的文件。Bucket也可以理解为一个空间独立的目录，比如监控领域可以按照摄像头来设置Bucket，给每个摄像头指定相应的存储空间配额。

1. 存储空间满后，新的数据无法再写入，用户可以手动删除文件，有些应用则需要自动完成空间回收功能。流媒体SDK支持空间的自动回收，可以配置两种策略，一种是按照时间删除旧的数据，一种是按照空间删除旧的数据。第一种方式一般是把多个摄像头的数据存在同一个存储池，初始的时候计算好空间需要，给存储池配置合适的空间，应用层定时删除旧的数据，由于摄像头码流可能会变化，特别是报警录像需要的存储空间是未知的，采用多个摄像头共享存储池的方式可以充分利用存储空间，不容易出现空间浪费。另一种按照空间删除旧数据的策略适合恒定数据产生速度，或者按照空间收费的场合。云池配额管理