一级视频云存储技术方案

1一级视频云存储系统设计1.1一级网络视频云存储概述本项目采用华为网络视频云存储VCN3000设计一级视频云存储子系统.采取分布式直接存储，集中管理的方式，针对摄像头视频存储硬件采用针对视频存储优化的网络视频存储和磁盘阵列，所有的存储设备部署在各辖区运营商机房(六个),前端摄像头采用标准的H.264编码RTP流，直写到网络视频存储中。华为网络视频云存储VCN3000采用由管理平台、IP网络,通过虚拟化、云结构化和高精确视频直接存储模式。运用负载均衡、对象存储等技术，结合视频、图片数据特点，面向应用，满足视频监控业务高可靠性、不间断的海量存储需求。采用分散存储技术加速大数据智能分析快速提取和分析效率。华为网络视频云存储VCN3000系统使用存储虚拟化技术针对海量存储应用需求，为用户提供透明存储构架、高可扩展性的云管理存储服务。在云管理存储系统中将信令与业务承载码流相分离，云管理服务器只处理控制信令而不处理视频数据，实时视频数据直接写入到云管理存储物理存储节点，无需中间环节。视频云管理存储管理软件在市局监控中心以集群方式进行部署，实现全市所有监控点和所有云管理存储物理设备的统一管理。视频云管理存储系统中，IPC直写存储设备，采用云管理方案解决云管理存储管理单节点失效问题，利用负载均衡技术充分利用各存储节点的性能。云管理存储系统采用统一接口与视频管理平台对接，降低平台维护和用户管理复杂度。华为网络视频云存储VCN3000支持基于GB/T28181标准实现与各级标准平台（符合GB/T28181规范的标准平台）间的互联互通，平台之间通过信令安全路由网关进行信令对接，在信令的控制下媒体通过媒体服务器互联。该体系构架可以支持上下级级联、平级级联以及监控报警专网与公安网的互联。GB/T28181标准平台互通示意GB/T28181标准支持的功能包括：注册、实时视音频点播、设备控制、报警事件通知和分发、设备信息查询、状态信息报送、历史视音频文件检索、历史视音频回放、历史视音频文件下载、网络校时、订阅和通知等。VCN3000基于GB/T28181标准，通过外域的方式接入第三方平台，可实现级联、互联等多种组网方式。华为网络视频云存储VCN3000基于云计算技术，组成网络视频云存储系统，采用统一规格的云存储节点构建，系统运行不依赖独立服务器。视频存储设备集中部署在公安机关控制中心，实现对存储资源统一分配、统一管理、集中部署。1.所有空间虚拟化统一管理，按需智能配置；2.在线动态扩容（性能和容量），扩展透明，对应用无影响；3.IO全局动态负载均衡；4.采用监控专用的流媒体云存储数据管理结构，直接存储流媒体视频数据，并执行流媒体的转发和历史录像检索回放；5.整体业务持续运营，故障自动切换；且具有快速修复能力；6.和监控平台应用的高效整合，支持高效录像、检索、回放等；7.高密度、低功耗设计，节省机房空间，节约系统能耗；8.采用针对视频业务的存储优化，提升提供服务能力，降低维护成本。1.2华为网络视频云存储VCN3000主要架构计算资源池管理：通过运算整合，实现整体计算资源统一管理，灵活配置。系统智能运算，根据业务自动分配系统资源。存储资源池管理：通过存储整合，实现存储资源的统一管理，自动部署，合理利用，进行自动发布与回收。视频云管理软件：基于Linux操作系统平台开发，可内嵌在网络视频存储内运行，也可安装在独立服务器运行。云存储节点设备完全对等部署，无差异。经过虚拟化后，所有的应用云存储节点会虚拟化为一台巨大的应用云存储设备。在肉眼上，人们看到的是机柜中整齐划一的单一品种设备。在逻辑上，成千上万的摄像机，以及各种各样的后台软件，看到的只是一台设备。这台大设备拥有海量的接入、存储以及转发等能力。集群采用一级索引管理，能根据用户的各种查询条件(录像类型、锁定类型、报警类型、时间段等)进行快速定位。无论是传统的磁盘阵列方案还是新颖的数据云存储方案，无可避免的采用了“N+M”的部署方式。如右图所示，N即是工作设备，M则是备份冗余设备，当某台工作设备故障倒下后，冗余设备可以顶替上去工作。如果控制信令的调试服务器损坏，则整个系统也无法调度，业务迁移。而N+0云化模式不再需要冗余设备，如左图所示，所有设备都是工作设备，而且均对等部署没有主次之分。当其中一台设备故障时，云内其余节点设备共同分担故障设备的业务工作。故障设备上的摄像机会立即切换到其它正常设备上，最大限度地实现了设备故障后业务不中断的根本需求。1.3华为网络视频云存储VCN3000主要功能1.3.1集群管理特性:业务周期管理：支持包括创建、运行、添加节点、删除节点、解散、业务分配的周期管理，支持web方式的管理。动态扩展：支持集群的可控伸缩，支持集群节点的添加和删除操作，可根据业务变化动态调整集群总的业务处理能力和存储容量；管理员可根据业务需求解散集群，解散后集群中各节点失去集群保护功能，但仍能继续承载业务，不影响用户使用。视频云管理存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。系统管理：支持对物理资源和集群的监控功能，支持对集群工作状态的实时显示。负载均衡：支持负载均衡的策略执行；支持当物理机出现资源紧张的情况时，自动进行业务迁移，以平衡物理资源的负载。远程配置：通过web管理界面，用户可完成节点的初始化配置实时监控：支持对物理机内存、CPU、网络等资源使用情况进行实时监控；支持存储池容量、状态实时监控，磁盘即将失效预告警；支持传感器实时监控，包括如CPU温度，磁盘温度，环境温度，风扇转速，机器功耗；支持对物理机在线、下线状态监控；支持对系统关键进程的状态监控；支持以上所有资源超限制使用或异常时的告警。备份恢复：支持集群全数据备份，包括集群配置、业务配置、录像数据。系统安全：当集群本身出现故障时，基本录像、预览、回放、下载功能不受任何影响；支持物理机故障预测（如：日志爆发，进程重启，磁盘即将失效等），从而将业务先于故障提前迁移并告警，最大限度减小数据损失。前端接入:集群前端采用虚拟IP技术，对外提供统一的入口IP形式，将集群的访问在集群中根据各种算法进行分摊，降低单个节点的访问压力。1.3.2视频存储与回放功能视频录像:主要包含客户端本地录像、平台录像及前端录像，平台录像分为事件录像、定时录像和手动录像三种录像模式。系统可以按照用户制定的计划保存前端设备采集的录像数据，录像类型、录像头由用户指定，存储开启相关的资源。缓存补录：断网等条件下，前端设备能够将本地保存的数据补录到系统中。华为视频监控平台产品通过录像缓存补录技术，实现网络异常情况下的视频数据临时存储在IPC或编码器内置存储介质中，有效避免了网络中断造成的视频数据丢失，保障视频数据的完整性。缓存补录技术示意动态修订录像类型：前端采集视频数据过程中，按报警类型可以修改录像的类型，修改后采集的视频数据即时保存到系统中，并在数据保存类型上得到反映。周期覆盖：采用编码器直写存储的方式工作，系统保存的历史录像数据可以按照指定的循环覆盖策略进行删除。数据恢复：支持分钟级索引快速重构，满盘配置状态下系统在30分钟内完成索引恢复；视频检索:用户可以按监控点编号、录像类型、时间组合、锁定、标注等条件查询录像数据。视频回放:用户可以在客户端上点播回放监控系统录像，也可以将系统录像文件下载到本地PC机上（录像文件格式为.mp4），然后使用通用播放器进行回放。系统利用对视频进行以时间、位置、告警类型、身份信息、关联设备和人工标签进行标记，通过分类查询机制，可以实现利用上述任何条件组合在海量数据中的完成秒级查询；支持根据编码器名称以及时间段、录像类型对录像数据进行回放。支持根据编码器名称以及时间段对录像数据进行回放时间定位。应支持快放、慢放.支持倒序回放。支持I帧回放。支持手动停止回放。视频下载:支持根据编码器名称以及时间段对录像数据进行下载。应支持断点续传。视频锁定:支持指定的录像片段进行锁定，锁定后的数据不被循环覆盖掉。应支持已锁定的录像片段锁定时长到期自动解锁。视频删除:系统管理员授权后可以根据监控点编号、录像时间、录像类型删除视频录像。周期存储:按策略支持按周期、容量进行录像数据的周期覆盖式存储。1.3.3运维管理管理功能：可实现配置管理、故障管理、性能管理、业务管理、日志管理、安全管理、存储管理、资源管理；时钟同步功能：自动向NTP（网络时间协议）服务器进行时钟同步的功能；前端接入：系统支持编码器/网络摄像机主动注册，支持跨NAT部署；实时监控：支持对物理机内存、CPU、网络等资源使用情况进行实时监控；支持存储池容量、状态实时监控，磁盘即将失效预告警；支持传感器实时监控，包括如CPU温度，磁盘温度，环境温度，风扇转速，机器功耗；支持对物理机在线、下线状态监控；支持对系统关键进程的状态监控；支持以上所有资源超限制使用或异常时的告警。标准协议对接支持标准的SNMP协议对接，采用Mibs文件。1.3.4接口功能云认证接口:视频云管理存储对外提供登陆、认证接口，保证系统安全性。系统支持用户管理、用户组管理、权限管理和用户查询与签退。用户管理详细功能说明功能分类详细功能用户管理支持用户的添加、修改、删除，用户添加在指定的组下，支持用户优先级划分。用户组管理支持用户组的添加、修改、删除，用户组添加在指定组织或父用户组下。支持按用户组对组内用户进行批量权限管理。最大支持三层用户组。权限管理可通过角色为用户指定权限，客户端根据不同的权限展现不同的界面。用户可以选择对哪些前端设备有权限。提供角色功能，可以为角色配置权限，作为权限模板赋予指定用户。支持的权限包括：功能分类详细功能−支持用户具备视频剪辑，视频剪辑导出权限。−支持用户具备快照预览/下载权限。−支持用户具备手动录像权限。−支持用户具备锁摄像机的权限。−支持查询录像空间和录像计划的权限。用户会话查询与签退支持管理员查看在线用户信息，并支持签退在线用户。视频存储接口:提供统一的视频存储相关的接口：视频写入、视频检索、视频下载、视频回放等。视频管理接口:提供统一的视频管理相关的接口：视频锁定、解锁、删除等。存储空间管理:提供统一的图片管理相关的接口：创建/删除/修订资源池。1.3.5系统功能远程配置:通过web管理界面，用户可完成节点的初始化配置。可靠性:系统应提供7*24小时不间断的服务，具备负载均衡和集群功能,当集群本身出现故障时，基本录像、预览、回放、下载功能不受任何影响；支持物理机故障预测（如：日志爆发，进程重启，磁盘即将失效等）.不会因系统内部分服务器宕机，造成系统服务中断。管理服务器采用集群方案保证系统的稳定性。单节点故障不影响系统业务的持续性。可用性历史视频图像的点击回放的延迟时间小于1s，图像无卡顿现象，播放清晰、流畅。视频数据检索秒级响应:系统利用对视频进行以时间、位置、告警类型、身份信息、关联设备和人工标签进行标记，通过分类查询机制，可以实现利用上述任何条件组合在海量数据中的完成秒级查询安全性云管理存储子系统管理需采用权限、密码验证机制可维护性:支持集群的可控伸缩，支持集群节点的添加和删除操作，可根据业务变化动态调整集群总的业务处理能力和存储容量；管理员可根据业务需求解散集群，解散后集群中各节点失去集群保护功能，但仍能继续承载业务，不影响用户使用。视频云管理存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。系统支持在线扩容，云管理存储集群规模调整支持不中断业务模式下进行系统升级1.4华为VCN3000视频存储设备参数介绍VCN3000是华为视频监控存储的核心网元，具备大容量、高可靠、高性能、高安全性、高扩展性和开放易集成等特点。图片1VCN3000正面图图片2VCN3000背面图技术指标规格名称规格描述操作系统与协议SuseLinuxEnterpriseServer11SP1,64-bit,windows;