华为平安城市视频监控存储解决方案

华为视频监控存储解决方案白皮书IT存储解决方案开发部2014年03月08日版本1.0华为视频监控存储解决方案旨在帮助客户构建高可靠、低成本的视频监控专用存储基础架构。方案能够显著降低用户的总体拥有成本、提升效率和提高业务灵活性。本文对华为视频监控存储解决方案进行概述，介绍了华为视频监控存储方案的逻辑架构和主要亮点，并展示了关键测试结果。HuaweiProprietaryandConfidentialCopyright©HuaweiTechnologiesCo.,Ltd.2华为视频监控存储解决方案白皮书目录1方案概述..........................................................................................................................................31.1方案背景.........................................................................................................................................................31.2方案简介.........................................................................................................................................................42方案架构设计..................................................................................................................................52.1方案架构.........................................................................................................................................................52.2方案亮点.........................................................................................................................................................63关键测试结果..................................................................................................................................83.1视频接入能力.................................................................................................................................................83.2流量处理能力.................................................................................................................................................83.3图像恢复技术.................................................................................................................................................93.4设备统一管理...............................................................................................................................................10HuaweiProprietaryandConfidentialCopyright©HuaweiTechnologiesCo.,Ltd.3华为视频监控存储解决方案白皮书1方案概述1.1方案背景根据马斯洛理论，生命与财产安全，是人类最基本、最原始的诉求，如何不断提高对公民与企事业单位的人身与财产安全的保护力度，一直是人类科技与文明不断追寻的责任与目标。随着视频成像与数字网络技术的不断发展与成熟，基于数字化的联网视频监控系统的出现，极大地丰富与提升了责任部门对于公民与企事业单位人身与财产安全的保护与防范能力。随着数字化革命的不断深入，以及城市化规模的不断扩大，视频监控系统朝着“高清化、网络化、智能化”的方向不断前行。今天的视频监控系统，已今非昔比，对于承载了海量非结构化视频数据的存储系统，同样也提出了更高的要求。高清化高清化，就是要看的更明。这就意味着更多的像素点位，意味着更丰富的图像信息，同时，也意味着更多、更大的数据当量。如何适应高清视频数据流量的冲击，这对存储系统的数据处理能力提出了新的考验。网络化网络化，就是要看的更远。随着城市规模的不断扩大，需要被监控的地方越来越来，接入网络的监控点位也越来越多，为了降低整体运维成本与图像数据的资源共享，海量的视频数据汇聚集中。如何集中保存得下巨大规模量级的数据，同时又不希望成本线性增长，这对存储系统的容量及扩容能力提出了新的考验。智能化智能化，就是要想的更多。众所周知，在以往，视频监控图像数据有超过90%为无用数据，海量数据的汇集，不可能再依靠不断增加视频查阅的人员的数量来遍历图像数据以从中获取有用信息；同时，如何将90%的无用数据变废为宝，如何提高数据筛选和数据价值，这对存储系统的智慧提出了新的考验。HuaweiProprietaryandConfidentialCopyright©HuaweiTechnologiesCo.,Ltd.4华为视频监控存储解决方案白皮书1.2方案简介华为视频监控存储解决方案致力于为客户提供经济、安全、高效和全面未来的视频监控图像数据存储解决之道。根据视频数据的流动方向，华为将整个视频监控存储系统定义为视频录像存储系统、视频分析存储系统、视频归档存储系统等三个组成部分。在对存储规模需求巨大的视频监控录像领域，华为始终在不断探寻与优化最佳的可靠性价格比。通过不断提升硬盘资源利用率和降低对高规格硬盘类型的依赖，从而寻求显著降低存储系统客户拥有成本的途径；同时，华为将丰富的IT技术经验与积累引入到视频监控录像领域，致力于通过IT技术手段不断提升视频监控业务可靠性，保障业务与数据安全，为客户来去价值。视频智能分析应用，是目前视频监控领域非常新兴和前沿的领域，如何挖掘海量录像视频数据的价值，提升数据利用率，就是提升客户视频监控投资的价值。大量的视频监控智能分析技术和应用不断涌现，并逐步实现商用。高性能、高并发、低时延的需求特性对传统存储系统提出挑战。华为在视频监控分析存储领域提供基于分布式云计算架构的高弹性解决方案，计算存储一体化，性能和容量的线性扩展，将为客户解决性能与时延的瓶颈问题。信息与数据除了使用之外，需要一个归宿，视频监控归档存储就是为需要长时间归档保存的关键重要视频图像数据量身而制。三五年，甚至更长的数据保存周期，传统存储在资源利用、可靠性、节能等诸多方面捉襟见肘。华为视频监控归档存储系统，自识别冷热数据，采用不同规格与成本的硬盘存放不同热度的信息；同时，重复数据删除技术将极大提供硬盘存储空间的有效利用率；智能休眠等节能技术的应用将大幅降低长时间运营功耗。华为视频监控归档存储解决之道，将使得客户在视频归档环节的CAPEX（CapitalExpenditure，固定资本）和OPEX（OperatingExpense，运营成本）得到显著降低。HuaweiProprietaryandConfidentialCopyright©HuaweiTechnologiesCo.,Ltd.5华为视频监控存储解决方案白皮书2方案架构设计2.1方案架构Figure图1华为视频监控存储解决方案逻辑架构图视频录像存储华为视频监控存储解决方案通过构建业务集群和精简配置的方式，在不折损系统整体可靠性，以及不提升客户成本的情况下，为客户提供经济、安全、高效的视频录像存储解决方案。SDS即软件定义存储，华为通过在存储硬件层面构建虚拟化集群的方式，支持上层视频监控应用软件低成本构筑业务集群，为上层业务系统稳定运行保驾护航；同时，利用虚拟机的工作特性，将存储系统软件与监控业务软件进行逻辑分离，支持计算资源按需分配与共享，便于提供系统资源利用率与故障隔离和故障快速定位的实现。HuaweiProprietaryandConfidentialCopyright©HuaweiTechnologiesCo.,Ltd.6华为视频监控存储解决方案白皮书在维持存储极低的硬盘故障率的情况下，通过对磁盘视频流式数据业务IO模型的深入研究，通过存储系统独特优化的软硬件技术，在支持RAID模式下采用视频监控专用硬盘，甚至桌面级硬盘的同时，充分降低客户拥有成本。持续优化系统性能与系统弹性，提供高于业界水平的视频录像接入能力，提供更高密度的录像存储硬件单元，提供超过100PB的单一系统扩展能力。视频分析存储采用分布式云计算架构构建的视频分析存储系统，提供HDFS文件系统接口，采用计算存储一体化高性能节点，满足视频分析时的高并发、高处理的文件共享需求。高弹性的系统架构，可根据业务需要，随时增减节点数量，线性调节视频分析存储的性能和存储空间资源。视频归档存储视频归档存储系统可自识别冷热视频数据资源，对长时间归档后未使用的历史图像数据硬盘载体进行休眠，降低系统运营功耗，降低磁盘因长时间高速运转所带来的故障发生概率。重复数据删除，对重复归档的视频数据，视频归档存储能自动识别，提供重删功能，提高存储空间利用率，保护客户资产收益最大化。2.2方案亮点经济支持包括视频监控专用盘与桌面级硬盘在内的全系列硬盘，降低用户整体拥有成本40%以上。在不带扩展硬盘框的情况下，单节点支持4U36盘位高密设计，单节点设备提供更大存储容量，提升机房空间利用率50%以上。单系统最大支持超过40PB有效存储空间，安全构建业务+存储系统双集群模式，实现业务“零”终端，降低业务运行风险；HuaweiProprietaryandConfidentialCopyright©HuaweiTechnologiesCo.,Ltd.7华为视频监控存储解决方案白皮书SecureRaid技术，引入RAID2.0+技术，实现快速重构，提高重构时间20倍，极大降低RAID失效风险；SecureVedio技术，最大程度保障数据可读，提高有效数据恢复效率90%以上，确保数据安全性。SecureData技术，支持对重点监控区域视频录像数据进行多份备份存储，保障关键视频数据安全可靠。高效单节点设备支持高清视频接入路数超过500路，提升视频接入能力100%；支持HDFS文件系统接口，可与Hadoop分布式云计算平台无缝对接，支持海量视频高效挖掘与分析业务；HuaweiProprietaryandConfidentialCopyright©HuaweiTechnologiesCo.,Ltd.8华为视频监控存储解决方案白皮书3关键测试结果