280个点大厦网络监控存储方案

280个点大厦网络监控存储方案近两三年网络监控发展的很快，我们公司也充分的利了这个机会发展起来的，以前我们做网络监控的人都把精力放在前端网络摄像机或视频服务器的性能和质量上面，而忽略了存储这块，这给工程商在项目运作方面带来了不小的麻烦。小项目还好说，PC主机+硬盘就可以做好，如果遇到上百上千个点了又该怎么办呢？总不能联几十台PC机存储吧，这样不光是机器太多也不利于集中管理深圳市宏天欣科技有限公司2009-9-16第一章系统设计1.1客户现状分析目前规划建设数字化监控，约有280个视频监控点，D1存储格式，数据保存1个月以上。1.2需求分析原监控大多采用DVR存储视频数据，而针对监控数据安全、稳定、大容量、高质量、可扩展等方面的要求，DVR存储系统有如下缺点：数据安全性传统DVR使用IDE硬盘，没有任何数据保护机制，一旦硬盘损坏数据将无法恢复，这样则失去了监控本身的意义。需要架构高安全的SAN存储。高性能由于整个项目监控系统摄像头路数为280路，路数较多，需要同时多路摄像头同时将数据写入存储设备，并且同时有多路服务器或客户端可能读取数据，总的带宽要求比较大，并发访问数量较多，因此对后端存储设备提供较高的性能来满足这种需求。随需扩展一套监控系统在建设初期，出于资金以及建设需要等多方面因素考虑，可能并不会一次性建设完成，这就意味着后期扩容的可能。新建设的存储平台应有很好的存储扩展能力。针对上述分析，在本方案中我们提出采用DVS+IPSAN的存储架构。1.3系统设计原则1、技术领先的原则系统采用的设计方法和技术路线在本行业中处于领先地位，符合网络发展和演进趋势，确保投资的长效性。2、设备一流的原则系统从图像采集、网络传输到中心平台等各关键环节均使用一流设备，确保系统整体运行稳定，满足对图像效果、保密安全、传输速度等方面的需求。3、高度安全的原则考虑到监控的重要性,以及管理和监控的实际需求，必须确保关键图像信息的安全和保密，在设备管理方面，提供各种登录认证模式。4、效果最佳的原则系统建设需要满足大厦对于图像信息的实际需求，更要确保大厦安全监控要求，所以要求视频图像清晰流畅，通过对系统图像、历史数据的调阅，提高大厦整体的应急响应能力。5、便捷实用的原则数字图像实时监视和图像回放查询界面友好，系统安装、使用、维护简便，满足大厦的需求；监控图像质量须满足管理需求。7、扩展性的原则方案设计充分考虑系统以后的发展变化，建设可扩展的、开放的平台，能够对资源进行有效整合，拓展系统功能。8、经济性原则方案在选用先进技术和设备的情况下，通过统筹安排、合理规划，充分利用现有资源，发挥技术和设备的先进优势，降低整体成本，节省资金投入。第二章推荐方案2.1DVS+IPSAN设计概述IPSAN是近些年来新兴的网络存储技术，它希望用TCP/IP以太网替代光纤通道网络。IPSAN的好处在于：使用以太网络，保护了用户现有的投资；以太网系统造价低；以太网是成熟的技术，具有良好的兼容性；以太网络可以扩展到远端，便于系统的做远程的容灾备份；以太网上现有的软件也可以直接使用，例如IPSAN可以直接加上IPsec软件，以达到存储网络加密的目的；千兆以太网络的广泛使用，也使得IPSAN的性能得到提高。总之，采用IPSAN存储网络，可以达到好兼容性和最高的性能价格比。IPSAN使用的是iSCSI协议。iSCSI（InternetSCSI）是一种在Internet协议网络上，特别是以太网上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了IP存储技术拥护者的大力支持。是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。简单地说，iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。2.1.1系统方案架构图2.1.2方案说明本方案中，共分布约280个监控点。前端摄像头把模拟视频信号分两路,一路传输至DVS中，DVS把视频数据编码成IP视频流,通过以太网交换机传输至存储服务器，存储服务器以ISCSI方式将数据存入后端的MacrostorHTX1600QRC磁盘阵列中，每台磁盘阵列通过其两个千兆主机通道与交换机的千兆口相连，采用MPIO负载均衡方式，保证性能及安全性。另一路通过矩阵直接把模拟视频信号显示在大屏。各终端或远程用户通过平台管理服务器可方便调用磁盘阵列中存储的历史视频数据。数据访问流程：视频数据的存储过程，数据流向如下图所示：前端摄像点采集到视频后，通过DVS把数据编码成IP视频流传至存储服务器中，存储服务器中的平台软件把视频流以ISCSI方式把数据存于IPSAN存储。存储系统分析本方案中建议采用MacrostorHTX1600QRC磁盘阵列，MacrostorHTX1600QRC采用高性能、高可靠的控制器，双电源设计架构。控制器采用业界领先的IntelRISC处理器，2个1GbIscsi主机接口支持IPSAN架构，每台MacrostorHTX1600QRC支持高达16块SATAII硬盘，支持Raid0、1、5、6。建议在本项目使用Raid6技术，以保证数据的安全性。MacrostorHTX1600QRC磁盘阵列性能卓越，单台MacrostorHTX1600QRC磁盘阵列能支持300路以上的D1并发数据流的写入，高达2Gb读写带宽,80000个IOPS。本项目中有280路摄像头，为保证性能，需要大约3台存储服务器进行数据存储、读取处理。存储服务器需要至少一个四核处理器、4GB以上缓存、3个千兆网卡。根据项目要求，详细存储容量以及所需磁盘阵列量如下表所示：地点参数大厦摄像头数量280码流D1(2Mb/s)保存时长30天数据量180TB硬盘数量(1TB)208块磁盘阵列数量13台服务器4台IPSAN交换机口2台(24口千兆)共需13台磁盘阵列，208块1TBSATAII硬盘，RAID6。每台存储服务器处理约70路摄像头。产品配置序号产品型号数量品牌/产地配置说明1磁盘阵列MacrostorHTX1600QRC13台宏天欣/中国iSCSI-SATA，单控，2个千兆口，1GB缓存，3U-16盘位，RAID6Disk-SATA-1000208块希捷/中国希捷1000GBSATA硬盘，7200转网络视频服器HTX-1004D70台宏天欣/中国4路D1分辨率，四路视频输入四路音频输入，一路音频输出2.1.3磁盘阵列优势本方案是根据我公司多年经验，并结合本项目监控自身特点而形成的。方案优势主要体现在以下几点：模块化设计从目前ISCSI磁盘阵列市场来看，ISCSI磁盘阵列产品主要分两种设计方式：控制器设计方式和服务器设计方式。HTX1600QRC产品采用控制器设计方式；而部分友商采用普通服务器+RAID卡设计方式，此类产品严格来说更类似存储服务器产品，标准PC服务器是其实现存储的硬件基础，因此称为服务器设计方式。控制器设计方式是目前国际上主流存储的产品设计方式（如EMC/HP/IBM等公司产品线），整个磁盘阵列主要由控制器、背板、硬盘及冗余电源风扇等四个部件组成，是一种无线缆、高集成、高精密的设计方式。其优势是稳定性极强、设计精简、性能高、维护便利等，但同时其研发、制造门槛高，需要存储厂商有雄厚的研发、制造能力。服务器设计方式是采用普通PC服务器+RAID卡设计方式的产品，整个磁盘阵列就是一台PCserver结构，采用通用标准主板、CPU、内存、RAID卡等等。优势是其研发、制造门槛低，因此国内一部分磁盘阵列厂家的全线产品都采用了服务器设计方式。但因采用通用标准的主板、CPU、内存、RAID卡等元器件，造成电子元件众多，内部存在大量连接线缆，导致磁盘阵列较多单点故障及不稳定因素，总体来说，服务器设计方式产品的稳定性、能耗控制、整体性能、可维护性等方面都与控制器设计相比差距较大。下表为两种产品设计方式的比较图表：控制器方式与服务器方式产品实现对比类型控制器方式服务器方式主机接口ISCSI或FCISCSI或FC稳定性1、模块化设计2、专为存储优化的系统架构设计3、专用系统，稳定高效4、Cache掉电保护5、系统简小，多放置在专用的FlashMemory芯片中。1、基于服务器主板设计2、在服务器机箱上修改3、通用系统＋存储软件，指令繁杂，故障点多4、无法完成Cache掉电保护5、系统多需要安装在阵列硬盘上，占用存储空间并在减少了系统的稳定性。完整性1、可支持冗余双控、方便插拔2、SATA硬盘采用Dual－ported桥接器，避免SATA硬盘的单点故障3、产品会有较强的后续升级计划4、有较完备的硬件监控机制1、无控制器，不能插拔2、无Dual－ported桥接器，存在单点故障3、缺少持续的升级产品4、缺乏对硬件状态的监控与预警功能可维护性模块化设计，专用系统，支持热插拔，维护简单服务器硬件，不能热插拔，维护成本高（宕机时间长）其它1、采用精简架构,低能耗2、处理器指令集加速存储，性能强劲,硬件加速Raid5/63、不支持NAS1、采用通用服务器架构,高能耗2、指令集无法加速存储，性能差。3、支持NAS控制器设计盘阵内视图服务器设计盘阵内视图在监控项目中建议采用控制器方式磁盘阵列。因监控数据基本都要求7*24小时不间断写入，对磁盘阵列的稳定性提出了很高的要求，设备稳定性是重中之重。如采用服务器设计方式磁盘阵列，其稳定性将无法保障，产品容易出现故障宕机或BUG并因为配件的复杂性，往往需要较长时间才能排查原因并修复，给监控数据的存储和回放带来严峻挑战。RAID6支持RAID6是在RAID5的基础上发展而成，因此它的工作模式与RAID5有异曲同工之妙，不同的是RAID6增强了磁盘的容错能力，RAID6阵列中允许同时出现两块故障磁盘。针对监控数据7*24小时不间断写入，并采用廉价SATA硬盘大容量存储这一行业特点，Raid6技术对监控数据的安全保护具有极为重大的意义，是为当前监控行业数据存储安全保障的不二选择。MacrostorHTX1600QRC支持硬件Raid6技术。针对视频监控行业专用的存储系统针对视频监控应用的特点，我们对所推出的存储系统进行了优化。监控应用主要是以一定码流多路并发写入，并伴随随机读取的的存储应用。MacrostorHTX1600QRC磁盘阵列带宽为2Gb。D1顺序码流写入支持在300路以上。而本项目中每台磁盘阵列需支持最大不超过100路的D1写入，性能上完全可达到项目要求。随需扩容，无限扩展宏天欣数据采用目前先进的IPSAN存储架构，可以实现存储容量的高可扩充性。在系统监控点增多，存储需求也随即增长，如现有容量不足，可以简单的购买更多的iSCSI磁盘阵列联入以太网交换机进行容量扩充。如果增加了磁盘阵列数量，意味着写入路数分配到了不同的磁盘阵列当中，随着容量的扩展，系统性能也有了较大的提升。友好易用的中文管理平台易管理和使用是也是监控存储系统的一个基本要求。宏天欣数据存储的产品的管理系统是面向用户设计的全中文的集中管理系统。支持web/telnet等管理方式。根据我们的经验，管理员可以在15到20分钟内，就轻松掌握整体系统的使用和管理。通过统一管理平台，能轻松在同一界面发现各磁盘阵列的电源、硬盘等故障问题，轻松进入各磁盘阵列管理界面进行各种配置、设定。如下图所示：高安全性提升数据的安全级别宏天欣数据iSCSI磁盘阵列可以通过多网扣绑定增加带宽，还可以保证存储器在单个网络连接断开的情况下，仍然可以正常工作，保证了设备的高可用性。同时磁盘阵列还采用了控制器、双电源、双风扇、热插拔等一系列的先进技术，能有效保证存储系统的业务连续性。第三章HTX1600QRC磁盘阵列介绍3.1产品概述MacrostorHTX1600QRC系列iSCSI磁盘阵列是宏天欣数据推出的具有高性能价格比的iSCSITOSATA磁盘阵列产品，针对构建低成本的IPSAN存储环境提供高性价比的解决方案。适用于有连续应用的海量存储并且要求单位存储成本低廉需求的用户。特别适合例如视频监控、医疗影像、流媒体等影音数据的存储应用。3.2