云存储PPT培训版

安防监控迈入云存储时代安防监控迈入云存储时代安防监控迈入云存储时代背景篇行到水穷处，坐看云起时大数据时代下的云存储安防监控迈入云存储时代这是一个大数据的时代安防监控迈入云存储时代大数据时代的4V特征Volume海量数据从TB级别，增长到PB级别Variety数据种类繁多有各类文本、图片、视频等数据，而且非结构化数据越来越多Velocity实时性海量数据需要快速的处理和检索Veracity真实准确利用数据挖掘和分析得出真实准确的信息安防监控迈入云存储时代大数据时代，对存储系统提供更高要求大容量高效率高可用安防监控迈入云存储时代大数据时代,现有存储系统面临的难题以智慧城市的建设为例……安防监控迈入云存储时代①海量数据存储，如何统一管理和统一调度数以万计的监控点，存储容量已经达到PB级别智能分析抽离出的图片、文字、摘要视频等，数据种类多种多样。白色小型车沪FW6461逆行闯红灯红色上衣红色小型车人员聚集告警人脸抓拍图片黄色衬衫行车轨迹北纬31°.3′东经120°.6′除视频监控数据外，各类应用系统的数据也需进行融合移动警务图像资源信息库车牌信息数据库移动警务人员信息数据库移动警务安防监控迈入云存储时代在并发读写时，存储设备的性能瓶颈在控制器或ＣＰＵ处理能力上。为提升并发处理能力，必须不断的进行硬件升级。②大容量并发读写，设备性能成为瓶颈存储设备300路高清存储设备200路高清存储设备100路高清单台最大并发处理能力升级CPU升级内存安防监控迈入云存储时代③设备故障须及时修复，维护成本激增硬盘存储设备硬盘硬盘硬盘硬盘硬盘硬盘硬盘热备硬盘硬盘硬盘RAID硬盘硬盘硬盘某块硬盘发生故障时，例如RAID５，只允许设备中有一块硬盘失效。而RAID恢复时间往往需要十几个小时，期间再坏盘，就无法恢复了。因此，需要立即更换或修复故障硬盘。存储设备３存储设备２存储设备1某台设备发生故障时，虽可以用负载均衡技术分担给其它设备，但需要立即更换或修复故障设备，否则存储于其中的数据无法读取。故障故障容量达到“PB”级别，维护就成为最大的难题安防监控迈入云存储时代NAS存储设备NAS存储设备NAS存储设备卡口平台监控平台IPSAN存储设备IPSAN存储设备IPSAN存储设备图像资源数据库NAS集群存储设备NAS集群存储设备NAS集群存储设备④不同的应用系统间数据难以融合各个应用系统，都建设独立的一套存储调度系统，可移植性和重复利用率较差。而且，不同的应用系统需要各种类型的存储系统，NAS、IPSAN或集群NAS，难以融合。安防监控迈入云存储时代如何解决些难题？①海量数据存储，如何统一管理和统一调度②大容量并发读写，设备性能成为瓶颈④不同的应用系统间数据难以融合③设备故障须及时修复，维护成本激增云存储应运而生……安防监控迈入云存储时代概念篇只在此山中，云深不知处安防监控迈入云存储时代什么叫做”云”？使用者按需获取资源，无需关心资源在何处，如何构建。——就像从“云端”获取资源云Cloud安防监控迈入云存储时代像是拧开水龙头取水，打开开关获取电一样便捷，用户也可以方便的使用“云”资源。什么叫做”云”？安防监控迈入云存储时代什么是云存储？用户按需使用存储资源，无需关心存储设备在何处，如何构建。在视频监控领域，云存储作为基础资源，其“用户”为各类业务系统。云存储CloudStorage卡口平台视频监控平台图像资源数据库统一数据平台智能应用系统高可用性海量存储高性能统一访问空间高可靠性弹性伸缩安防监控迈入云存储时代难题的解决之道①海量数据存储，如何统一管理和统一调度②大容量并发读写，设备性能成为瓶颈④不同的应用系统间数据难以融合③设备故障须及时修复，维护成本激增①提供分布式文件系统，数据调度与存储分离②将单打独斗升级为团队作战③由及时维护转变为定期维护④将各种数据融合，提供统一接口安防监控迈入云存储时代架构篇有形不累物，无迹却随风安防监控迈入云存储时代存储节点存储节点存储节点存储节点云存储的系统架构云存储的系统架构，分为“控制节点”和“存储节点”两个部分。控制节点控制节点控制节点控制节点采用集群架构，存储元数据，对存储节点进行调度存储节点对数据进行分布式存储，可进行复制或者RAID备份注：元数据（metadata），包括文件目录组织、属性维护、访问控制信息、文件操作日志记录、文件到块的映射信息、块当前所在的位置等。安防监控迈入云存储时代云存储的工作流程数据控制节点控制节点控制节点存储节点存储节点存储节点存储节点网络业务系统申请调度调度备份同步云存储系统34121234业务系统向控制节点申请存储资源，控制节点回复调度信息数据经由网络，到达存储节点进行分布式存储控制节点与存储节点间同步调度与存储信息控制节点间进行元数据同步备份存储节点的数据进行复制或RAID备份安防监控迈入云存储时代存储节点存储节点存储节点存储节点存储节点海量存储，弹性伸缩相比传统的存储设备，云存储可支持的存储节点数以千计，支持的容量达百PB级别，并可弹性伸缩，无缝扩展。123485679控制节点控制节点控制节点123485679增加存储节点，数据自动重组减少存储节点，数据自动恢复647大数据时代下的云存储传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。存储节点存储节点存储节点存储节点存储节点控制节点控制节点控制节点数据流不经过控制节点千兆交换网络万兆交换网络高并发读写性能，摆脱单台设备能力束缚安防监控迈入云存储时代传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。高并发读写性能，摆脱单台设备能力束缚存储设备300路高清已经撑不住了毫无压力30000路高清云存储安防监控迈入云存储时代云存储系统的控制节点采用集群架构，单点发生故障时，可无缝切换，系统业务不会中断。控制节点控制节点控制节点工作节点备份节点备份节点高可靠，系统业务不中断安防监控迈入云存储时代云存储可为多个业务系统同时提供服务，内部架构对其透明，提供统一的访问入口，利于数据共享与融合。控制节点控制节点控制节点存储节点存储节点存储节点存储节点存储节点业务系统1业务系统2业务系统3业务系统4统一访问入口，多用户并行访问安防监控迈入云存储时代云存储的特点---高可用，由及时维护变为定期维护云存储系统摆脱单台束缚，采用数据冗余存储机制，硬盘或存储节点损坏时，其余节点可自动重组，数据不丢失，系统运行不受影响。安防监控迈入云存储时代一个月后…云存储的特点---高可用，由及时维护变为定期维护维护人员仅需定期检查受损硬盘或节点，更换或修复即可。安防监控迈入云存储时代应用篇多谢好风吹起后，化为甘雨济田苗安防监控迈入云存储时代•19英寸4U机架式•支持16盘位，支持热插拔，支持不同容量磁盘混插•单台设备既可作为控制节点，也可作为存储节点•控制节点支持三台以上集群部署，业务不受中断•存储节点支持双份、多份复制或RAID的方式，确保数据完整•支持数百PB级存储容量科达云存储系统---KCloudStorKCloudStor1000-48T3T企业硬盘2折售价￥80000KCloudStor1000-S48T3T监控硬盘2折售价￥75000科达云存储系统---KCloudStor1000部署模式与关键特性控制节点与存储节点合一，工程部署时自由选择三台设备作为控制节点，在做为控制节点的同时，它也可以作为存储节点使用。控制节点KCloudStor1000内置：控制模块手动启用存储模块手动启用安防监控迈入云存储时代视频监控主平台LAN视频监控从平台云存储智慧城市对云存储的要求KCloudStor在视频监控系统中的应用智慧城市的监控点规模从几千个到几十万个不等，一般存储30天，存储容量可达数百PB。海量存储，弹性伸缩智慧城市中所有的摄像机以平均码率2Mbps-4Mbps并发存储，并发写数据量巨大。高并发写性能智慧城市对可靠性要求高：7×24小时不间断存储，系统业务不中断，数据损坏可恢复。高可用，高可靠安防监控迈入云存储时代视频监控平台云存储卡口平台违章查询系统KCloudStor在卡口和电警解决方案中的应用卡口&电警解决方案对云存储的要求海量小文件存储卡口平台存储图片与车牌信息，视频监控平台存储视频码流，图片和视频可存储在同一系统中，便于相互调度。图片与视频数据共享违章记录通过网站发布，应用系统从云存储系统中直接读取违章图片，供市民查询，要求云存储系统有快速检索与读取性能，满足并发读取的需求。快速检索与读取LAN每台卡口式电警一年的抓拍量约在300w张左右，对于存储系统来说，需要管理大量的小文件。KCloudStor可以管理的文件数量达百亿级别，完全符合需求安防监控迈入云存储时代图像侦查系统视频监控平台移动警务KCloudStor在视频图像信息数据库中的应用视频图像信息数据库对云存储的要求统一访问空间信息数据库中的数据需要永久保存，数据量可达数百PB级别。为保证数据不丢失，通常采用复制方式进行备份。海量存储，高可用LAN云存储图像资源库实战应用系统卡口平台信息数据库库中的数据可由不同的业务系统并发写入和读取，云存储系统可提供统一访问空间，无需在各类业务系统间进行调度，极利于数据的融合与共享。安防监控迈入云存储时代竞争篇曾经沧海难为水，除却巫山不是云安防监控迈入云存储时代存储系统的发展历程首先，我们来回顾一下存储系统的发展历程业务系统操作系统磁盘柜SCSI、FC、SAS优点：部署简单缺点：不易于扩展，已被淘汰业务系统操作系统磁盘柜优点：基于块存储，性能高，速度快缺点：不易于用户访问和数据共享FC或IP磁盘柜业务系统操作系统磁盘柜优点：基于文件存储，可多用户访问和共享缺点：性能较低，不利于扩展IPDASSANNAS安防监控迈入云存储时代“集群NAS”的诞生集群NAS“NAS”机头，可以集群，2-32台服务器不等。利用“SAN”技术，采用数据“块”存储方式交换节点存储节点存储节点存储节点存储节点交换节点……管理节点LAN为了同时满足快速存储与数据共享的需求，业内很多厂家集合了“SAN”“NAS”和“集群”概念的，推出了“集群NAS”。安防监控迈入云存储时代“集群NAS”的局限性业务系统业务系统业务系统3412近年来，业内厂家利用“集群NAS”技术来打造“云存储”产品，但它真正是“云”么？集群NAS交换节点存储节点存储节点存储节点存储节点交换节点……管理节点LAN控制与存储数据均需要通过交换节点，交换节点可以集群部署，2-32个节点不等，但无法无限扩展。性能易出现瓶颈数据存储节点一般为数据“块”存储，利用RAID进行冗余存储。RAID重构时间在十几小时左右。期间若再有一块硬盘损坏，就无法恢复了。数据可靠性差数据均需通过交换节点，对交换节点性能要求极高；存储节点采用RAID机制，对硬盘性能要求较高对设备依赖性强友商分析之海康海康威视云存储系统是海康威视监控云平台和云存储系统的结合，其系统设计之初就融合了海康威视视频监控技术优势和自研的流媒体存储技术特点。它采用了基于流媒体的文件管理结构和Hadoop分布式文件系统（HDFS），对于构建针对视频流应用的监控云存储系统具有天然的应用优势。具体的应用场景为：l视频监控：平安城市项目或大中型企业厂区视频监控；l网络电视节目：海量扩展，用于存放网络IPTV内容的数据；l高性能分析：公安视频业务应用数据，要求大量可访问的命名空间作分析和非常高的性能计算；IPSANCVR(网络直存）云存储基于流媒体的文件管理结构和Hadoop分布式文件系统自主第二代流媒体直写技术海康威视云存储系统是海康威视监控云平台和云存储系统的结合，其系统设计之初就融合了海康威视视频监控技术优势和自研的流媒体存储技术特点。它采用了基于流媒体的文件管理结构和Hadoop分布式文件系统（HDFS），对于构建针对视频