IBM 智慧存档与恢复-IBM ProtecTier重复数据删除解决方案

智慧的存档与恢复—IBMProtecTier重复数据删除解决方案赵健夫高级系统顾问内容内容市场概述IBM重复数据删除解决方案IBM重复数据删除产品线成功案例与总结成功案例与总结内容内容市场概述IBM重复数据删除解决方案IBM重复数据删除产品线成功案例与总结成功案例与总结存储专家的痛点什么是存储相关的两大难题?TheInfoProStorageStudyWave9(4/5/07):F1000Sample.n=149.Othern=14.*Multipleresponsesrecorded存储专家的痛点什么是存储相关的两大难题?TheInfoProStorageStudyWave9(4/5/07):F1000Sample.n=149.Othern=14.*Multipleresponsesrecorded恢复：30GB三种磁带上的数据为什么虚拟磁带库获得广泛应用提高备份恢复速度----特别是恢复速度三种磁带上的数据150020025003000（秒）为什么虚拟磁带库获得广泛应用提高备份恢复速度特别是恢复速度降低成本,简化管理利用大容量ATA磁盘大幅降低成本相对于真实磁带库更为简化的管理050010001500磁盘LTO1LTO2STK时间（相对于真实磁带库更为简化的管理避免磁带库的高机械故障易于维护，对环境要求低比磁带库成本高注意：假定LTO1、LTO2和9840B的压缩比为2:1数据传输时间文件存取时间倒带/卸载时间磁带准备时间磁带装载时间磁盘LTO-1LTO-2STK9,840B比磁带库成本高采用重复数据删除技术的虚拟磁带库采用重复数据删除技术的虚拟磁带库数十倍的数据压缩能力比真实磁带库更低的成本内容市场概述内容市场概述IBM重复数据删除解决方案IBM重复数据删除解决方案IBM重复数据删除产品线IBM重复数据删除产品线成功案例与总结成功案例与总结什么是重复数据删除?Datade-duplication(亦称“智能压缩”）是一种通过消除冗p(余重复数据减少存储需求的方法.只有不同的数据块保存在存储介质里.重复的数据块仅通过索引或指针来表示CBCACBCACBCAACAABBACAABBACABBA1.Dataelementsareanalyzedtodeterminea2.Signaturevaluesarecomparedtoidentifyall3.Duplicatedataelementsareeliminatedandareyuniquesignatureforeachpyduplicatesreplacedwithpointerstotheexistingreferenceelement重复数据删除的三个基本方法重复数据删除的三个基本方法哈希算法内容识别假设需要进行重复数据删除的文件是那些具有HyperFactor一种无需查看数据内容就可进行重复数据删除有时候被称为内容可寻址存储方法删除的文件是那些具有相同属性（例如，名称）的对象就可进行重复数据删除的独特方法哈希算法每个“chunk”为8KB1TB数据为125,000,000个8KB每个“签名”20bytes则需要2.9GB内存确保足够的处理性能100TB的备份数据量需要306GB内存哈希算法1.将数据分成小片(变长或定长)每个“chunk”为8KB1TB数据为125,000,000个8KB每个“签名”20bytes则需要2.9GB内存确保足够的处理性能100TB的备份数据量需要306GB内存哈希算法1.将数据分成小片(变长或定长)ABCDE2.为每一小片生成哈希值ACBDE每个“chunk”为8KB1TB数据为125,000,000个8KB每个“签名”20bytesAhChBhDhEh则需要2.9GB内存确保足够的处理性能100TB的备份数据量需要306GB内存哈希算法1.将数据分成小片(变长或定长)ABCDE2.为每一小片生成哈希值ACBDE每个“chunk”为8KB1TB数据为125,000,000个8KB每个“签名”20bytes3分下块数据并寻找是否有相同的哈希值AhChBhDhEh则需要2.9GB内存确保足够的处理性能100TB的备份数据量需要306GB内存3.分下一块数据并寻找是否有相同的哈希值ABCDE哈希算法1.将数据分成小片(变长或定长)ABCDE2.为每一小片生成哈希值ACBDE每个“chunk”为8KB1TB数据为125,000,000个8KB每个“签名”20bytes3分下块数据并寻找是否有相同的哈希值AhChBhDhEh则需要2.9GB内存确保足够的处理性能100TB的备份数据量需要306GB内存3.分下一块数据并寻找是否有相同的哈希值ABCDE4.存储哈希值不同的数据片重复数据删除的三种算法-Hash•Hash冲突•Hash技术的索引数据量评估技术的索引数据量评估内容感知1.遍历数据确定所有文件FileAFileBFileCFileD内容感知1.遍历数据确定所有文件FileAFileBFileCFileD2.定位文件原始版本FilA12343.比较不同版本，定位参考点FileAextents1,2,3,43.比较不同版本，定位参考点FileAFileBFileCFileD内容感知1.遍历数据确定所有文件FileAFileBFileCFileD2.定位文件原始版本FilA12343.比较不同版本，定位参考点FileAextents1,2,3,43.比较不同版本，定位参考点FileAFileBFileCFileD4.更新参考点HyperFactor方法1查找数据的相似性HyperFactor方法1.查找数据的相似性新数据流19HyperFactor方法1查找数据的相似性HyperFactor方法1.查找数据的相似性新数据流2.读取相似度最高的数据3.找出各个版本之间数据的不同–将用到多个要素要素A要素B要素C4.将匹配的数据分离出来–将独特或唯一的数据添加至数据库20哈希和内容识别重复数据删除方法的限制哈希和内容识别重复数据删除方法需要在删重比和性能之间容复数除哈希和内容识别重复数据删除方法需要在删重比和性能之间寻找平衡重复数据删除/性能分界线重复数据删除比率重复数据删除比率HyperFactorTBPBHyperFactor则没有这种限制!!性能/扩展能力yp则没有这种限制性能问题性能问题对于所有的重复数据删除，性能是基于以下两种处理:两种处理:确认重复数据—需要搜索数据库或者索引备份有效负载的处理备份有效负载的处理两种处理均会影响整个重复数据删除的性能用户实例:背景不同重复数据删除后处理对速度的影响背景接收速度300MB/s后处理速度@100MB/sec后处理速度@100MB/sec备份6TB需要大约6个小时•后处理需要额外的18个小时后处理需要额外的个小时•所以，需要整整24小时才能处理完6TB实际性能:6TB/24Hrs=69.4MBPS用户实例:背景但是不同重复数据删除后处理对速度的影响背景但是•什么资源才能支持这样长时间的离线?接收速度300MB/s后处理速度@100MB/sec时间的离线?•当重复数据删除在后处理完成前磁盘资源如果处后处理速度@100MB/sec备份6TB需要大约6个小时完成前，磁盘资源如果处理其它操作?•后处理需要额外的18个小时后处理需要额外的个小时•所以，需要整整24小时才能处理完6TB实际性能:6TB/24Hrs=69.4MBPS企业重复数据删除要求企业重复数据删除要求性能数据不断增长，备份时间越来越短。解决方案必须能够让客户以更快的速度对更多的容量业务需求和法规要求导致客户需要通过磁盘对数据进行长期保存解决方案必须支持方案必须能够让客户以更快的速度对更多的数据进行处理对数据进行长期保存。解决方案必须支持庞大而且不断增长的数据库（数百TB大小）数据完整性信息是企业的命脉。数据完整性至关重要无间断解决方案必须符合企业现有实践、政策和SLA要求©IBM公司版权所有，2008面向企业级的产品面向企业级的产品高性能每节点的在线处能力扩展性每节点500MB/s的在线处理能力(1000MB/s双节点集群)扩展性1PB的可管理物理空间确保数据完整在线进行无干扰确保数据完整逐位数据比对，100%数据完整性。彻底消除由于“哈希冲突”等原因造成的数据误删除在线进行在数据存储时同步进行重复数据删除，无需额外的窗口时间易于部署便于与用户原有备份系统整合内容内容市场概述IBM重复数据删除解决方案IBM重复数据删除产品线成功案例与总结成功案例与总结IBMProtecTIER®重复数据删除解决方案TS7650GTS7650GProtecTIERProtecTIERHighestPerformanceHighestPerformanceProtecTIERProtecTIERGatewaysGatewaysTS7650TS7650ProtecTIERProtecTIERAppliancesAppliancesBetterPerformanceLargerCapacityBetterPerformanceLargerCapacityLargestCapacityLargestCapacityHighAvailabilityHighAvailabilityTS7610TS7610ProtecTIERProtecTIERApplianceApplianceLargerCapacityScalableLargerCapacityScalableUpto1000MB/secUpto1000MB/secppppExpressExpressGoodPerformanceGoodPerformanceUpto500MB/secUpto500MB/sec7TBt36TB7TBt36TBUpto1PBUpto1PBUseableCapacityUseableCapacityEntryLevelEntryLevelEasytoInstallEasytoInstall7TBto36TB7TBto36TBUseableCapacityUseableCapacityUpto80MB/secUpto80MB/sec4TBand54TB4TBand54TB4TBand5.4TB4TBand5.4TBUseableCapacityUseableCapacityTS7650G虚拟带库网关S650G虚拟带库网关FCBackupServer292011/2/12TS7650G虚拟带库网关S650G虚拟带库网关虚拟磁带库FCBackupServerTS7650GDiskArray软件解决方案，运行在标准的Linux服务器仿真为磁带库，包括磁带驱动器、磁带和机械手使用光纤通道连接的磁盘系统作为备份介质302011/2/12TS7650G集群集群光纤交换机2节点集群TS7650Gx22节点集群备份服务器备份阵列全双工的真集群节点备份服务器高容量、高扩展性易管高性能(持续性能达1000MB/s)高可靠性易于管理双节点同时工作一个存储库312011/2/12TS7650远程复制远程复制备份服务器表现容量主站点ProtecTIER网关主站点物理容量备份备份服务器表现容量备份站点物理容量PtTIER物理容量ProtecTIER网关备份服务器322011/2/12TS7650远程复制远程复制备份服务器表现容量主站点ProtecTIER网关主站点物理容量备份显著的减少带宽备份服务器表现容量备份站点显著的减少带宽物理容量PtTIER物理容量ProtecTIER网关备份服务器332011/2/12TS7650远程复制远程复制备份服务器表现容量主站点ProtecTIER网关主站点物理容量备份显著的减少带宽备份服务器表现容量备份站点显著的减少带宽PT-serverbasedreplication物理容量PtTIER物理容量ProtecTIER网关备份服务器342011/2/