一体化数据管理技术平台

`1一体化数据管理技术平台汇报一体化数据管理技术平台-TrueCDP项目开发方案及计划软件研发部CDP项目组`2一体化数据管理技术平台汇报内容•一体化数据管理技术平台•LiveDPM产品开发需求•主要竞争CDP对比•LiveDPM项目技术方案•LiveDPM项目主要模块及技术难点•LiveDPM项目开发计划•LiveDPMRoadmap`3一体化数据管理技术平台汇报什么是一体化架构？•基于平台的产品开发模式–功能模块化–形成基于功能模块的产品开发平台•软件架构的一体化设计–软件架构可扩展性比较强，容易添加新功能–适用于基于平台的开发模式`4一体化数据管理技术平台汇报一体化数据管理平台的想法•部署统一的解决方案。利用单一解决方案，提高了运营效率。与孤立、单独的单点解决方案相比，单一解决方案可共享一套通用技术引擎，所需资源比较少，而且更具成本效益。•执行一整套数据管理功能。保护、归档、复制及搜索数据――这一切只要借助一个统一的浏览器控制台，可集中及简化业务运营。•管理整个企业的数据。简化所有应用程序、平台、设备和场地(从远程办事处到企业数据中心)上的数据管理功能。`5一体化数据管理技术平台汇报一体化架构：LiveDPM`6一体化数据管理技术平台汇报内容•一体化数据管理技术平台•LiveDPM产品开发需求•主要竞争CDP对比•LiveDPM项目技术方案•LiveDPM项目主要模块及技术难点•LiveDPM项目开发计划•LiveDPMRoadmap`7一体化数据管理技术平台汇报产品开发介绍•产品开发代号:LiveDPM•产品方向：持续数据保护、块级、容灾•产品定位：中高端存储软件•产品简介：–CDP（ContinuousDataProtection）连续数据保护，可在数据发生任何变化时将数据有效地保护起来。CDP技术将传统着眼于“数据备份”的备份技术，推进到着眼于快速恢复、最少数据丢失的数据保护的新阶段。•主要竞争对手：飞康CDP产品、EMCRecoverPoint•产品形式：基于CentOS64位系统、兼容主流存储产品•开发周期:2009年11月到2010年10月`8一体化数据管理技术平台汇报产品架构STKHPIBMHDSEMCSANWANSANSAN支持异构存储平台及异构操作系统，可将数据反复恢复至分钟级别!LiveDPM:持续数据保护系统CDP:本地端持续性数据保护(ContinuousDataProtection)CRR:异地端持续性数据复制(ContinuousRemoteReplication)HistorySnapshotHistorySnapshotLiveDPMLiveDPMLocalsiteRemotesiteCDPCRRSTKHPIBMHDSEMC`9一体化数据管理技术平台汇报产品需求功能描述数据备份备份磁盘能够给被保护的机器数据备份数据备份分区数据恢复恢复数据分区能够给被保护的机器数据恢复数据恢复系统分区恢复整个磁盘恢复文件或目录快照功能快照挂载能够对被保护的机器打快照并对快照进行管理，可支持最多256个快照快照可写快照标签TrueCDP任意时间点恢复时间间隔至少精确到秒生成快照可写容灾能力普通网卡引导恢复系统故障时，能够在允许的时间内恢复系统和业务HBA卡远程引导`10一体化数据管理技术平台汇报产品需求(续)功能描述压缩网络传输压缩支持压缩功能，提供传输效率加密网络传输加密网络传输时保持数据的安全性，对数据进行加密代理端管理功能代理端与服务器的认证能够对代理端进行管理代理端的添加与删除远程复制功能异步方式可以把CDP服务器上的备份数据通过广域网复制到异地远程复制主机可直接恢复到客户端业务可直接从异地恢复远程复制主机可直接恢复到CDP可以从异地恢复到本地软件注册功能需要KEY才有软件的使用权（Agent个数、远程复制功能、系统盘、加密、压缩、快照、TrueCDP）权限管理用户权限管理，谁备份随有权限恢复原则`11一体化数据管理技术平台汇报内容•一体化数据管理技术平台•LiveDPM产品开发需求•主要竞争CDP对比•LiveDPM项目技术方案•LiveDPM项目主要模块及技术难点•LiveDPM项目开发计划•LiveDPMRoadmap`12一体化数据管理技术平台汇报主要竞争CDP对比（Block级产品）功能模块功能描述LiveDPMEmcRP飞康IPStorInmage存储功能支持Raid管理支持存储池管理支持iSCSIinitiator/Target、FCTarget支持SMB、FTP、NFS协议N/AN/A√√√√N/A数据保护功能CDP级别truecdptruecdptruecdptruecdpCDP架构HostBaseHostBaseSANbaseHostBaseFailover容灾功能×××√快照功能256不支持256不支持TrueCDP(任意时间点快照)√√√√支持快照回滚、快照挂载、快照可写功能√√√仅挂载远程复制功能√√√√普通网卡引导√×××应用感知功能×√√√CDPServer集中管理×√√×恢复光盘×N/A√×`13一体化数据管理技术平台汇报内容•一体化数据管理技术平台•LiveDPM产品开发需求•主要竞争CDP对比•LiveDPM项目技术方案•LiveDPM项目主要模块及技术难点•LiveDPM项目开发计划•LiveDPMRoadmap14TrueCDP实现LD1LD2EthernetSwitchs-11SnapshotTime-ViewDisk10:0011:0012:0012:15Group110:0012:0014:0016:00s-11*基于IO+快照的TrueCDP实现SnapshotSnapshotDeletefile1Addfile215LiveDPM总体实现原理应用IO截获数据复制发送业务服务器CDP服务器容灾服务器数据复制接收IO日志保存异步数据复制异步数据接收日志卷镜像卷原卷镜像卷日志卷`16一体化数据管理技术平台汇报LiveDPM底层主要模块示意图windows应用程序界面界面层组件层底层支持层web服务器镜像同步模块文件系统分析模块驱动服务模块网络通信模块(具有加密,解密功能)磁盘过滤驱动应用程序内部调用SOCKET通信网络通信模块(具有加密,解密功能)磁盘快照管理模块命令解析模块(负责调度)协议打包解析模块数据缓冲模块数据缓冲模块Target支持模块存储池管理模块TrueCDP模块位图处理模块分区验证模块虚拟卷设备驱动虚拟卷设备驱动接口模块快照挂载磁盘过滤驱动接口模块快照更新镜像同步模块位图处理模块远程复制模块源盘复制日志卷复制IO管理TimeMark代理端CDPServer端初始同步`17一体化数据管理技术平台汇报内容•一体化数据管理技术平台•LiveDPM产品开发需求•主要竞争CDP对比•LiveDPM项目技术方案•LiveDPM项目主要模块及技术难点•LiveDPM项目开发计划•LiveDPMRoadmap`18一体化数据管理技术平台汇报技术难点和重点•业务服务器端–磁盘IO截获–同步和异步数据镜像技术–断点续传功能–磁盘位图功能•CDP服务端–IO日志保存–TimeMark实现–可写快照设计–虚拟卷技术–异步远程复制–普通网卡引导`19一体化数据管理技术平台汇报技术难点和重点：磁盘IO截获•技术难点：–磁盘I/O截获需要使用底层磁盘过滤驱动技术来完成I/O的截获应用程序发送I/O请求系统内核文件系统驱动磁盘驱动磁盘用户模式内核模式应用程序发送I/O请求系统内核文件系统驱动磁盘驱动磁盘用户模式内核模式磁盘过滤驱动`20一体化数据管理技术平台汇报技术难点和重点：同步和异步镜像-同步镜像•在IO写入本地磁盘同时将数据发送到远程•只有确认远程数据收到才开始接收下一个IO•安全、但影响性能•采用无损数据压缩算法：LZW`21一体化数据管理技术平台汇报技术难点和重点：同步和异步镜像-异步镜像•对主机性能影响小•主机和镜像卷数据会有时间差，不一定同步•数据先缓存到内存中•如果在缓存的IO队列中有相同的block进行合并•采用无损数据压缩算法：LZW`22一体化数据管理技术平台汇报技术难点和重点：同步和异步镜像-同步续传设计AutomaticHourlySnapshotsLiveDPM镜像卷主机源数据卷9am10am11am147102581136912NewDataBlocksadded147102581136912StorageBlocksContaindata147102581136912NewDataBlocksadded26710点的时候，同步错误26714253147102581136912•用磁盘位图来记录磁盘数据变化•当在同步的过程中，已经同步的数据如果被修改，先在位图中记录，然后重传•重新同步则采用块校验的方式，先校验源盘与镜像盘数据是否一致(MD5)，只传校验不一致的块`23CDP存储项目总结汇报技术难点和重点：IO日志保存•对代理端被保护盘的IO，需要在CDP服务端做保存。对每个被保护的原始卷都与之分配可变扩展的独立卷—日志卷。•我们利用LINUXLVM已经做好的功能做CDP上各种类型卷的创建、扩展、删除等等管理功能原始卷10G`24CDP存储项目总结汇报技术难点和重点：IO日志保存(续)•对代理端被保护盘的发过来过来的每一个IO，我们根据时间戳和扇区号对之在日志卷进行保存原始卷10G被保护的磁盘或分区代理端此处我们基于LVM把IO做备份,写向不同的卷`25CDP存储项目总结汇报技术难点和重点：IO日志保存-分级目录虚表•为了实现IO日志的在日志卷内增量保存，我们使用LVM的卷可扩展特性，从而可以少量逐渐增加预分配空间。•为了方便从日志卷内方便找到原始卷内的任意的块号所在日志卷内的位置。我们借用INTELCPU的内存管理单元MMU的设计思路，MMU通过一个分级目录表实现不连续的物理内存地址到连续线性地址的映射。我们也仿照它为日志卷的管理引入--分级目录虚表•采用64位中的44位来记录IO日志的变化，这40位就够我们对8000T(8K*240)大小的一个卷组作管理，目前来讲足够应用了，日后需要再扩展。`26CDP存储项目总结汇报技术难点和重点：IO日志保存-分级目录虚表（续1）64bit块号10bit目录偏移10bit次目录偏移10bit3级目录偏移10bit4级目录偏移8K大小的根目录某个次目录的地址某个次目录的地址8K大小的次目录某个3级目录地址某个3级目录地址8K大小的3级目录某个4级目录的地址某个4级目录的地址8K大小4级目录某个IO的链表地址某个IO的链表地址4bit`27CDP存储项目总结汇报技术难点和重点：IO日志保存-分级目录虚表（续2）•下面给出一个具体日志卷内块号变换的例子，我们以8k为目录块大小，64位表示地址（块号）：•64位块号：0000000000000000000001011001110101101100010110010101111011001011•好这个块号（地址）是在原始卷的，那么当新的块来覆盖的时候，新块被存在什么日志卷的什么地方呢：•这个地址的根目录下标0101100111---359：找到根目录快，然后以8字节步长前进358次，得到一个8字节的块号，这块号是次目录块的地址。得到次目录的起始地址•次级目录的偏移0101101100---364：如上办法得到3级目录的起始地址•3级目录的偏移0101100101---357：如上办法得到4级目录的起始地址•4级目录的偏移0111101100—492：如上办法得到了实际的数据块的地址`28CDP存储项目总结汇报技术难点和重点：IO日志保存-分级目录虚表（续3）日志索引链表本IO块的日志总量等信息通过块号地址的查找本IO块的日志最后时间64bit表示的timemark64bit的块号地址64bit表示的timemark64bit的块号地址64bit表示的timemark64bit的块号地址64bit表示的timemark64bit的块号地址下一