存储发展历史1企业级存储分类2存储技术及常用术语介绍3存储高级功能介绍4备份基础知识5容灾基础知识6Snapshot/Clone()Afullyusablecopyofadefinedcollectionofdatathatcontainsanimageofthedataasitappearedatthepointintimeatwhichthecopywasinitiated.Asnapshotmaybeeitheraduplicateorareplicateofthedataitrepresents.快照/克隆是特定数据集的一个可用拷贝,该数据集包含源数据在拷贝点的静态映象;快照可以是数据再现的一个副本或者复制。快照和克隆的区别:•快照比较节省空间,但依赖源数据;快照预留空间通常只占源数据的20%左右•克隆是源数据在某个时间点的一份完整拷贝,所需空间和源数据一样大小,克隆不依赖源数据快照和克隆快速备份/恢复快照可迅速生成,并可用作传统备份和归档的数据源,缩小甚至消除了数据备份窗口快照/克隆存储在磁盘上,可以快速直接存取,大大提高数据恢复的速度保存多个恢复点目标基于磁盘的快照使存储设备有灵活和频繁的恢复点,可以快速通过不同时间点的快照恢复数据重新定义数据用途快照提供一份接近实况数据的拷贝,可供测试、归档、查询使用,既保护生产系统又赋予备份数据新的用途。快照和克隆的价值及分类全拷贝快照——克隆分离镜像(Splittingamirror)差分快照写即拷贝(CoW:CopyOnWrite)写即重定向(RoW:RedirectOnWrite)随机写(WA:WriteAnywhere)提高性能——数据自动分层(Tiering)第1层第2层第3层基于不断变化的需求自动移动和放置数据数据写入性能最高的第1层将活动频度较低的数据迁移到下面的分层如果活动频度提高,再迁回到上面的分层20%的数据占数据活动量的80%HDSEMCHitachiDynamicTieringFAST优化资源——虚拟资源调配逻辑应用程序用户视图公用存储池用户A10GB用户B10GB用户C10GB物理分配3GB3GB4GB将设备虚拟化到存储池仅分配需要使用的物理空间以杜绝浪费将“臃肿的”卷变为“精简的”卷优化存储性能易于创建易于分配易于管理HDSEMCHitachiDynamicProvisioningThinProvisioning业务连续性——容灾(DisasterRecovery)HDS:TrueCopy/SyncEMC:MirrorView/SMirrorView/A同步方式:可以做到主/备中心磁盘阵列同步地进行数据更新,不会造成数据丢失。同步方式对系统要求高,通常在近距离范围内(实际用户部署多在35KM左右)异步方式:主/备中心磁盘阵列数据更新不同步,但对系统要求低,且对性能的影响通常较小,并且备份磁盘的距离和生产磁盘间的距离理论上没有限制(可以通过IP连接来实现数据的异步复制)存储发展历史1企业级存储分类2存储技术及常用术语介绍3存储高级功能介绍4备份基础知识5容灾基础知识6数据保护技术-备份LAN应用服务器备份服务器磁带库存储系统MasterServerSAN应用服务器传统的备份是指利用备份软件把数据从磁盘备份到磁带进行离线保存1.备份方式支持每次针对增量数据进行保护、可以制定策略自动完成,并且可以对正在使用的数据(如注册表)进行保护2.备份数据是磁带格式,不能被应用系统直接访问3.备份过程中,应用系统的性能、带宽等都会受影响备份系统的组成备份软件具体备份策略的制定、备份介质的管理及一些扩展功能的实现,都由其最终完成。如Netbackup、NetWorker、Brightstor等磁带库磁带库由库体、机械手、磁带机、磁带槽位和磁带等组成,是一个完全自行控制并按照备份软件的策略自动进行工作的体系备份服务器安装备份软件的服务器端,在应用服务器端安装备份软件的客户端,按照预先制定的备份策略将数据备份到磁带/磁盘上,为了降低成本通常选用WindowsPC机作为备份服务器在磁带库厂商中,市场份额最大的当属美国存储技术公司StorageTek(已被SUN收购,SUN公司又于09年被Oracle收购)美国先进数字信息公司(ADIC)。已被Quantum收购Quantum的M系列是模块化产品,可根据用户系统需求的增长灵活扩展带库的容量和性能主流磁带库厂商Symantec(Veritas)主要的是高端的NetBackup和低端的BackupExec。备份软件市场占据了40%左右的份额Commvault公司的SIMPANA™EMC(Legato)公司的备份软件产品以NetWorker系列为主CA公司的ARCServer定位在低端市场,BrightStor定位中高端市场BakBone的NetVault软件IBMTivoliStorageManager产品是高端备份产品,但更多的适用于IBM主机为主的系统平台……BakBone主流备份软件厂商备份技术基本概念——备份窗口备份窗口:BackupWindow是一个时间概念,即一个工作周期内留给备份系统进行备份的时间长度。BC要求越高,备份窗口就会越小备份窗口与BC的关系业务连续性越高(比如7x24小时的应用),备份窗口与业务连续性的矛盾就越突出备份技术基本概念——备份策略全备份:是对数据的完全备份增量备份:是对上次全备份或者增量备份后被修改了的文件做备份优点是备份数据量小,需要的时间短缺点是恢复的时候需要多份备份数据,出问题的风险较大差量备份:是备份自上次全备份后被修改过的文件优点是恢复速度相对较快,因为只需要两份磁带—最后一次完全备份和最后一次差量备份缺点是每次备份需要的时间较长周一周二周三周四周五周六星期天全备份星期天周一周二周三周四周五周六全备份备份模式-LAN备份应用服务器LAN存储系统磁带库备份服务器BUSY!!!!!应用服务器LAN指令流备份服务器应用服务器介质服务器应用服务器数据流生产卷备份模式-LANFree备份StorageNerworkLAN指令流备份服务器介质服务器应用服务器应用服务器数据流快照卷生产卷备份模式-ServerFree备份StorageNerworkLAN指令流备份服务器应用服务器应用服务器数据流生产卷备份模式-ServerLess备份StorageNerwork磁带备份的问题机械设备故障率高磁带库是一个机械密集型设备,磁带库的核心部件机械手、磁带驱动器为机械易损件,本身故障率高,灰尘、潮湿等使故障不可预期,导致设备可用性差备份/恢复时间长抓带、加载、机械定位文件等机械动作延长等待时间,如果需要多盘磁带恢复数据,业务连续性会受到更大影响备份介质的安全性磁带为非封闭介质,且磁带库中的磁带之间没有容错保护。备份业务涉及到的磁带组中任一盘磨损、卡带、霉点、粘连等,均会导致整个备份无法恢复Whatarethemostcommoncausesofabackupfailure?--PercentofAllUsers(multipleresponsesaccepted),N=2223%3%32%40%47%53%59%0%10%20%30%40%50%60%70%Don'tKnowOtherNetworkFailureSoftwareFailureHumanErrorHardwareFailureMediaFailureWhatarethemostcommoncausesofabackupfailure?--PercentofAllUsers(multipleresponsesaccepted),N=2223%3%32%40%47%53%59%0%10%20%30%40%50%60%70%Don'tKnowOtherNetworkFailureSoftwareFailureHumanErrorHardwareFailureMediaFailure有什么办法?单块磁盘容量的增长,价格的下降磁盘备份作为磁带备份的补充甚至替代成为可能备份技术新的发展趋势备份技术的演变(VTL/D2D)D2D2T备份(DisktoDisktoTape)备份服务器备份软件磁带库离线归档在线存储系统虚拟磁带库或近线存储系统磁带库、虚拟磁带库及磁盘阵列比较表特性物理磁带库VTL(虚拟磁带库)磁盘阵列存储介质磁带(LTO、SDLT、AIT等)磁盘(FC、SCSI、SATA)磁盘(FC、SCSI、SATA)I/O速度标称140MB/s(与主机和磁带机类型有关)实测数百MB/s(与磁盘阵列性能有关)实测数百MB/s介质移动可移动通过虚拟磁带导出功能,导出到物理磁带物理磁盘一般不建议移动可维护性低,需要专业人员维护高,一般IT人员就可维护高,一般IT人员就可维护存储设备介质冗余大型磁带库才具有电源冗余磁盘阵列控制器、电源、磁盘、风扇均采用冗余配置磁盘阵列控制器、电源、磁盘、风扇均采用冗余配置环境影响受湿度、粉尘影响大受湿度、粉尘影响小受湿度、粉尘影响小部件故障率磁带机、机械手均为非封闭电控转动、移动机械部件,故障率高磁盘为封闭精密部件,故障率低;磁盘阵列并有RAID保护磁盘为封闭精密部件,故障率低;磁盘阵列并有RAID保护存储设备类型离线存储设备近线存储设备近线存储设备VTL和D2D2T备份的问题—RTO、RPO目标难以保证虚拟磁带库和D2D2T方式解决了传统磁带备份的难题即:•提高备份数据的可靠性•提高备份速度,减小备份窗口•VTL可用于优化备份环境,配合磁带库完成历史归档但是备份窗口的存在,使得应用系统仍然面临丢失一部分数据的风险,而且备份数据流对带宽的要求非常高,很难进行数据在远程或者异地的保护。更重要的是改变原来数据的格式,备份数据无法直接使用,必须通过备份软件恢复后才能使用,影响业务连续性效果评估1.支持增量的数据保护,但增量颗粒度大2.定期需要全备份,不适合远距离传输3.数据的提取严重占用应用服务器资源4.对系统平台兼容性要求很高,服务器增加,软件成本线性增长RTO/RPO1.RTO,数小时至一天,前提是所有备份介质完好2.RPO,损失自上一次备份后的数据,一般为一天总体成本软硬件投入成本相对较高。LANFree模式、数据丢失带来的损失、备份软件和磁带库的运维,磁带库较高的环境要求等适用业务1.BC连续性要求为数小时至一天2.对备份窗口和应用性能的影响不敏感3.归档业务小结:数据保护技术——备份存储发展历史1企业级存储分类2存储技术及常用术语介绍3存储高级功能介绍4备份基础知识5容灾基础知识6衡量数据保护的重要标准RTO:(RecoveryTimeObject,恢复时间目标)是指信息系统从灾难状态恢复到可运行状态所需的时间,用来衡量容灾系统的业务恢复能力RPO(RecoveryPointTime,恢复点目标)是指业务系统所允许的在灾难过程中的最大数据丢失量,用来衡量容灾系统的数据冗余备份能力灾备就是为了灾难恢复而对数据、数据处理系统、网络系统、基础设施、专业技术支持能力和运行管理能力进行备份的过程。数据灾备:建立一个异地的数据系统对本地系统关键应用数据进行复制。当出现灾难导致应用系统数据损坏时,能够通过异地保存的数据进行灾难恢复(DisasterRecovery)应用灾备:异地建立一套完整的、与本地数据系统相当的应用系统(可以同本地应用系统互为备份,也可与本地应用系统共同工作)。在灾难出现后,远程应用系统可承担本地应用系统的业务运行。应用容灾的基础是数据容灾,只有保持本地与异地数据的一致,才有可能进行应用容灾业务灾备:还包括非IT系统的办公地点、环境、电话等什么是灾备?灾备的级别为什么要做”灾备“?业务连续性中断远程设施\机制业务恢复保留数据副本保障灾难分类及应对措施软件故障32%人为错误14%自然灾害7%病毒影响3%硬件故障44%44%49%硬件故障软件\人为\病毒故障7%自然灾害本地备份恢复远程灾难