搜索
白皮书备份和恢复：利用重复数据消除技术提高效率并降低IT成本支持：EMCCorporationLauraDuBoisRobertAmatruda2010年2月执行概述通过昀小化分布式企业和数据中心位置的存储容量需求、备份时间窗口及网络带宽消耗，重复数据消除正在大大改进IT经济性。在真实环境中，重复数据消除正在提高备份和恢复效率，降低IT成本。本白皮书介绍了多种用于备份数据的重复数据消除方法，并概述选择解决方案时的考虑事项。其中还重点介绍了EMC的备份和恢复重复数据消除产品阵容，并探讨了用于实现昀佳备份效率和成本降低的具体使用情形。重复数据消除的采用中型公司及企业环境都在想方设法跟上几乎每年翻一番的存储增长步伐，与此同时，这些公司对重复数据消除的需求不断攀升。助推这一增长的还有新应用程序的推出、虚拟化的迅速普及、电子文档存储和文档共享的出现、Web2.0技术的使用，以及数字记录的保留或保存。由于IT预算有限，在公司希望减少资金和运营成本时，控制数据增长这一需要就相应提高了。从物理角度看，许多数据中心经理还要应对基础架构有限这一难题，例如在电力、冷却和占地面积方面。重复数据消除技术不仅可以通过降低成本来帮助提高存储效率，而且还可以缓解数据中心的物理资源限制问题。重复数据消除还解决了与管理、备份和网络低效相关的难题。随着数据的增长，IT人员数量和需要进行管理的存储容量之间的关系越来越不成比例。而重复数据消除可减少数据占用空间，从而使这一比例保持平衡。类似地，随着服务器处理能力与磁盘之间的缺口继续扩大，各公司都在想尽办法全面改进性能—无论是跨整个广域网环境、在磁盘存储子系统内部还是跨有限的备份时间窗口。重复数据消除技术可以通过跨本地或远程网络链路发送更少的数据，来优化可用的物理和虚拟基础架构。它还可以改善服务级别响应时间，并有助于在不断缩减的备份时间窗口内完成备份。重复数据消除还可利用随机存取介质（磁盘）来改善恢复时间、数据安全性和可靠性。全球总部：5SpeenStreetFramingham,MA01701USA电话：508.872.8200传真：508.935.4015网站：©2010IDC昀新出现的难题来自虚拟化。随着各公司相继部署虚拟机技术来帮助实现服务器整合和灾难恢复(DR)，虚拟机会处理一些可能高度冗余但仍需要保护的数据。为了解决不同的故障情形或为了恢复映像，通常在单个备份解决方案和备份过程中都需要一台物理服务器和一些离散的文件。重复数据消除显著节省了备份存储容量，因为它可以消除VMDK文件中通常存在的冗余。然而，标准做法（例如在来宾虚拟机上部署一个传统的备份代理，和使用VCB代理创建映像级备份）不能减少需要备份的虚拟机数据量，也不能减少移动此数据所需的本地网络带宽。重复数据消除与备份软件一起，解决了全面高效、经济划算地保护虚拟机环境这一需要。重复数据消除的优势各公司都在基础架构中的多个不同位置部署重复数据消除技术，以解决这些实实在在的难题。重复数据消除的好处包括以下几方面：`降低成本。重复数据消除带来了资源效率和成本节约，包括数据中心耗电量、冷却成本和占地面积的减少，以及存储容量、网络带宽和IT人员的减少。`提高备份和恢复服务级别。重复数据消除可大大提高备份性能，从而可以在有限的备份时间窗口内完成备份。重复数据消除技术还充分利用随机存取磁盘存储，与顺序存取（磁带）方法相比提高了恢复性能。`改变磁盘相对于磁带的经济性。重复数据消除使基于磁盘的备份适合于更多的应用程序。磁带之所以仍在企业数据中心中扮演一个重要角色，是由于其经济性和归档特性。然而，磁盘在与重复数据消除配合使用时其每GB成本将降低，从而使磁盘的成本等于甚至小于磁带成本。`减少二氧化碳排放。重复数据消除降低了数据存储在电源、冷却和空间方面的需求，因而减少了二氧化碳排放，承担起环保责任。十多年来，大大小小的公司一直疲于应付的诸多长期存在的备份难题，在重复数据消除技术面前都可迎刃而解。这些难题包括：跟上数据成倍增长的步伐，在更短的备份时间窗口内完成备份，从操作故障和灾难相关故障中实现更快的恢复，等等。表1列出了存在的各种备份难题，以及重复数据消除如何解决这些难题。©2010IDC#2218493表1备份难题和重复数据消除的影响备份难题重复数据消除的影响由于要实现全天候运营以满足全球客户需要，备份时间窗口在不断缩短。传统备份意味着传输大量冗余数据，这会令本已十分紧张甚至恨不得将其取消的备份时间窗口更加不堪重负。备份软件中的重复数据消除可减少需要备份的数据量；或者，快速线内重复数据消除存储系统可加速备份目标的性能—这两者都允许在可用时间窗口内备份更多的数据。恢复时间要求变得越来越短以昀大限度地减少宕机代价。重复数据消除减少了在磁盘上存储更多备份数据的成本。将备份保留在磁盘而非磁带上，可以大大缩短多种应用程序的恢复时间。备份可靠性使数据恢复处于风险之中。依赖磁带介质进行备份可能产生介质出错（介质损坏、磁头污染等）、介质不够用或硬件故障等风险。重复数据消除在数据保护过程中使用磁盘，消除或减少了这些故障情形。利用磁盘还便于执行运行状况检查和其他自我修复或故障预防措施。提高服务器虚拟化程度意味着可用于备份的资源减少，这会增加备份时间，使备份时间窗口更紧张。重复数据消除可用于消除共享资源对冗余数据的处理，从而减少物理资源争用并加速虚拟机备份。重复数据消除还允许虚拟机备份数据在减小很多的存储空间上保留更长时间，从而确保可从磁盘快速执行运营恢复，再也不需要磁带。数据增长意味着并非所有数据都可以在可用备份时间窗口得到备份。公司需要保护的数据量以平均每年50%的速度增长。这一增长与有限的夜间备份时间窗口及传统备份方法极不相称。重复数据消除解决了这一增长难题，实现了不断增长的数据集的高效备份。安全异地拷贝使用传统的磁带备份方法，由于易丢失或被盗而使数据处于风险之中。依赖可移动磁带介质进行异地存储以备在发生灾难时使用会带来损坏物理介质的风险。重复数据消除与安全复制过程结合起来允许在异地存放电子拷贝，不再需要手动处理磁带介质，因此提高了安全性。远程分支办公室的分布式数据需要集中保护和恢复。远程分支位置正在将各自独立的磁带备份流程替换为集中化的“边缘到核心”备份做法，以改善备份、恢复和管理。重复数据消除使跨拥挤的WAN链路把大量备份数据发送到集中化的数据中心这一过程变得切实可行。备份基础架构成本在提高，以跟上容量增长步伐和备份时间窗口的要求。多数公司通过部署更多磁带基础架构来应对数据增长和备份时间窗口难题。添加磁带机和自动化可以解决当前的性能瓶颈并更快地执行备份，但是也增加了成本和管理开销。重复数据消除从根源上解决了这一问题，可减少磁带基础架构的日常开销，同时又能跟上容量增长和备份时间窗口缩短的趋势。来源：IDC，2010年4#221849©2010IDC重复数据消除：什么是重复数据消除？何处、何时、如何执行？什么是重复数据消除IDC对重复数据消除的定义是：一种可将重复数据标准化为单个共享数据对象以提高存储容量效率的技术。更具体地说，任何重复数据消除算法都会搜索重复数据（如数据块、文件、数据段）并在找到后将重复数据废弃。在检测到重复数据时将不保留此数据，而是会修改一个“数据指针”，让存储系统引用该数据对象的一个已存储在磁盘上的精确拷贝。另外，重复数据消除降低了保留同一数据对象的多个拷贝带来的成本。重复数据消除往往与子文件比较过程密切相关。这不同于单实例存储(SIS)，单实例存储在文件或对象级别比较数据。子文件重复数据消除检查文件并将其分成“段”。然后将跨多个系统和位置分析这些段，看是否存在冗余数据内容。重复数据消除也不同于压缩，压缩减少了单个对象的占用空间，而不是跨多个文件或跨一个文件的各个部分减少占用空间。此外，经重复数据消除技术处理后的数据还可以进行压缩，以进一步节省空间。在何处执行重复数据消除备份重复数据消除可在源位置或目标位置执行。源位置重复数据消除的一个例子是减少客户端（如Exchange服务器或文件服务器）上备份数据的大小，以便在备份过程中只跨局域网或广域网传输具有唯一性的子文件数据。在源位置重复数据消除情形中，备份应用程序将重复数据消除技术嵌入到其体系结构内。目标位置重复数据消除的一个例子是，在备份数据跨本地网络传输到重复数据消除存储系统后才减少其大小。在源位置进行重复数据消除可节省局域网或广域网带宽、备份时间窗口和存储容量。在目标位置重复数据消除情形中，存储系统本身将重复消除技术嵌入到存储控制器中。目标位置的重复数据消除提供了存储节约，可与现有备份软件协作，并可以减少复制对广域网的影响。重复数据消除的实施位置选择不仅会产生不同的好处，而且还会影响实施时间和成本。公司应评估其当前的备份问题，并将这些难题对应于不同的重复数据消除方法。源位置重复数据消除在源位置（或客户端备份软件）执行重复数据消除提供了多种好处，远远超越了存储容量优化的范围。它意味着从源设备向存储库传输的数据量大大减少，因而有效地缓解了拥挤的虚拟/物理基础架构以及局域网/广域网链路上的压力。因为只有新的或更改的子文件数据段从源设备传输到存储库，所以移动的数据量大大减少，从而实现极快的每日完整备份。客户端为执行源位置重复数据消除而增加的CPU开销昀多可达15%，但是备份的完成速度比传统方法快得多—而且有些体系结构提供了调节机制来管理任何可能出现的短期开销增加。以七天的时间段计，源位置重复数据消除的总体影响实际上比传统代理带来的影响小得多。源位置重复数据消除还提供了部署灵活性，因为较小的远程办公室只需部署一个软件备份代理即可。若环境中有规模巨大或每日数据更改率非常高的数据库，则可能需要考虑采用目标位置重复数据消除解决方案。所幸的是，供应商通常都提供数据评估工具，可帮助客户作出昀佳选择。©2010IDC#2218495目标位置重复数据消除目标位置重复数据消除可优化备份磁盘存储容量，因为只有新的、具有唯一性的子文件数据被存储到磁盘。所有备份数据仍使用传统备份软件传送到重复数据消除目标，因而提供了与现有IT基础架构的无缝集成。如果以前的备份目标（通常为磁带）是备份解决方案性能的瓶颈，则目标位置重复数据仅能缓解可用备份时间窗口的压力。使用目标位置重复数据消除时，存储系统本身（也叫重复数据消除存储系统）执行重复数据消除以优化数据保护和灾难恢复性能，同时卸下了应用程序服务器的重复数据消除负载。目标位置重复数据消除易于实施，只须创建一个快速、独立于应用程序的存储系统（可连接为使用以太网的网络连接存储[NAS]或使用光纤通道的虚拟磁带库[VTL]）即可。不要求客户端软件或其他配置。重复数据消除存储系统往往与较大的数据集和数据库配合使用。另外，目标位置重复数据消除既可以用于中央数据中心的大量数据，也可用于远程位置的本地备份—备份完成后复制到中央数据中心。何时执行重复数据消除如今有两种不同的方法可确定何时执行重复数据消除过程：线内或后处理。线内重复数据消除在冗余数据写入磁盘之前就将其消除，因此不需要磁盘转储区。后处理重复数据消除在数据已存储到磁盘后再分析并缩减数据，所以它需要一个全容量的转储区，在此启动重复数据消除过程。在选择方法时，公司需要考虑到备份速度和磁盘容量。线内重复数据消除是一种更能够立竿见影而且更经济的重复数据消除方法。它减少了系统中需要的原始磁盘容量，因为从不会将尚未进行重复消除的完整数据集写入磁盘。如果线内重复数据消除过程中支持复制，则线内做法还可以优化恢复时间，因为系统不必等到接收完整个数据集并对其执行重复数据消除后，才开始向远程站点复制。后处理式的重复数据消除要求等待数据传输到磁盘上，然后才启动重复数据消除过程。此做法与线内解决方案相比需要的初始容量更大。另外，后处理做法在重复数据消除完成之前以及在复制将要完成时引入了时间延迟。还有本地系统与远程系统之间存在不一致的风险，这是因为有两个存储区域，每一个都有其自己的策略和行为要管理。如何执行重复数据消除如何执行重复数据消除