CommVault-Galaxy备份系统基础索引目录1.备份系统结构和模块说明2.CV索引技术特点和说明3.备份系统常识4.应用系统备份说明5.备份系统设计和管理6.CV的存储资源7.CV的数据存储管理8.CV的客户端说明9.CV的计划制定和任务管理10.如何恢复数据•附件-技术术语三层备份系统结构CV的三层结构CV的各个模块:CommServer-主控服务器MediaAgent-备份服务器,介质服务器iDataAgent-备份客户端CV备份域备份系统结构和模块说明三层体系的备份架构客户端IDATAAGENT备份服务器MA主控服务器COMMSERVER备份域三层架构CV的三层体系结构LibraryDiskLibraryMediaAgentWindowsNetWareLinuxMediaAgentHPUXSolarisAIXCTELINUXHPUXWindowsNTWindows2000Tru64SolarisAIXExchangeOracleInformixSQLSharePointLotusNotesNetWareSAPCommServeMetaDataJobsControlGUI&WEBServiceLibraryDiskLibraryCommServer备份管理服务器•维护所有的配置信息(客户端,介质代理,备份设备等)•维护管理用户的权限和软件许可•管理所有的作业和历史任务记录•提供WEB和GUI服务CSMetaDataCommCellConsoleSecurity&LicensingMediaAgent介质服务器•真正往备份存储设备上读/写数据•维护该介质服务器上所有作业的索引信息和索引缓冲区信息•作业的索引信息会和备份任务一起写入介质•能支持Windows,UNIX,Linux和Netware系统.MAIndexCacheDataStorageiDataAgent智能数据代理•支持所有主要文件系统和应用•安装iDataAgent的主机被称为客户端•一个客户端能安装多个iDataAgent,但至少必须安装1个基本模块•iDataAgent有多种类型,包括:–基本模块(文件系统)–应用在线备份模块(Oracle,SQL等)–其他功能模块(QR,DM等)iDAApplicationDataFileSystemDataCommCell就是备份管理域•管理服务器管理的备份域中,有且只有1个CommServer备份管理服务器•可以包括1个或多个介质代理(MediaAgent)、和1个或多个智能数据代理(iDataAgent)EnterpriseDepartmentalWorkgroupCV的2段式索引索引内容举例数据备份时对索引的操作浏览和恢复对索引的操作2段式索引的优势CV索引技术特点和说明CV的二段式索引•CV2段式索引提高了可靠性和性能•LevelI–由CommServer管理维护–跟踪所有介质上的任务,包括:时间,计算机名,任务类型等;该索引是汇总索引•LevelII–由介质服务器管理维护–跟踪每个任务内的目标–会在磁盘上缓存来提高性能–这些索引会和相关的任务同时拷贝到磁带上,提高可靠性(在CommVault备份数据集合中即包括了数据也包括该数据的索引)IndexCacheIndexwrittentoJobsummarydata二级索引的内容包括:哪台机器哪天做了哪个备份,放在哪合磁带上,从哪个介质上做的每合磁带中,即包括了备份数据,也包括该备份数据的索引一级索引的内容包括:这个备份任务中的文件名称,路径,存放在备份集合的哪个位置CV索引内容举例注意:所以,汇总索引基本上是每个备份任务有1条记录,数量不会很大;而一级索引中,即使一个备份任务,都有可能有成千上万条的记录;例如,备份一个WINDOWS操作系统盘,就有可能有4万多条记录(4万多个文件)。因此一级索引占有的空间很大,检索的效率和索引非常有关。备份时对索引的操作1扫描阶段:•创建汇总索引的任务•记录生成备份文件列表•产生一级索引的主要字段备份时对索引的操作2备份阶段:•根据备份文件列表,备份数据•计算每个文件的备份位置•修改一级索引备份时对索引的操作3日志归档阶段:•将一级索引写到备份介质中•修改相关汇总索引记录浏览和恢复对索引的操作1用户查询阶段:•根据时间,主机,查询备份任务,得到汇总索引记录•根据汇总索引记录,查到一级索引由哪些介质服务器维护•查看一级索引是否在介质服务器的索引缓存中•如果不在索引缓存,请看下一步•如果在索引缓存,直接跳到步骤3浏览和恢复对索引的操作2从磁带恢复索引到索引缓存:•根据汇总索引记录,找到存放一级索引的磁带,并且计算出索引存放位置•将索引数据恢复到介质服务器的索引缓存中浏览和恢复对索引的操作3浏览备份数据:•从介质服务器上的一级索引中,将备份数据列表传送给管理服务器,供用户浏览和选择浏览和恢复对索引的操作4恢复数据:•根据用户选择的恢复目标,找到汇总索引中指定的一级索引,并且和恢复目标能够匹配•根据一级索引得到恢复目标存放的磁带和磁带上的位置•读取数据进行恢复MetadataCommServe索引介质数据信息位置偏移量全文数据索引介质数据信息位置偏移量全文数据索引介质数据信息位置偏移量全文数据数据信息位置偏移量全文数据索引自我恢复•一个逻辑目录,分布式构成–整个管理域只有一个视图•优化的索引引擎具有极大的灵活性、数据完整性和性能•索引缓存大小由策略自动管理•自动归档和恢复索引•与数据保留时间相结合•消除了索引损坏的风险2段式索引的优势索引也可以集中存放到1个或多个地方,例如:CommServer上1个,MA上1个索引索引索引索引或者将索引恢复或辅助拷贝到另外1个MA上备份数据流说明备份设备说明LAN-备份LAN-FREE备份SERVER-FREE备份SERVER-LESS备份备份类型备份系统常识备份数据流ClientMediaAgent•高性能的数据移动方式,采用DataPipe技术•DataPipe是含有索引的,以Chunk为单位•2种类型的数据流:–任务数据流JobStream–设备数据流DeviceStreamJobStreamsDeviceStreams备份设备主机接口条码阅读器机器臂磁带槽IEPort磁带驱动器LAN备份方式LANBackupLAN主控服务器备份服务器生产系统备份客户端LAN-Free备份方式LANSANLAN-freeBackup主控服务器生产系统备份客户端介质服务器Server-Free备份方式LANSAN主控服务器备份服务器备份客户端Server-freeBackup生产系统被代理客户端由它产生快照Server-Less备份方式LANSANServer-lessBackup主控服务器备份服务器生产系统备份类型备份类型说明优点缺点全备份所有数据的完整备份作数据恢复的时间最短数据恢复最完整,不会出错备份的时间最长,相对其它备份类型备份数据占有的空间最大增量备份自从上次备份后变化的数据作备份备份时间最短备份占有的空间最少完全恢复系统时间最长恢复数据依赖于其它备份,包括先前的全备份和增量备份差异备份自从上次全备份后变化的数据作备份是介于增量备份和全备份之间的一种备份方式,所以是增量和全备份的一种折中合成全备份在备份服务器或介质服务器上,根据先前的全备份和其它增量或差异备份,合并生成全备份由于生成全备份是在备份服务器完成,所以对应用服务器没有压力恢复的时间和恢复数据的完整性和全备份相同占用的备份空间和全备份一样大文件系统备份恢复说明Oracle数据库备份恢复说明SQL数据库备份恢复说明Exchange-AD备份恢复说明Lotus备份恢复说明NAS系统备份说明应用系统在线备份文件备份文件备份是最基本的备份。文件系统的增量备份:在文件系统增量备份中,如果1个文件中一个字节被修改,那这个文件也必须被整个备份到增量备份中。打开文件备份:在WINDOWS系统中,当一个应用锁定某个文件时,该文件是不能被其他应用访问。所以也不能被备份系统备份。如果要备份该文件,现在流行的方式是采用快照方式的打开文件备份。原理是通过在数据卷上产生一个静态的快照,备份系统从这个静态快照卷上读取文件进行备份。由于应用程序不会锁定快照卷上的文件,所以就能备份了。在UNIX和Linux环境下,即使应用锁定了某个文件,该文件还是能被读取和备份的。所以,UNIX和LINUX不需要打开文件备份方式。Oracle备份常识•Oracle在线热备份必须通过RMAN来实现,所有的备份软件都是通过调用或生成RMAN脚本来实现Oracle的在线热备份。•Oracle进行在线热备份的时候,必须将归档模式打开。•Oracle备份信息都会存放在控制文件(ControlFile)中,所以ControlFile的保护非常重要;可以通过文件方式或者CatalogDB来保护。•Oracle需要备份的内容,包括:•Oracle数据文件•Oracle的归档日志•Oracle的控制文件•Oracle的运行环境,包括:LISTENER,TNS,pfile或spfile等•Oracle的备份模式会有2种:•ControlFile备份方式•CatalogDB备份方式Oracle备份类型Oracle备份流程数据文件RedoLogArchiveLogRMANControlFile备份设备CatalogDB5-同步1-提交备份2-备份数据文件3-备份归档日志4-备份控制文件4-备份控制文件通过文件备份将Oracle置于备份模式备份Oracle数据文件备份Oracle的归档日志将Oracle置于正常模式备份Oracle控制文件Oracle恢复流程数据文件RedoLogArchiveLogRMANControlFile备份设备CatalogDB2-恢复控制文件3-恢复数据文件4-回滚备份的归档日志2-恢复控制文件通过文件备份1-启动Oracle到NoMount状态5-将Oracle打开,并且复位日志注意:所有备份数据的信息都会存放在控制文件中,所以必须首先恢复控制文件将Oracle从Close变为NoMout状态恢复最新的控制文件将Oracle从NoMount变为Mount状态恢复所需要的数据文件回滚Oracle到指定时间点或最新时间点(基于备份的归档日志或在线回滚日志)将Oracle从Mount状态打开变为OpenCV常用Oracle恢复方式情况1:本地恢复,控制文件还在;数据文件或者日志文件损坏。启动Oracle进入Mount状态。直接用CV的界面恢复Oracle,采用缺省方式,可以将目录连接去掉(在高级选项中)。进入Oracle的界面:sqlplus/nologconnassysdbaSys/sysRecoverdatabaseuntilcancel打回车Alterdatabaseopennoresetlogs;情况2:本地恢复,控制文件也坏了;或者异机恢复。利用文件恢复,恢复Oracle控制文件。启动Oracle进了Mount状态。直接用CV的界面恢复Oracle,采用缺省方式,可以将目录连接去掉(在高级选项中)。进入Oracle的界面:sqlplus/nologconnassysdbaSys/sysRecoverdatabaseusingbackupcontrolfileuntilcancel打回车Alterdatabaseopenresetlogs;SQL数据库备份恢复•SQLServer在线备份不需要数据库的额外设置。•SQLServer需要备份的数据由2部分组成:•系统数据库,包括:MASTER,MSDB,MODULE数据库;这些数据库只能够作全备份,即使定义成其它类型备份也会自动转变为全备份。•用户定义数据库,包括:PUBS,NORTHWIND,和其它用户定义的数据库。•SQLServer的备份类型:•全备份•增量备份•日志备份•SQLServer的恢复说明:基本上在SQLServer的恢复中,通常不需要恢复Master或其它类型的系统数据库;而只要恢复用户定义的数