HP容灾技术培训

©2007Hewlett-PackardDevelopmentCompany,L.P.Theinformationcontainedhereinissubjecttochangewithoutnotice容灾技术培训2AgendaXP容灾原理容灾系统架构及设计容灾系统日常维护容灾数据切换及恢复外挂存储3XP磁盘阵列容灾原理4ContinuousAccess(CA)ContinuousAccessXP（简称CA）是基于XP磁盘阵列的远程镜像软件。通过CA可以实现两台XP之间的实时数据复制。P-VOLS-VOLPrimaryXPSecondaryXPP-VOL=源数据卷S-VOL=目标卷MCU=MasterControlUnit，包含P-VOLRCU=RemoteControlUnit，包含S-VOLMCURCU5数据复制技术—ContinuousAccessXPSync•每一个写IO先后在主备阵列上写完以后才返回完成，数据零丢失•两站点之间距离越远，写延时越长•适用于两站点之间距离较近（通常小于30KM），且远程链路带宽较高（通常大于1Gb）的情况6数据复制技术—ContinuousAccessXPAsync•每一个写IO写入主阵列缓存即返回完成•主阵列通过建立IO顺序表的方法向备阵列异步更新数据•主阵列通过缓存（Sidefile）储存尚未发送给备阵列的数据•写IO延时基本不受远程链路距离影响•在链路带宽足够的情况下可实现数据接近零丢失•需要通过参数设置的方式限制暂存数据对缓存的占用7数据复制技术—ContinuousAccessXPJournal•每一个写IO写入主阵列缓存并更新Metadata后即返回完成•备阵列向主阵列发送请求，异步从主阵列读取数据•主阵列通过Journal盘储存尚未发送给备阵列的数据，对缓存占用很少•写IO延时基本不受远程链路距离影响•合理设置Journal盘的容量可以最大程度保持数据传输的有序性8HP3DCSolution•一、二中心之间通过ContinuousAccessSync方式进行数据复制，实现数据零丢失•二、三中心之间通过ContinuousAccessJournal方式进行数据复制，实现远距离数据容灾•在每个中心分别通过RaidManager主机进行管理和控制RaidManagerRaidManagerRaidManager9ContinuousAccess的控制方式在XP上安装CA软件，在访问XP的主机上安装Raidmanager软件。通过控制Raidmanager命令来管理CA的运行RAIDManagerInstance控制命令主机RAIDManagerInstance控制命令主机P-VOLS-VOLP-VOLS-VOLFC网络SVPUDPCA软件CA软件IP网络FC连接FC连接MCUMCURCURCU10ConsistencyGroup(CTGroup)在异步模式下，CA通过ConsistencyGroup（简称CTGroup）来保证写入顺序的一致性。对于同一个CTGroup内的所有镜像卷来说，写入远程XP的顺序和写入本地XP的顺序是一致的。Data1Data4Data2Data3ApplicationData1Data2Data3Data4CacheData1Data4Data2Data3CacheData4Data3Data2Data11234SortPrimarySiteRemoteSiteAsynchronousTransferwithoutoforderrepaired(perconsistencygroup)Sortbysequencecontrolinformation11RaidManager(RM)RAIDManager（简称RM）XP是基于主机的软件包。通过RM可以从主机上使用命令行来控制XP镜像软件（包括ContinuousAccess、BusinessCopy等）的运行。Commands:pairdisplaypaircreatepairsplit...ConfigurationFileRaidManagerInstanceHostCMDDeviceXP12RaidManager在容灾系统中的应用/etc/horcm0.confInstance0Instance0/etc/horcm0.confCommandsP-VOLXPsoftware(CA)CmdDeviceLocalXPCommandshost1host2S-VOLXPsoftware(CA)CmdDeviceRemoteXPIPFC13RAIDManager配置文件/etc/horcm.conf:HORCM_MON#ip-addressservicepoll(10ms)timeout(10ms)132.33.34.11horcm010003000本机IP地址horcm进程监听端口号轮询设置超时设置HORCM_CMD#dev_name/dev/rdsk/c11t15d7XPCMDDevice的设备文件HORCM_DEV#dev_groupdev_nameportTargetLunca-billbill01_01CL1-A00CTgroup名称镜像卷名称LUN所在的端口target号LUN号HORCM_INST#dev_groupip_addressserviceca-bill132.33.34.11horcm0CTgroup名称对端RM主机IP地址对端RM主机horcm进程监听端口号14容灾系统架构及设计15方案概述•本项目的目标是构建XX集团计费帐务系统的大连容灾系统。•容灾中心选址在大连XX机房。数据复制机制选择基于存储级的数据复制软件ContinuousAccess/XP。容灾存储设备选择惠普公司的企业级高端存储设备XP10000。在容灾机房中配备了各子应用系统的容灾主机–惠普公司的HP9000服务器。•本项目实施完成后，根据目前应用系统在两台XP128上的部署，将实现北京机房的两台XP128到大连一台XP10000的实时数据复制。16本次项目复制数据范围业务分类卷组LDEV数量容量(GB)feevg01~0547649billvg01~101472029busvg01~0641566colvg01~0320276mqvg01341dsfeevg01~0239538dsbillvg01~0226359dsbusvg01~0211152共计3344609根据东软及网通集成公司的共同确认，本次容灾项目涉及的数据复制范围如下：17现有SAN环境18项目实施后的SAN环境19XP10000划分•硬件配置Cache:16GBCHIP端口：16个ACP：1对磁盘组：146GBx4x26（裸容量14TB左右）•Cache划分五个业务系统共享16GBcache。•磁盘组OPEN-E。Raid级别采用RAID5（3D+1P）。•LDEVIDLDEVID的分配采用disperse方式。20XP10000端口配置•CHIP端口计费系统，MQ：2个CHIP端口帐务系统，采集系统：2个CHIP端口客服系统：2个CHIP端口端口用途端口用途CL1A计费系统，采集系统CL2A计费系统，采集系统CL3A帐务系统，MQCL4A帐务系统，MQCL5A(预留)CL6A(预留)CL7A(预留)CL8A(预留)CL1BCA-20917-CL1H,CA-20434-CL1HCL2BCA-20917-CL2D，CA-20434-CL2DCL3B客服系统CL4B客服系统CL5B(预留)CL6B(预留)CL7B(预留)CL8B(预留)21XP128及XP10000配置表22ContinuousAccess配置两台XP128到XP10000的CA配置的MCU-RCU关系如下：MCURCUPaths20917,CU083066,CU0,SSID4CL1HCL1B,CL2HCL2B20917,CU183066,CU1,SSID5CL1HCL1B,CL2HCL2B20434,CU183066,CU2,SSID6CL1HCL1B,CL2HCL2BMaximumInitialCopyActivity:4CU0P-VOLCU1P-VOLCU1P-VOLS-VOLS-VOLS-VOLCU0CU1CU2XP128-20917XP128-20434XP10000-8306623CTGroup规划业务分类卷组CTGroupfeevg01~05ca-feebillvg01~10ca-billbusvg01~06ca-buscolvg01~03ca-colmqvg01ca-mqdsfeevg01~02ca-dsfeedsbillvg01~02ca-dsbilldsbusvg01~02ca-dsbus24RaidManager配置/etc/horcm0.confInstance0Instance0/etc/horcm0.confCommandsP-VOLCAc17t15d7/c21t15d7XP128-20917Commands132.33.34.11132.37.3.11S-VOLCAc12t15d7/c13t15d7XP10000-83066IPFCP-VOLCAc36t15d7/c37t15d7XP128-20434FC北京大连25RAIDManager配置文件-北京yz-col2:/etc/horcm0.conf:HORCM_MON132.33.34.11horcm010003000HORCM_CMD#unit0(20917)/dev/rdsk/c17t15d7/dev/rdsk/c21t15d7#unit1(20434)/dev/rdsk/c36t15d7/dev/rdsk/c37t15d7HORCM_DEVca-billbill01_01CL1-C25…ca-busbus01_01CL1-B36…ca-colcol01_01CL1-A83…ca-feefee01_01CL1-A00…ca-mqmq01_01CL1-B02…ca-dsbilldsbill01_01CL1-E100…ca-dsbusdsbus01_01CL1-F100…ca-dsfeedsfee01_01CL1-E132…HORCM_INSTca-bill132.37.3.11horcm0ca-fee132.37.3.11horcm0ca-bus132.37.3.11horcm0ca-col132.37.3.11horcm0ca-mq132.37.3.11horcm0ca-dsbill132.37.3.11horcm0ca-dsfee132.37.3.11horcm0ca-dsbus132.37.3.11horcm026RAIDManager配置文件-大连B35-RZDL-COL01:/etc/horcm0.conf:HORCM_MON132.37.3.11horcm010003000HORCM_CMD/dev/rdsk/c12t15d7/dev/rdsk/c13t15d7HORCM_DEVca-billbill01_01CL3-A25…ca-busbus01_01CL3-B00…ca-colcol01_01CL1-A57…ca-feefee01_01CL1-A00…ca-mqmq01_01CL3-A215…ca-dsbilldsbill01_01CL3-A186…ca-dsbusdsbus01_01CL3-B51…ca-dsfeedsfee01_01CL1-A83…HORCM_INSTca-bill132.33.34.11horcm0ca-fee132.33.34.11horcm0ca-bus132.33.34.11horcm0ca-col132.33.34.11horcm0ca-mq132.33.34.11horcm0ca-dsbill132.33.34.11horcm0ca-dsfee132.33.34.11horcm0ca-dsbus132.33.34.11ho