双活数据中心技术架构

双活数据中心技术架构常见容灾模式主备模式冷备切换A中心B中心A中心B中心双中心互备模式复制切换1、故障下需要定位+决策+切换流程，超过0.5小时2、容灾侧资源闲置3、SRDF、PPRC等技术1、故障下需要定位+决策+切换流程，超过0.5小时2、劢态资源管理技术，容灾资源闲置3、SRDF、PPRC等技术双活并行模式并行处理A中心B中心两个中心平时均可承担业务，同时对外服务，坏掉任何一方丌影响。生产生产容灾容灾生产容灾容灾生产生产生产生产生产传统方案：“主备”模式或“互备”双中心模式“双活并行处理”模式，做到准0切换双活应用架构接入层：借劣DNS、全局负载均衡等技术实现双活接入和智能路由，流量调配应用层：基亍开放分布式集群架构、或服务总线技术数据层：需要构建双中心同时可读写的机制，如远程RAC基础架构层：网络上对稳定性和带宽吞吐性能要求更高，甚至需要打通跨中心的大二层网络。存储方面，则需改变一主一备的读写机制，实现同时可读写。接入层改造−智能路由，流量调配−数据层连接自劢重连−Ebus服务总线，分布式集群架构核心数据层应用层部署、接口数据库层技术改造存储层优化改造基础架构层数据层应用层双活零切换−DNS、全局负载均衡等−如Oracleextendrac−分布式内存库−带宽、稳定性、大二层−存储支持双活读写接入层•数据层•存储层•接入/应用层•虚拟化/云平台•技术关键点数据层双活三种方式Active-Standby方式：基于OracleADG技术，采用从主库向备库传输redo日志方式，备库恢复数据过程可以用只读方式打开进行查询操作，实现了部分双活功能，在主节点故障后可以将备节点切为Active-Active方式：通过OracleExtendRAC实现多个集群节点同时对外提供业务访问。该方式做到故障无缝切换，提升应用系统整体性能。数据逻辑复制软件方式：通过实时抽取在线日志中的数据变化信息，然后通过网络将变化信息投递到目标端，最后在目标端还原数据，从而实现源和目标的数据同步。主数据库目标库方式1、oracleADG通过网络从生产向容灾传输归档或redo日志，容灾端恢复方式同步数据。Oracle11g以后容灾库可打开为只读模式，容灾切换时能快速alter为读写状态。存储支持异构，OS需要同构应用场景：作为应急或容灾作为读写分离作为数据保护手段（结合flashDB）Network调度管理器Primary数据库逻辑Standby（ADG）数据库（平时只读访问）实时查询报表SQL恢复转换Redo成为SQL额外索引&物化视图物理Standby数据库（平时不能打开）备份Redo恢复DIGITALDATASTORAGEDIGITALDATASTORAGE同步或异步Redo传送ADG=ActiveDataGuard方式2、逻辑复制通过DSG、GoldenGate等逻辑复制技术实现跨中心数据库的相互复制支持表级的复制两个数据中心各建一套数据库，物理独立，同时能读写基于数据库日志准实时复制数据支持异构数据库、异构OS可以实现一对一、一对多、多对一、双向复制等多种拓扑结构Dsg工作原理方式3、Oracle远程RACOracleExtendedRAC以跨中心共享存储为基础，通过共享存储资源和OracleClusterware数据库集群管理，实现各个中心节点对数据库并行访问。共享存储可以采用存储自身数据复制技术，存储虚拟网关或远程卷管理等技术，左图以OracleASM存储卷管理为例，实现数据的双向实时复制。ASM支持对本地磁盘的优先读取，避免跨数据中心的数据读取，提高I/O性能并减少网络流量；要点（ASM）：•两个数据中心分别部署一套存储，各提供一套LUN设备给全部数据库主机。•存储的SAN网络和RAC心跳网络需使用低延迟、高带宽的DWDM光纤链路。•配置ASM磁盘组。每个磁盘组配置两个失效组，每个失效组对应来自一套存储的LUN设备。•在第三个站点部署用亍RAC的第3个投票盘，使用NFS的方式挂载到所有数据库主机。•不管理普通的RAC系统类似，需要重点加强对站点间光纤链路情况的监控与应急。内存库双活技术将数据常驻在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能应用场景：用于实时计费、读写分离场景，主要有OracleTimesTen，Altibase商用以及华为、亚信和斯特奇等自研产品。内存库集群部署主要有HA模式，双活模式，线性拆分和分布式集群四种模式。HA模式双活模式线性拆分模式分布式集群模式数据层双活技术比较技术种类技术特征数据一致性双活读写数据延迟可维护性可靠性适用模式物理库基于数据逻辑复制软件DSG、gg、shareplex等逻辑错误会导致不一致，无法稽核支持存在延迟（和日志量有关）较差，系统变更需要人工介入较好，支持多线程，不影响生产需定期重新同步数据一致性要求较低或基于表的同步基于数据库自身oracleactivedataguard一致（前提正常同步）不支持存在延迟（和日志量有关）维护简单，支持线性扩展较好，同步效率高，快速切换读写分离场景OracleExtendedRAC一致支持实时同步，没有延迟较好较好核心系统对稳定性较高内存库HA模式基于日志实时或异步同步存在不一致风险不支持存在延迟较好一般适合物理库较小双活模式基于日志实时或异步同步存在不一致风险支持存在延迟较好一般线性拆分基于日志实时或异步同步存在不一、致风险不支持存在延迟较差，复杂一般适合物理库较大分布式集群基于日志实时或异步同步一致支持存在延迟较好较好适合核心系统建议：在实际使用中应根据具体情况选择合适的方案，理论上只有ExtendedRAC为真正的双读双写•数据层•存储层•接入/应用层•虚拟化/云平台•技术关键点存储双活流派存储层作为双活系统核心基础架构平台，其双活技术在整个架构中起到关键作用，目前基于存储层双活方案主要有下面三种：基于远程卷管理软件的虚拟化，如：SymantecSF，IBMGPFS，OracleASM等基于存储网关虚拟化，如：EMCvplex、IBMSVC基于存储自身卷镜像技术，HDSGAD、Huawei等1.卷管理软件虚拟化：通过安装在主机上卷管理软件的逻辑卷镜像技术实现底层数据逻辑同步。2.存储网关虚拟化：在每个站点新增存储虚拟化网关设备组成跨站点集群,并对存储卷进重新行封装，对外提供主机I/O访问。3.存储卷镜像技术：将两套磁盘阵列组成一个集群，两台存储上的LUN被虚拟化为一个虚拟卷，主机写操作通过卷虚拟化镜像技术同时写入两个数据中心的存储设备，保证站点之间数据实时同步。流派1、远程卷管理软件数据同步：底层数据复制采用远程卷管理软件，如赛门铁克的storageFoundation（SF）、IBM的GPFS、Oracle的ASM等，通过逻辑卷镜像技术实现底层数据逻辑同步。上层应用采用OracleExtendedRAC方案实现远程多节点RAC,使生产和容灾节点都处于在线状态，应用逻辑访问的是同一个数据库。数据读写：支持双读写。数据一致性：完全一致。流派1、远程卷管理软件案例：IBMGPFS+oracle11gExtendedRAC应用场景：一边承担生产，另一端承载统计分析和查询实施要点：网络改造：需要打通两个中心间大二层网络。底层存储链路改造：需要认到对端机房存储，带宽要求高。提供可靠性较高的二层网络（心跳网络）提供可靠性较高的共享存储（投票盘）对底层链路和距离要求高：距离太远会导致响应变慢，官方建议50KM之内。流派2、存储网关虚拟化实现原理：将存储虚拟化技术(EMC的vplex)和Oracle的远程RAC技术结合，实现跨中心的数据双活访问。跨中心的两个存储通过网关设备虚拟成一个对外访问，内部实时同步，保持数据的一致性，平时两边主机分别访问本地存储，故障情况下可跨中心访问对方存储。对于同一个数据块的读写冲突机制，是由OracleRAC来保证的。具备脑裂预防服务器“witness”：witness是VPLEX的仲裁装置；流派3、基于存储自身卷镜像不需要额外软硬件，需要采用特定高端存储设备，如VSP、XP7以上才可以。存储网络架构没有改变，易于实行。两边存储可以同时读写。上层需要结合Oracle远程RAC实现双活存储层双活技术对比技术特征技术特征数据一致性双活读写可靠性异构性投资成本优缺点基亍远程卷管理（软件虚拟化）SymantecSFAIXLVMIBMGPFSOracleASMRPO=0支持较差支持异构成本较低基亍存储网关虚拟化EMCVplexIBMSVC华为VIS飞康NSSRPO=0支持较差支持异构较高组网复杂，可靠性差，数据同步性能差基于存储卷镜像（存储自身虚拟化HDSGADHuaweiOceanStorV3RPO=0支持较好RTO=0不支持较低组网简单，维护方便，但技术较新，实用经验少基亍存储HA机制IBMpowerHAHyperSwap、日立的HAMRPO=0支持较差丌支持投资较高采用高端存储虚拟化软件，有一端远程读写效率低整体看红色为最优方案，但要根据实际情况选择，上述方案均需要ExtendRAC支持。•数据层•存储层•接入/应用层•虚拟化/云平台•技术关键点应用层双活要点双活需要从接入、应用层、数据连接等层面考虑实现，才能实现“零”切换。应用支持：建议构建统一管理的接口层或采用服务总线技术实现应用自动重连机制，确保自动切换，减少人工切换。---支持数据库切换后应用的正常运行双中心部署相同的应用集群方式，或跨中心的集群接入层技术采用全局负载均衡（如F5的GTM）、DNS、或前置CDN等技术实现跨中心灵活接入。1、业务多中心并行模式：通过一组GSLB来对外提供服务，GSLB监控服务的状态，并通知组内其他设备，对于每一个DNS请求返回最佳结果，好的策略选择和配置方式可以最大幅度提高客户体验。2、业务多中心互备模式：对于内网业务通过一组SLB来提供服务，实现DNS解析，负载分发和故障切换。应用双活：当单数据中心出现故障时，可以将请求引导向另一个可用的数据中心，实现双活高可用。智能流量控制：GSLB根据后端服务器负载和链路状况实现不同站点间流量调配，链路优选，保证用户访问最佳性能服务器，确保访问质量，提升用户感知。•数据层•存储层•接入/应用层•虚拟化/云平台•技术关键点云架构下的双活云化后的变化：虚拟化技术应用实现集群化和x86化带来问题：难以沿用原有的双活设计方式，需要新考虑考虑集群化的业务连续性双活方案。云化双活分类方案描述场景举例传统基亍负载均衡的双活架构每个中心部署独立的于化应用集群，通过接入层负载均衡实现双活Web集群等基亍分布式应用协调机制构建一套跨中心应用集群，通过分布式应用协调如zookeeper实现跨中心的高可靠性集群，统一配置、统一管理和任务分配。EBUS跨中心双活应用集群、分布式缓存等hadoop、mpp等的双活机制1、应用写两份方式实现双活2、跨中心集群方式大数据虚拟化平台的跨中心双活（迁移）1、跨中心虚拟机集群，可平滑迁移2、每个中心一套集群，通过接入层构建负载均衡实现双活于资源池模式1、相互独立的双集群在每个中心部署独立的云化应用集群1、如Web类应用可通过接入层和负载均衡实现双活访问，2、如hadoop或MPP集群应用可通过上层应用实现双集群数据同步，从而实现双活。APP1APPnAPP1APPn接入层负载均衡器接入层负载均衡器APP2„„数据中心1APP2„„数据中心2Node1NodenNode1Node2Noden„„应用Node2„„数据中心1集群数据中心2集群前端同时向两个集群写模式2、跨中心单集群模式第一种是基于分布式应用协调机制：构建一套跨中心应用集群，通过分布式应用协调如Zookeeper实现跨中心的高可靠性集群，实现统一配置、统一管理和任务分配。第二种是基于数据副本保护机制：如详单云和