思科两地三中心双活解决方案一、方案背景与用户需求1.1方案背景随着企业的商业活动越来越依赖于网络,因此越来越多的企业在寻找一种强大的数据中心架构,这种高可用的结构能够减少甚至消除正常和非正常的停机对业务可用性造成的影响。这意味着无论是否有中断,关键任务应用系统都能够不间断地创造产值并提高公司的业务持续性底线。因此建立多个数据中心来实现业务的容灾成为必然的选择。而用户建立多个数据中心来承载业务系统的主要目的是为了实现应用的高可用性,因此根据数据中心之间的关系,我们通常将数据中心分为以下三个类型:●主数据中心/灾备数据中心,●双运营数据中心●双活数据中心1.2用户方案需求分析用户建立多个数据中心来承载业务系统的主要目的是为了实现应用的高可用性,因此根据数据中心之间的关系,我们通常将数据中心分为以下三个类型:●主数据中心/灾备数据中心,●双运营数据中心●双活数据中心主数据中心/灾备数据中心:在这种工作模式下,用户所有的业务系统在主数据中心中运行,而灾备数据中心为业务系统提供冷备或热备。当主数据中心的应用出现故障时,可以将单个应用或者数据中心整体切换到灾备数据中心。双运营数据中心在这种工作模式下,用的一部分应用在第一个数据中心运行,另一部分应用在第二个数据中心运行,同时两个数据中心实现应用的互备,当某个应用出现故障时,由对应的备份数据中心应用接管服务。双活数据中心在这种工作模式下,用户所有的业务系统同时在两个数据中心运行,同时为用户提供服务,当某个数据中心的应用系统出现问题时,有另一个数据中心的应用来持续的提供服务。双活数据中心最大的特点是:一、充分利用资源,避免了一个数据中心常年处于闲置状态而造成浪费。通过资源整合,双活数据中心的服务能力是双倍的。二、双活数据中心如果断了一个数据中心,另外一个数据中心还在运行,对用户来说是不可感知的。二、双活数据中心解决方案2.1双活数据中心路径优化路径优化技术:如何引导用户去最适合的数据中心访问应用。DNS重定向(GSLB),通过智能DNS技术,在多个数据中心之间实现负载分担,要求应用采用域名方式进行访问,可以实现数据中心双活健康路由注入(RHI),这是一种路由机制,它允许两个数据中心使用同一个IP地址。这意味着同一个IP地址(主机路径)被发布为不同的metric。上游路由器可以同时看到两条路径,并将metric更好的路径插入到其路由表中。适用于通过IP访问的应用,实现应用的灾备。LISP(Locator/IDSeparationProtocol),提出将标识Locator的IP(RLOC)和标识目的节点ID的IP(EID)进行区分和叠加封装,在公网传输时只根据LocatorIP转发,只有到达站点边缘时才会剥离外层IP,使用内层标识EID的IP进行转发。可以让网络识别应用在不同数据中心的之间的流动,适用于虚拟化应用。2.2双活数据中心应用网络应用网络技术:将同一个网络扩展到多个数据中心,并且实现服务器和应用的虚拟化数据中心互联技术:传统上采用三层互连,通常用于链路备份以及存储复制。随着高可用远程集群技术以及虚拟机迁移技术在数据中心容灾以及计算资源调配方面的广泛应用,在数据中心间需要大二层网络连接,主要技术采用OTV(OverlayVirtualizationTransport)实现多个数据中心的大二层互联。服务器负载均衡技术:对访问数据中心内服务器的负载进行均衡或者说分担。在多数据中心的建设中,需具备与广域负载分配系统的联动能力,以及支持与服务器虚拟化的整合:即如何感知应用服务器的位置、CPU、内存利用率,可以与OTV技术和虚拟化技术结合,实现应用在多个数据中心之间的漂移。虚拟化技术,有利于整合数据中心服务器(虚拟机),以提高计算资源利用率以及改善负载流动性,对业务连续性有重要意义。2.3双活数据中心数据同步存储复制:提供应用对于本地存储的有效访问,并解决数据中心之间进行远程数据同步的问题:同步数据复制技术:●在两个数据中心实时写入存储●距离受到严格限制●基于主机的镜像(i.e.VeritasVolumeReplicator)或是基于磁盘的镜像(i.e.IBMPPRC,EMCSRDF/S,HDSTrueCopy,HPDRM)●需要大带宽,低延时的网络异步数据复制技术:●在两个数据中心进行周期性的数据镜像同步●基本没有距离限制●IBMPPRC-XD(nonsynchronous),IBMXRC,EMCSRDF/A,HDSTrueCopy,HP/CompaqDRM可以实现●由于网络因素,带来了数据丢失的风险三、双活数据中心配置描述3.1方案配置:●NEXUS7000系列交换机●智能DNS多站点选择器●应用负载均衡器●MDS光纤通道交换机3.2NEXUS7000交换机:数据中心虚拟化互联技术OTV通过FabricPath等技术,我们可以构建一个大规模的虚拟化数据中心网络。由于供电制冷的限制,容灾备份等要求,我们可以设计构建物理上分离但逻辑上一体的跨数据中心的网络,基于这个网络来建立分布式虚拟化的数据中心。通过这个网络,计算能力可以在不同的数据中心之间自由流动。我们只有把一个数据中心的网络通过技术延伸到远端的数据中心,才能实现这样的业务需求。OTV(OverlayTransportVirtualization)就是这样的一个技术,通过OTV技术可以实现穿越IP骨干的数据中心网络的打通。OTV技术借用了一部分EoMPLSoGRE的数据帧封装,当采用了完全不同的控制平面。通过ISIS来建立Adjacency关系,并交换数据中心之间的MAC地址表。OTV技术对于IP骨干网的要求只是IP可达,不需要MPLS的支持,大大简化了网络的维护。同时由于采用了控制平面和转发平面的分离,有效阻止了二层广播泛滥到IP骨干上,同时也不需要把生成树跨在数据中心间的骨干网上,大大提高了整个网络的稳定性。通过OTV技术,我们可以通过IP网络实现多个数据中心的网络的整合和虚拟化,实现计算资源在不同数据中心间的自由流动,也为双活数据中心的实现提供了网络保证。3.3智能DNS多站点选择器:跨数据中心基于域名的多活技术对于基于域名进行访问的应用,例如典型的B/S架构的服务。可以通过智能DNS多站点选择器实现设立在多个地点或独立拓扑中的数据中心之间的负载均衡。其目标是将客户端引导至最适合或最好的数据中心。传统的基于BIND的DNS系统存在一些缺点:●BIND无法决定其提供地址的设备的“可用性”●BIND只有一种简单的均衡方法-循环(RoundRobin)为了帮助确保数据中心可用性,需要配置专业的智能DNS多站点选择设备,实现数据中心间的全局负载均衡和智能故障切换,以帮助确保业务连续性、全面的域名系统(DNS)和动态主机配置协议(DHCP)支持,并抵御基于DNS的分布式拒绝服务攻击。智能DNS多站点选择器主要功能和机制:●智能DNS多站点选择器具有丰富和智能的就近性探测策略:○智能DNS多站点选择器使用就近策略Source-list方式,可以实现全局负载均衡,为客户端提供就近性访问能力。○智能DNS多站点选择器使用DRP协议与相应路由器探针交互实现为客户提供就近的DNS解析●智能DNS多站点选择器keepalive机制kal-ap检测VIP的负载和在线信息(LoadandVIPonlinestatus)●智能DNS多站点选择器实现多中心的自动切换和负载均衡策略,多台智能DNS多站点选择器实现统一的管理集群:智能DNS多站点选择器利用其功能来根据网络中特定设备的运行状况来做出智能的DNS决策。由于能够实现网络设备运行状况监控,并根据从网络中这些设备中收集的信息来决定提供哪些资源记录,智能DNS多站点选择器为现有的DNS基础设施增加了很多智能特性。智能DNS多站点选择器并不是现有DNS域名服务器的一种替代产品,相反,智能DNS多站点选择器与DNS控制方法一同提供高可用性,可提高现有域名服务器的价值。基于域名的应用容灾技术与基于IP地址的应用容灾技术相结合,可以实现完整的跨数据中心应用容灾解决方案。3.4应用负载均衡器:跨数据中心计算能力调度DWS以数据中心内部署的服务器负载均衡设备为中心,通过网络设备对跨数据中心的感知,将多个数据中心内部署的虚拟计算平台联动起来,可以实现跨数据中心的计算能力调度。●负载均衡设备可以与支持数据中心虚拟化互联技术OTV的网络设备联动,可以识别出哪些虚拟服务器位于本地数据中心,哪些虚拟服务器位于异地数据中心;香格里拉中心办公楼12层●负载均衡设备可以与虚拟计算管理平台联动,感知数据中心内的计算能力,例如:○vmware的服务器管理员可以在增加一台虚拟服务器后,直接在vCenter上管理负载均衡设备,将虚拟服务器添加到服务器群serverfarm中;○负载均衡设备可以直接读取vCenter中的虚拟服务器状态信息,包括CPU信息、内存信息等;●在负载均衡设备感知到本地数据中心计算能力不足,性能指标超出阀值时,可以自动把流量导向其他数据中心内健康的虚拟服务器,从而实现跨数据中心的计算能力调度。3.5MDS光纤通道交换机:SAN扩展存储技术同城容灾备份解决方案建立同城灾备中心的最大的优势是可以利用在同城范围,即30至100公里以内可以使用裸光纤来实现两个数据中心之间的互连。为了充分利用带宽,还可以采用CWDM或DWDM波分复用方案来提高站点之间的带宽和可用性。有了高带宽在两个数据中心之间的SAN相连接,使数据的同步复制成为了可能,可以实施高速数据复制和恢复的业务连续性策略。思科的全系列MDS光纤通道交换机都可以支持光通道技术在同城之间的SAN的扩展互联,用以支持快速的数据复制。远程容灾备份解决方案当需要更长距离的备份时,更多的连接线路会是IP网络,本地数据中心和远程数据中心SAN可以使用FCIP技术进行互联。在这种FCIP远程连接环境下,因为数据传输的时延比同城以裸光纤连接的时延要大,所以同步复制的方案较难实施,因此绝大部分企业采取了异步数据复制技术。利用思科MDS9222i或9216i光纤通道交换机,自身带有的支持FCIP技术的GE端口,可以轻松的实现多站点之间的SAN的扩展互联。四、双活数据中心解决方案的优势4.1方案优势:●可以从双活数据中心扩展到多数据中心的多活架构●为多个数据中心提供网络,应用,数据多个层面双活的整合方案●对虚拟化环境的支持,应用流量可以跟随虚拟机在多个数据中心之间流动●整合广域网负载均衡和应用负载均衡,为数据中心提供完整的高可用支持