中国电信集团系统集成有限责任公司2011年3月CN2网络介绍培训资料CN2网络概述CN2为中国电信下一代承载网(ChinatelecomNextCarryingNetwork)的简称。中国电信于2005年投巨资建设了中国电信第二张IP骨干网,以此网络作为中国电信下一代的承载网络。CN2工程是中国电信集团在新的市场竞争环境、新业务发展和新技术促进下筹划建设的项目,其建设目标是同时支持语音、数据、视频等基于赢利业务的中国电信下一代多业务核心承载平台。CN2网络建设实现了全网覆盖三十一省、自治区、直辖市,包括国内199个城市的CN2骨干节点和业务节点及海外POP节点建设。CN2国内部分已经于2005年建成并投产,目前主要用于承载DC1和DC2层面的软交换以及部分大客户,CN2国际网络的海外部分也初步建成,CN2已经拥有国内到国际的端到端QoS保证能力。CTSI工程覆盖范围云南江苏浙江安徽湖南湖北四川江西福建广东广西新疆贵州海南陕西宁夏青海西藏山东河南山西河北辽宁吉林内蒙古天津甘肃黑龙江北京CN2网络核心技术CN2是采用MPLS核心技术组建的IP骨干网,内部路由协议为ISIS,外部网关协议是BGP,为用户提供高质量的MPSLVPN业务。为了提高网络收敛速度,CN2采用了快速路由收敛和快速重路由(FRR)等技术。CN2能提供8个服务等级,为不同的业务提供不同的QoS服务质量。对于流媒体等业务,CN2通过CDN技术,将加快用户访问速度,提高用户满意度。CN2配备了两个网管中心(北京和上海),运维体系采用集中管理、控制、维护的模式,重点增加QoS业务管理、VPN业务管理、流量分析和性能管理,各省中心设置网管工作站,监视骨干网在各省的运行情况、查询各种统计数据。CN2骨干网络的安全建设包括了物理安全、网络设备的安全加固、网络边界安全访问控制等内容。CN2网络指标为了满足所承载业务对QoS的要求,CN2网络必须能提供较高的性能指标。CN2性能指标(承诺值)如下表所示:CN2网络指标如平均单向时延、最大单向时延、平均丢包率、单向抖动等,经检验,达到国际一流水平。CN2网络业务定位CN2CN2网络网络业务定位业务定位提供的关键盈利品牌类业务提供的关键盈提供的关键盈利品牌类业务利品牌类业务具有SLA保证的赢利业务能够同时支持语音、数据、视频、专线等业务的统一核心承载平台承载中国电信自身关键赢利业务和具有QoS保证的SLA业务网络规划与设计需要保证CN2的可控和可管理、充分考虑目前已经出现的业务、并适当考虑未来的应用中国电信提供的大客户和商业客户的VPN业务,专线接入业务中国电信3G、NGN语音业务PSTN网络长途语音业务(VoIP)由中国电信VIP-ICP提供的各类互联网增值业务由中国电信由中国电信VIPVIP--ICPICP提供提供的各类互联的各类互联网增值业务网增值业务中国电信、VIP-ICP提供的VOIP等业务VIP-ICP提供的视频类业务中国电信、VIP-ICP提供的流媒体等业务网络游戏业务中国电信提供的视讯会议、可视电话等视频类业务CN2网络业务定位设置节点城市数:199个核心节点(7+1个)、汇聚节点(22个)、边缘节点(169个)设备数量(路由器):629台顶级:交换容量640G,34台高端:交换容量320G,149台中级:交换容量40G,220台RR:24台业务路由器:202台中继链路(网内):1267条:10G×194条,2.5G×812条,1G×261条带宽:4231GCN2一期工程(2005年)增扩板卡增配“第二PE/SR”:CISCO增配接入交换机:华为、中兴CN2二期工程(2006年)成都节点新增2台P设备新增2台路由反射器增扩板卡增配“第二PE/SR”CN2三期工程(2007年)新增2台T1600,4台M120增加OC-192POS端口57个,GE端口19个,新增28条10G链路增加南京、成都、武汉、西安与CHINANET的8条10G互连链路CN2四期工程(2008年)北方八省和四川增扩PE、300个城市新增两台CE……新增应急通道路由器127台……CDMA承载工程(2008年)CN2网络规模CN2网络规模CN2网络设备(2008年)CN2国内网络包含4个厂家10个型号的路由器(按厂家字母排序):Alcatel:SR-128台、SR-738台;Cisco:1281675台、12416270台、1240412台;Juniper:T64030台、T32052台、M320114台、M2012台;华为:NE80E16台。按照设备类型:P路由器有SR-12、SR-7、12816、12416、T640、T320、M320、NE80E;PE路由器全部为12416;GlobalRR全部为M20;VPNRR全部为12404;国际出口路由器全部为T320CN2网络设备分布云南江苏浙江安徽湖南湖北四川江西福建广东广西新疆贵州海南陕西宁夏青海西藏山东河南山西河北辽宁吉林内蒙古天津甘肃juniperjuniperciscoalcatel华为黑龙江CN2CN2网络结构网络结构CN2网络结构CN2骨干网络采用三层网络结构:核心层、汇接层和边缘层,相对应的节点称为核心节点、汇接节点和边缘节点。核心、汇接和边缘重叠的节点,合并为一个节点。核心层:在北京、上海、广州、南京、武汉、成都和西安7个城市设置核心节点。汇接层:CN2网络在全国三十一个省(市、自治区)的43个城市设置汇接节点;边缘层:201个城市设置边缘节点,通过双星双规的方式连向2个汇接点,链路带宽从2.5G到10G不等。其中安徽、江苏采用跨省汇接。业务层:在197个CN2节点设置2台业务路由器,每台业务路由器通过双链路连至同节点的2台CN2骨干路由器,在广州、上海CN2节点设置4台业务路由器,连至同城市的2台CN2骨干路由器,全网共402台业务路由器。每台业务路由器还下挂一台接入交换机,通过2条GE连至同节点的1台业务路由器,同节点两台交换机之间不互联。CN2网络在北京、上海、广州节点和ChinaNet互连。CN2核心路由器通过2X10Gbps电路与ChinaNet核心路由器C3、C4互联。CN2核心路由器通过2X10Gbps电路与ChinaNet互联互通路由器互联。CN2在北京、上海、广州各设置2台国际出口路由器,连接CN2国内网络和海外网络。CN2网络结构广东4×2.5G4×2.5G6×2.5G4×2.5G七大核心结构七大核心节点网络结构图CN2国际出口CN2海外网络在亚洲,北美和欧洲覆盖300多个城市。海外POP节点包括:圣何塞,洛杉矶,纽约,华盛顿,迈阿密,香港,东京,伦敦,法兰克福和新加坡。海外网络在香港、东京、新加坡、伦敦、法兰克福、纽约、华盛顿、圣何塞、洛杉矶设置了POP节点,可提供国际Internet接入和网间互连业务。目前CN2国际网络与部分国际运营商已经互联,其中欧洲POP点与北欧电信运营商TeliaSonera互联,此外与日本运营商NTTCom、与香港运营商Reach实现了互联,具备了一定的国际访问通道保证。MPLSVPN合作伙伴CN2与163互联CN2CN2网络基础路由组织网络基础路由组织路由组织CN2整个骨干网是一个自治域(包括核心、汇接、边缘、PE和海外POP点)。CN2海外POP点与ChinaNet海外POP点相连时采用BGP-4;北京、上海、广州三个节点与ChinaNet互连互通时采用BGP-4;CN2骨干网与有自治域的城域网互联也采用BGP-4。在CN2骨干网中使用IS-IS作为IGP,核心层和汇接层以及其它设备统一运行在IS-IS的Level2骨干区域。BGPv4作为EGP;CN2所有骨干路由器均运行ISIS和BGP。CN2骨干路由器(C3及以上)的管理地址和互联中继地址的路由由IGP承载;其他路由(包括ChinaNet、城域网、IDC、专线用户、3G设备地址和地址池、NGN设备地址等)由BGP承载。ISIS协议Metric值的设计需满足如下原则:所有POP内互联Metric远小于(5倍以上)POP间Metric。任何情况下,核心间流量不经过任何汇接POP。正常情况下,汇接POP间流量不经过任何边缘POP。正常情况下,汇接POP间流量不经过任何核心POP。如2汇接地市间连接全部中断,则2汇接地市间流量经过核心(不经过边缘)转发。正常情况下,核心POP内部流量不经过任何其他POP。正常情况下,汇接POP内部流量不经过任何其他POP。正常情况下,边缘POP内部流量不经过任何其他POP。对于双汇接地市,单台设备上联故障情况下尽可能用同POP的另一台做备份,而不用另一汇接。正常情况下,下层穿透,避免上层穿透。需要的话,正常情况下,流量在核心内部穿透,而不是在国际出口路由器间,以避免重复受安全策略影响=核心内部互联Metric×2小于国际出口路由器间互联Metric。全网Metric规划设计核心汇接边缘a:1000l:30m:20b:1500d:3000n:5t:500n:5IGRIXRISRIXRRR海外POP海外POP(超级)核心汇接边缘边缘汇接a:1000b:1500t:500d:3000d:3000m:20l:30n:5d:3000k:2000m:20e:1000b:1500z:100000v:100u:1500u:1500SRw:3000SRw:3000m:20m:20m:20m:20h:500h:500q:2400q:2400i:1000j:2000p:1500s:2000m:20汇接m:20n:5边缘d:3000b:1500b:1500q:2400BGP协议CN2全网所有路由器间通过RR运行IBGP,对于GlobalIBGPPeering,用Loopback0作为BGP通信的源地址;对VPNIBGPPeering,用Loopback1和Loopback2作为BGP通信的源地址。BGP设计原则:为便于实施和维护,提高扩展性,采用RR结构。任何路由器的BGPPeer不超过300个(由于一般路由器的Peer很少,所以这个限制主要是针对RR的),且有全路由的Peer不超过30个。提高BGP更新效率,避免BGP收敛时间过长。BGP协议遵循上述原则,采用一级RR结构,Cluster、RR(GlobalRR)和Client的设置见下图和下表(因SR也要参与Global路由,故也要作为GlobalRR的Client):Cluster1(北方、西北)Cluster2(上海、江苏、安徽)Cluster6(广东、海南、福建)Cluster5(湖南、湖北、广西)Cluster4(西南)Cluster3(浙江、江西、国际)北京RR西安RR南京RR上海RR1上海RR2广州RR2广州RR1广州RR3广州RR4成都RR武汉RR深圳RRIBGPFullMesh当前全网16台GRR,北京(2),西安(2),上海(2),南京(1),武汉(2),广州(5),深圳(1),成都(1)当前全网14台VRR,北京(2),西安(2),上海(2),南京(1),武汉(1),广州(4),深圳(1),成都(1)CN2CN2网络应用部署网络应用部署快速重路由FRR保护建议方案:1.七个POP节点之间配置MPLS-TE,启用FRR,提供链路保护功能(暂时不提供节点保护)。2.可以实现核心层链路故障的50ms级别切换保护,其它网络故障依赖IGP快速路由收敛实现1-2秒故障切换保护。3.若同一方向多条链路存在不同的物理传输路由,可以相互备份。4.以北京上海两个节点为例,广域网之间两条链路分别配置两条TE,一主一备,主用隧道为北京、上海直连链路(P2-P3),备用隧道经过P2-P1-P4-P3绕行,分别见图中红色、绿色箭头线。5.POP内部路由器之间没有配置TE隧道,常规流量经过LDPLSP转发,因此需要同时启用LDP和RSVP信令。P3P1P2PE1PE2P4L2VPNL3VPN其他TEDomain广域网间RSVP信令P