中国联通IP承载网网络结构——联通总部运维部

联通IP承载网网络结构联通总部运行维护部内部资料注意保密目录网络总体结构方案MPLS业务组织方式承载网网管方案承载网可靠性技术网络总体结构方案网络层次结构图IP承载网路由协议与策略承载网主要建设内容汇接层接入层核心层汇接层接入层采用扁平化分层网络结构保证层次化，同时减少端到端业务节点跳数核心层在七个核心节点每个核心节点配置2台核心路由器作为P路由器，采用部分网状结构。汇接层每个省设置2台汇接路由器作为P路由器，汇接路由器双链路接入核心路由器。核心路由器可兼作所在省的汇接路由器。接入层由接入路由器(PE)组成，在各城市根据业务属性分类设置成对的接入路由器。接入路由器双链路接入汇接路由器。IP承载网的总体结构核心层拓扑结构北京武汉沈阳上海西安成都广州2*10G2*10G2*10G2*10G2*2.5G2*2.5G2*2.5GCR1CR1CR1CR1CR1CR1CR1CR2CR2CR2CR2CR2CR2CR22.5G骨干层北京大区西安大区武汉大区成都大区广州大区上海大区沈阳大区CR2CR1CR2CR1CR1CR2CR2CR1CR1CR2CR2CR2CR1河南内蒙古山西新疆宁夏青海甘肃云南重庆贵州湖南广西海南福建江西浙江江苏安徽山东天津河北吉林黑龙江PR1PR2PR1PR2PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR1PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2PR2CR1接入层示意图内部系统接入路由器汇接路由器2内部系统接入路由器汇接路由器1内部系统接入路由器内部系统接入路由器外部系统接入路由器核心节点核心节点软交换分组软交换分组公众VPN等内部系统接入路由器内部系统接入路由器软交换分组路由反射器、ASBR、NTP架构北京1北京2VPNRRVPNRRVPNRRPE-ASBR广州1广州2VPNRRVPNRRVPNRR上海1上海2VPNRRVPNRRPE-ASBRPE-ASBRNTPNTPVPNRR拓扑结构北京广州上海公众VPN业务接入路由器省会AR1备份RR角色内部业务接入路由器CLUSTER3CLUSTER1CLUSTER2MP-IBGPCLIENTRRCLUSTER4MP-IBGPFULL-MESH联通内部系统一级RR拓扑联通外部系统RR拓扑MP-IBGPCLIENT北京广州上海公众VPN业务接入路由器省会AR1备份RR角色内部业务接入路由器CLUSTER3CLUSTER1CLUSTER2MP-IBGPCLIENTRRCLUSTER4MP-IBGPFULL-MESH联通内部系统一级RR拓扑联通外部系统RR拓扑MP-IBGPCLIENTRR的工作方式北京沈阳武汉西安成都广州上海核心网RRRRRR宝鸡天水兰州杭州黄石嘉兴NTP时钟同步架构图广东、上海、江苏、浙江、福建、江西、湖北、湖南、广西、海南、重庆、四川、贵州、云南时钟源网络ARRRCRAR北京广州北京、天津、河北、山西、内蒙古、辽宁、吉林、黑龙江、山东、河南、安徽、陕西、甘肃、青海、宁夏、新疆CRPRPR主用备用RR•北京、广州各设置1套NTP服务器，作为主备NTP服务器网络总体结构方案网络层次结构图IP承载网路由协议与策略承载网主要建设内容网络路由的总体设计承载网域内IGP路由协议采用ISIS全网所有中继链路互联端口都启用了MPLS标签分发协议中国联通IP承载网作为VPN业务承载网，部署MP-BGP，采用MP-BGP发布VPNIPv4私网路由对内网AR，采用“一级RR+备份RR＋异地分簇方案”，全网设置3对MP-iBGP的路由反射器RR,AR路由器与所在大区RR路由器、本省内省会城市AR1建立3个MP-iBGP邻居；对外网AR，全网设置1对MP-BGP的路由反射器，外部AR与所在大区RR路由器建立双MP-BGP。PE-ASBR与外部网络之间采用MP-eBGP协议optionA方式对内部AR，同一节点的2台AR发布相同路由时，采用不同的RD值，以加快路由的收敛速度网络路由的总体设计CRPRRRAR…………省会地市普通地市普通地市省会地市普通地市普通地市………MP-IBGP(备份RR)(备份RR)CE城域网ASXXXXX静态/EBGP/OSPF/………AR/ASBR联通IP承载网AS38351……联通165网AS9800MP-EBGP(Option-A)MP-EBGP(Option-A)MPLSTE……网络总体结构方案网络层次结构图IP承载网路由协议与策略承载网主要建设内容IP承载网主要建设内容在北京、上海、广州、武汉、沈阳、西安、成都设置7对（14台）核心路由器，在其他23个省分分别设置1对（2台）省汇接路由器。在全国173个城市（其中省会30个城市，地市143个城市）分别设置1对（2台）内部系统接入路由器，在其中30个省会及16个地市分别设置1台外部系统接入路由器。内部系统接入路由器负责软交换、移动分组等电信业务的接入；外部系统接入路由器负责公众VPN业务的接入，在北京、上海、广州各设置1台PE-ASBR路由器全网设置4对（8台）VPNRR路由器。在北京、广州各设置1套NTP服务器在总部网管中心设置一对内部系统接入路由器、厂家网管系统及一套综合网管系统共计，465台路由器，2台NTP服务器，7台流量采集器承载网全网设备配置阿尔卡特朗讯：SR7750-12/7北京、天津、河北、山西、内蒙古、山东、吉林、黑龙江、陕西、甘肃、青海、宁夏、新疆共13个省的内部接入路由器华为公司：NE5000E、NE80E、NE40E全部核心/汇接路由器另外17个省的内部接入路由器全部外部接入路由器NTP服务器VPNRR路由器PE-ASBR路由器承载网全网设备配置统计表统计项目名称数量说明节点数173其中7个核心节点，23个汇接点，173个接入点（包括7个核心节点和23个汇接点）核心层设备数147个核心节点各2台，设备型号为NE5000E汇接层设备数46每个汇接节点各2台，设备型号为NE5000E接入层设备数394173个接入点各2台内部系统接入路由器，46个节点各设置一台外部业务路由器，2台网管接入路由器RR设备数86台内部业务系统RR，分布部署在北京、上海和广州；2台外部业务系统RR，分别部署在北京和广州ASBR设备数3分别部署在北京、上海和广州NTP服务器数2分别布放在北京、广州承载网全网建设指标关注路由稳定性、可扩展性和可管理性，实现流量流向的分担、备份和链路利用均衡性带宽利用率：正常情况下50%,异常情况下70%网络的QoS保障能力网络故障恢复指标，关注整个网络的可靠性和业务接入的可靠性地域最大单向时延抖动丢包率95%的地区=50ms=10ms=0.1%全部大陆地区=60ms=10ms=0.1%协议和网络故障情况收敛时间要求IGP1sMPLSFRR100msMP-iBGP当主用路由器宕掉时，业务切换时间应小于700毫秒700ms在正常负载情况下本端故障恢复时间700ms在正常负载情况下本对端故障恢复时间1s接入网目录网络总体结构方案MPLS业务组织方式承载网网管方案承载网可靠性技术MPLS业务组织方式IP承载网中的VPN类型VPN逻辑接入模型三层VPN业务模型跨域VPN的接入方式IP承载网中的VPN类型软交换GPRSCDMADCN公众VPNVRF1VRF3VRF4VRF1VRF3VRF4VRF1VRF3VRF4VRF1VRF3VRF4软交换GPRSCDMADCNVPN用户外部系统接入PE外部系统接入PE软交换GPRSCDMADCNVPN用户中国联通IP承载网内部系统接入PE1内部系统接入PE1内部系统接入PE2内部系统接入PE2MPLSVPN逻辑架构LDPLSPoverRSVPLDPLDP骨干层MPLS－TEFullMeshMP-IBGPVPNRRVPNRRMP-IBGPMP-IBGPCE1CE2CR/PRCR/PRARARVPN-AVPN-BLDPDomainIGP、BGPIGP、BGP三层VPN业务模型IGPCECEVRFVRFVRFVRFPEPEPLSPLabelStackingMP-BGPSignalingCECE跨域VPN的接入方式OPTIONAVPNASITE1VPNBSITE1VPNASITE2VPNBSITE2PE1ASBR1P1P2ASBR2PE2SP1SP2EBGPUnlabeledvpn-IPv4address跨域VPN的接入方式OPTIONBVPNASITE1VPNBSITE1PE1P1SP1ASBR1VPNASITE2VPNBSITE2P2ASBR2PE2SP2IBGPIBGPMP-EBGPLabeledVPN-IPV4addressMPLSVPN的安全问题在AR路由器与用户CE路由器连接的端口启用uRPF策略，对用户流量实施检查，防止用户VPN内的伪造IP地址攻击。出于安全考虑，采用OPTION-A的方式实现与其他运营商MPLSVPN的跨域互访。要求承载网VPNASBR设备为每个跨域的VPN分配子接口。通过路由过滤或ACL的方式隐藏承载网骨干路由设备及网管等系统的IP地址，减少其它不可信网络的安全风险。对用户VPNv4路由进行限制，避免可能来自用户网络的海量路由攻击对该PE所接其他VPN的不良影响目录网络总体结构方案MPLS业务组织方式承载网网管方案承载网可靠性技术IGP收敛：AR-PR中断IPMPLSMPLSMPLSMPLSMPLSIP郑州AR1郑州AR2郑州AR3河南PR1河南PR2北京CR2北京CR1武汉CR1武汉CR2广州CR2广州CR1上海CR1上海CR2江西PR1江西PR2南昌AR1南昌AR2南昌AR3RSVPTunnel1RSVPTunnel2IGP收敛：PR-CR中断郑州AR1郑州AR2郑州AR3河南PR1河南PR2北京CR2北京CR1武汉CR1武汉CR2广州CR2广州CR1上海CR1上海CR2江西PR1江西PR2南昌AR1南昌AR2南昌AR3RSVPTunnel1RSVPTunnel2IPMPLSMPLSMPLSMPLSMPLSIPIGP收敛：CR-CR中断IPMPLSMPLSMPLSMPLSMPLSIP郑州AR1郑州AR2郑州AR3河南PR1河南PR2北京CR2北京CR1武汉CR1武汉CR2广州CR2广州CR1上海CR1上海CR2江西PR1江西PR2南昌AR1南昌AR2南昌AR3RSVPTunnel1RSVPTunnel2BGP收敛：AR-PR中断IPMPLSMPLSMPLSMPLSMPLSIP郑州AR1郑州AR2郑州AR3河南PR1河南PR2北京CR2北京CR1武汉CR1武汉CR2广州CR2广州CR1上海CR1上海CR2江西PR1江西PR2南昌AR1南昌AR2南昌AR3RSVPTunnel1RSVPTunnel2LDP/MP-BGPFRR技术IPMPLSMPLSMPLSMPLSMPLSIP郑州AR1郑州AR2郑州AR3河南PR1河南PR2北京CR2北京CR1武汉CR1武汉CR2广州CR2广州CR1上海CR1上海CR2江西PR1江西PR2南昌AR1南昌AR2南昌AR3RSVPTunnel1RSVPTunnel2QoS方案•QoS网络架构•DiffServ•QoS网络架构示意图PBackboneCECEPEPEVPNVPNPDiffServ域双向的优先级保障不实施队列调度，对公众用户入端口进行限速Access端口入方向实施分类、重标记和速率限制Network端口出方向实施队列调度和丢包策略不实施队列调度，对公众用户入端口进行限速目录网络总体结构方案MPLS业务组织方式承载网网管方案承载网可靠性技术承载网网管解决方案IP承载网网管系统架构综合网管和厂家网管架构承载网网管模式网管VPN结构图厂家网管与综合网管的功能分工IP承载网网管系统架构拓扑管理配置