互联网网间互联架构研究

中国移动集团级重点研发项目结题汇报报告2011年11月21日项目名称：互联网网间互联架构研究项目编号：一.课题目标实现情况目录二、主要研究成果（整合后）1.1研究背景及目标积极推进宽带接入、WLAN、LTE等业务和技术的开展，将对网间带宽提出更高的要求由于我公司内容资源少、对网外资源依赖度高，导致网间结算价格高、扩容难，网间通信质量不佳。骨干、省、地市多级出口，以及移动、铁通独立出口的架构虽然在一定程度支撑了公司业务发展，但也带来监管风险及管理、运维、资源效率等诸多问题互联网发展对网间互联提出更高的要求工信部正在研究互联网网间互联架构。在进行互联方案的协商、网间结算标准制定时，本项目将提供有利支撑，为争取有利于我公司的互联架构具有重要的意义本项目对多种网间互联方式进行对比研究，如省内互联等，为集团的互联互通统一管理提供参考，也为省公司开通互联的方式及策略提供技术支撑，努力提高中国移动互联网的网间互联质量和互联网用户的满意度网间互联架构研究对互联网发展的意义1.2主要研究内容12345互联现状调研互联方案比较路由策略配置本地直连分析带宽效率比较•研究各种互联方案的优劣，包括本地直连等，制定适合我公司互联网现状的互联方案•调查国际互联网互联架构、国内外运营商间的互联方案及结算情况等•在多种互联方式共存的情况下，制定路由清晰、实施便捷、避免产生网间绕转等问题的路由策略•研究各省通过本地直连的方式实现网间互联的可行性和优缺点，以及管理运维建议•研究提升网间带宽利用效率，提高用户体验，降低网间流量占比的手段，例如缓存、视频加速等本项目通过对各种互联方案的研究，制定出有利于降低互联成本、提升网间质量、便于网络管理的互联网互联架构目标研究内容41）解决的关键问题：解决了中国移动互联网业务发展中，对宽带用户体验影响最大的网间互联问题。通过对互联方式、结算价格、路由策略以及带宽效率的分析和研究，提出了改进网间互联和用户体验的相应措施和策略。2）提出的决策建议：研究提出了4项关键技术点的决策建议：互联方式的选择、结算价格的制定、网间路由的控制以及带宽效率的提升手段。3）专利申请：无。4）企业标准和国际标准：无。5）新技术试验：无。6）对企业绩效的贡献情况：通过分析国际互联价格、大客户专线价格、宽带用户价格，向工信部提出合理的网间结算价格建议。通过流控手段将网间P2P下载占比压缩到10%以内；通过与铁通的合作，在铁通互联出口疏导10G网内P2P流量。1.3目标完成情况总结一.课题目标实现情况目录二、主要研究成果（整合后）互联网网间互联架构研究：关键问题和思路结算价格•问题：国内结算价格高居不下，严重影响中国移动宽带业务的发展•思路：•分析研究国内外互联价格和变化趋势•探讨网间结算的合理价格路由策略•问题：多种互联方案并存导致网间流量可通过多个出口疏通，复杂度增加•思路：通过路由策略对网间各出口的流量加以控制，优化网间流量，降低结算成本，提高用户体验互联方案•问题：目前现网存在着多种互联方式，包括骨干直联、NAP互联、省网第三方互联等，需合理规划、统一管理•思路：研究各类互联方式适用的业务和场景，合理布局带宽效率•问题：网间带宽长期拥堵，高质量业务无法开展，严重影响用户体验•思路：通过各种手段控制和引导网间流量，保证高价值业务的服务质量，提高网间带宽的利用效率课题一互联方案研究网间互联方式一——骨干直联CMNET与其他运营商骨干网互联带宽共计199G与电信间单价从08年的132万元/G/月降低为98万元与联通间结算单价从08年的118万元/G/月降低为88万元带宽及价格变化情况网间质量骨干电信出口忙时带宽利用率为84%骨干联通出口忙时带宽利用率为87%骨干出口至电信、联通均已达到工信部规定的障碍标准•增加国内网间互联节点，提高网络冗余度，分散北上广三个核心节点的压力，降低故障时的影响面。•现状：北上广三个国内互联节点，通过本地传输和国内运营商互联•方案一：新增4个国内互联节点（新增武汉、南京、西安、成都），七个国内互联节点通过本地传输和国内运营商互联（目标方案）•方案二：新增4个国内互联节点，七个国内互联节点通过本地及长途传输和国内运营商互联•方案三：新增4个国内互联节点，七个国内互联节点通过长途传输接至北上广的国内互联路由器•方案一受限于对方运营商的配合，近期难以实现，方案三网络性能、网络结构、设备压力、传输等方面没有明显优势。•建议采用方案二，逐步向方案一演进。同时积极拓展网内资源，减少对网间互联带宽的需求，减少对其它运营商的依赖。网间互联骨干节点调整方案网间互联方式二——NAP点互联CMNET骨干网在NAP点的接入带宽为3G方向北京NAP上海NAP广州NAP合计互联带宽（G）1113直联平面国家级NAP电信163移动CMNET移动CTTNET长城网经贸网联通169科技网教育网Cernet沪穗沪穗京沪穗京沪穗京沪穗京沪穗京沪穗京沪穗京上海NAP广州NAP本地直联接入NAP北京NAP京长途直联网间互联方式三——本地直联鉴于当前的焦点问题是我公司用户上网感知差，为尽快改善网间通信质量–建议优先试点：我公司一省-----其它运营商全国•在本地直联点，移动向其它运营商通告全省路由，其它运营商向移动通告全国路由–还可以试点：我公司全国-----其它运营商一省•在本地直联点，移动向其它运营商通告全国路由，其它运营商向移动通告全省路由本地直联的互联范围包括A区域--B全国A全国--B区域A区域--B区域建议网间互联方案四——省网第三方/铁通互联25省开通省网出口带宽140G开通省网出口带宽前三位的省份为山西（40G)、浙江（18G）、安徽（11G）已开通省网出口的平均单价36万/G/月，远低于与电信、联通直联的98、88万方式同骨干出口；CMNET用户通过第三方访问互联网时，IP报文源地址保持不变。BGP对等互联NAT地址转换CMNET用户的IP报文源IP地址转换为第三方或电信/联通的IP地址；CMNET省网和第三方间可采用静态路由、策略路由、BGP等方式；由第三方实现NAT地址转换时，第三方应保证NAT池的IP地址数量满足业务疏通需要；考虑到地理位置、天气预报等应用的正常，NAT地址建议优选本省联通、电信或第三方自有IP地址。第三方出口存在较大风险第三方出口问题和风险不符合监管要求需要地址转换，适应的业务有限尽管第三方出口价格便宜，但存在诸多问题和风险，仅可作为权宜之计。组网和管理复杂度增加，缺乏相应管理规则和手段。被其他运营商封堵，质量无保障增加信息安全管控难度合理选择互联方式方式描述优点缺点方式一（骨干直联）北上广骨干出口路由器互联路由简单流量有绕转，扩容困难，长期拥堵方式二（NAP点互联）北上广NAP点互联可与多方实现互联带宽小，无法发挥疏通流量的作用方式三（本地直联）省网本地直联减少流量绕转，提高网络效率需路由配置和对方运营商配合方式四（省网第三方）省网第三方出口互联降低结算成本，流量无绕转易封堵，质量无保障，且管理复杂度增加网间互联方案主要包括如下四种：•以骨干直联为主，加大与其他运营商的谈判、协调力度，持续增扩互联网网间带宽•适当发展省网第三方出口，缓解骨干出口拥塞引发的质量问题•推动主导运营商在NAP点扩容，发挥NAP点的疏导作用•积极推进本地直联，作为骨干直联的有效补充•可适当开展与铁通的本地直联，仅疏通省内互访流量，减少流量绕转课题二网间结算研究全球互联网多级结构全球互联网是多级结构，一般说来，下级运营商需要购买上级运营商的转接带宽，实现互联；平级运营商之间对等互联。底层运营商主要通过购买转接带宽实现全球通达，而顶级运营商只出售转接带宽或做少量的对等互联，而不需要购买转接带宽客户提供者顶级互联网提供商新加坡电信德电Tier2Tier2Tier2Tier2Tier2区域Tier1区域Tier1全球Tier1全球Tier1全球Tier1Tier3Tier3Tier3Tier3Tier3Tier3•目前全球公认的Tier1包括Verizon、AT&T、Level3、Sprint、NTT、GlobalCrossing、Qwest等，拥有全球路由表；除了NTT外，Tier1全是北美运营商•Tier2运营商在其覆盖范围之外依靠购买Tier1的转接服务承载其流量，如新加坡电信等我国运营商尚没有达到全球Tier1级，需要向Tier1级运营商购买转接带宽实现全球通达•包括传统的宽带用户，以及手机上网用户、WLAN用户等用户资源拉丁美洲2.1亿34.5%北美洲2.7亿77.4%欧洲4.8亿58.4%中国4.2亿31.6%亚洲整体8.3亿21.5%互联网用户数渗透率图标各大洲互联网用户数和渗透率全球互联网发展情况分析：用户资源从绝度值上看，中国宽带用户数已与北美、欧洲相当从渗透率来看，中国互联网发展明显滞后美国和欧洲我国互联网市场还有很多的发展潜力，需建立良好的监管环境推进更快发展数据来源：WorldInternetStats,截至2010.06全球互联网发展情况分析：网络资源•包括连通自治域、POP点、转接客户等因素网络资源互联网指标VerizonAT&TNTTLevel3海外POP点数量（个，按城市统计）10110955238连通自治域数（个）222422845902565转接客户数（个）31509341505000我国最大运营商的海外POP点数量不超过30个。与全球Tier1运营商相比，中国运营商在网络资源方面还存在很大差距，制约了中国互联网的整体发展全球互联网发展情况分析：内容源数据来源：AlexTOP50网站排名,截至2010.09各大洲TOP50网站数量•包括信息数量、信息质量、创新度和国际化程度等因素网络资源北美洲28欧洲9中国8亚洲其他国家4南美洲1全球互联网内容源仍以美国为中心；中国网站用户主要集中在国内，国际化程度不高，信息源质量和创新度不够百度用户96%来自国内全球互联网互联结构及发展情况小结从用户、网络、内容等三个方面来看，中国互联网的发展明显滞后于美国、欧洲国内运营商应联合起来共同做大我国互联网，提升我国互联网在国际上的地位，及早成为全球Tier1级运营商互联网互联结算情况美国美国以“市场化+反垄断”的监管形式形成了互联网良好发展环境鼓励通过市场竞争发展对垄断行为，通过反垄断法加以干预形成7、8家规模、实力相当的互联网运营商，相互之间对等互联、互不结算，存在充分的竞争，互联网在全球发展的最好我国我国互联网属寡头垄断市场，垄断者利用其垄断地位，制定明显高于国际市场价的网间结算价格，制约了我国互联网的整体发展；监管机构尚没有对过高的结算价格实行管制运营商不应利用其垄断地位损害别人利益当垄断阻碍了互联网的发展时，政府应该及时干预互联方式和结算方式对等互联（Peer）：仅访问对方网络转接互联（Transit）：通过转接ISP访问全互联网对等互联（Peer）：通常采用互不结算的方式转接互联（Transit）：被转接方向转接方支付费用Peer和Transit概念结算方式我国运营商之间目前只能通过对等（peer）的方式互联，按照国际惯例应互不付费，但我国需要付费在采用单向付费方式时，按国际惯例收费方应提供转接服务，但在我国运营商间不提供转接服务中国移动国际互联情况互联方式：对等互联、转接互联伙伴；对等互联伙伴数转接互联伙伴数互联地点：香港、美国互联价格：对等互联：全部免费转接互联价格：洛杉矶：平均约7万元/G/月，价格区间为4万~9万元/G/月香港：平均约17万元/G/月，价格区间为15万~20万元/G/月随着香港和洛杉矶POP的建成，将大量扩容国际互联带宽，互联单价也将大大降低对等互联均为免费付费互联均提供转接服务，且价格远低于国内互联价格互联结算趋势互联价格2004年2010年下降比例北美120万/G/月7万/G/月17倍电信320万/G/月98万/G/月3.3倍联通299万/G/月88万/G/月3.4倍•北美的Trans