1.0版移动P2P内容汇聚与流量疏导平台P4P平台解决方案互联网热点信息源本地汇聚计划上海山牡泽牡网络科技有限公司2010年11月编制目录2010-11-321234公司简介案例介绍设计方案预期目标项目背景5公司概况2010-11-33上海山牡泽牡网络科技有限公司成立于2008年3月,注册资金1200万元,由总公司管理平台负责项目运营,四家独立子分公司及省级控股维护公司,分别承载产品研发、合作运营、业务代理、增值服务及本地化维护服务等业务;公司以研发为基础,为中国移动及各省移动提供基于互联网内容的项目运营及技术服务。目前,公司拥有50多名核心技术开发和专业运维人员,全部具有本科及其以上学历,其中三分之一具备中高级职称,并建立了7*24小时运行监控和P4P运营系统响应中心;公司主要业务有大溪水P4P运营支撑系统、互联网内容汇聚及分发(热点在线视频和P2P工具下载)、定向内容汇聚与分发、VIDC(虚拟IDC);其中,大溪水P4P运营支撑系统已获得技术专利及软件著作权,还有多项专利技术正在申请中。截止目前为止,该技术已在中国电信现网试运营(10万用户)、中国移动某省公司正式部署(为30万用户提供服务),同时为多个省长城宽带、中信网络等宽带接入服务商提供服务。发展历程2010-11-34启动P2P项目产品化过程,所有数据业务和内容分发业务平移至P2P增值项目,通过各类运营商及行业专家论证,完成P4P项目实施及运营方案经现网检测后定型。开始市场推广,为各类运营商提供合作运营服务。2006年9月开始组建项目团队,与电信、网通、联通等运营商签订相关带宽合作协议,宽带接入业务启动;2007年3月正式启动项目实施,带宽接入业务和VIDC服务(P4P解决方前身)体系初步形成;P4P现网开发小组正式组建完成,在上海建成2个可以开展业务的汇接机房,现网开发环境形成;2007年9月P2P流量分离技术、缓存技术等核心模块开发完成;依托宽带接入业务先后为19家各类运营商在现网提供服务;2007年12月项目开始业务重组,先后和美国、以色列等P2P研究机构及中科院专家联合研究,在已稳定运行系统上开始P2P&P4P-GS系统运营平台在现网环境开发;2008年5月目前P2P&P4P-GS系统为多个省的运营商P2P流量疏导平台正式提供现网运营服务。主要经营2010-11-35P2P&P4P内容分发与增值应用解决方案提供P2P&P4P内容分发与增值应用平台建设与维护P2P&P4P内容分发与增值应用平台运营与管理P2P&P4P内容分发与增值应用定制化开发P2P&P4P系统在固网和移动网终端应用技术及服务提供通过GS系统实现信息源内网生成我们的主要经营的业务是:为运营商获得互联网信息源提供技术、运营服务和解决方案。目录2010-11-361234公司简介案例介绍设计方案预期目标项目背景5案例概述1.经过与某省移动数据部在已建项目的具体技术交流和论证,通过现网运行测试和技术沟通,平台体现了高效稳定的运行,所有指标均超过预期技术指标;2.由我公司编写,某省移动数据部核定,形成了该项目的项目建议书《某省移动P2P内容汇聚与流量疏导平台项目工程实施建议书》。3.项目建议书经过某省移动的会审认可,正式确立为2010年“某省移动P2P内容汇聚与流量疏导平台”新建工程。2010-11-372010-11-38系统部署拓扑图CMNETM320M320T1600-1T1600-2IP城域网地市-1地市-2地市-N骨干AS:9808省干核心层第三方出口平台系统前端系统核心系统路由器后台系统图例:10GPOS2.5GPOSGE2×10GPOS10GPOS分光链路建设在网管中心数据机房建设在IDC机房实施情况整体工程实施分为三个阶段:第一阶段为实施准备,完成建设方案确定和硬件采购;第二阶段为总体施工,完成线路割接分光、硬件部署和调试;第三阶段为系统调试,完成流量分析和系统调试。根据目前某省移动网络结构、既定用户规模,前端系统,由括流量识别、分析、引导系统等组成;核心系统,包括缓存和流量调度系统;后台系统,包括实时控制和综合统计系统。2010-11-39目录2010-11-3101234公司简介案例介绍设计方案预期目标项目背景5背景一:用户分析2010-11-311获取自己想要的信息用户上网的目的是什么?满足哪些条件才能更好获得想要的信息?带宽和网络质量(包括数率、丢包、延时、稳定性等)内容和应用服务(包括信息源数量、合法性、应用产品类型等)价格和服务(合理的价格体系、完善的服务保障等)背景二:互联网流量分析2010-11-312•根据各大运营商及相关权威机构的互联网数据流量分析报告,大致可以分为以下几类(分类不是很精确,但基本可体现互联网信息流量状况):–P2P下载流量-40%,指用BT、迅雷、电驴等工具进行网络下载方式,实现更快速的信息下载。–P2P视频流量-30%,它是P2P的一种应用,如在线教育、视频培训、网络路演、在线直播等动态的、及时的传播方式多数都采用P2P方式实现;据NPD统计显示,2006年第三季度,有600万美国家庭采用P2P网络下载视频内容。–网站访问流量-10%,主要是指对WEB的访问,如新浪类的门户网站、百度类的搜索网站、企业类的宣传网站、淘宝类的电子商务网站等等。–在线类游戏流量-10%,主要是对在线游戏和网络对战游戏用户产生的数据流量,如盛大、征途、九城等公司的在线网游用户,浩方、联众等在线对战和棋牌游戏等。–即时通讯流量-5%,主要是指QQ、MSN、SKYPE等类应用所产生的数据流量。–其他数据流量-5%,是指除以上主要流量以外的其他互联网信息做产生的数据流量。综上所述:P2P流量在互联网所产生的流量已占80%以上,随着流媒体服务及应用的不断增加,P2P所产生的数据流还在迅猛增长,对网络承载压力、用户感知度、增值业务产品推广等产生了很大的影响。因此,建立本地化的P2P内容存储及分发系统,可以从根本上得以改善和缓解。背景三:如何解决80%的信息源呢2010-11-313主动机制被动机制1、用户使用量最大的80%信息源基本都属于P2P类的需求2、通过用户下载习惯分析对信息源的需求,将热点信息源动态缓存到本地网络3、使用开放式平台,将不同来源、不同格式的信息源在统一的分发平台下为用户提供服务1、建设IDC,引进托管用户2、建设CDN平台,引进内容服务商3、扩容带宽,通过互联互通共享它网信息源解决办法,一般有以下几种难度周期较长,短期内难有效果,所引进ICP未必是用户需要的信息源;完全宽带扩容成本较高,在激烈的竞争中互联互通不仅成本高,效果未必明显;解决办法,一般有以下几种难度需要一定的互联网资源作为支撑,要有一定的用户群效果才能体现,对全网的数据流量实施分离、管理、缓存;总结:任何一种方式,目的都是为了提高网络质量,增加用户可访问的信息源背景四:运营商需要应对的问题•P2P成为“流量杀手”–随着备受网民欢迎的P2P应用迅速普及,网络运营商的网络带宽资源正在被大大侵蚀。–运营商边扩张变赔钱的陷入“RHK”困局。•现网监测情况:–据在较早的2006年实网检测数据反映(下图),P2P流量已经占到骨干流量的56%。–根据我们实网检测数据表明,不同时段这一数字在50%~95%之间。注:RHK,带宽的增长快于业务量增长速度;业务量快于成本增长速度;成本增长快于业务收入增长。Source:背景五:P2P技术成本优势明显2010-11-31510videos100videos1000videosTransit$0.60$0.36$0.20CDN$0.77$0.44$0.24Hybrid$0.69$0.31$0.17P2P$0.18$0.0177$0.0018$0.00$0.10$0.20$0.30$0.40$0.50$0.60$0.70$0.80$0.90Costpervideofordownloadingusingthefourmodels.P2P数据传输在经济成本上具有明显的优势在右图上得到了很直观的反映。随着网络视频内容以及3G终端的大规模普及和流行,通过网络分发大数据量内容将成为趋势。利用P2P技术进行信息源汇聚和下载,相比其他方式单位网络投入成本最低;普及化的网民使用工具,其草根性拥有最大的潜在用户群,是否能够满足用户这类应用需求,已成为运营商重要的可持续发展标致。背景六:P2P平台的作用2010-11-316P2P平台解决了以下问题目录2010-11-3171234公司简介案例介绍设计方案预期目标项目背景5实现流程2010-11-318第一步:在运营的数据网络汇聚节点或出口处架设流量识别和流量分离系统第二步:将分离后的P2P流量重定向到本地内容整合管理系统第三步:互联网上内容被第一次下载时,本地服务器同步对下载内容进行管理存放第四步:相同内容被第二次下载时,本地服务器定位到存放的内容向用户提供本地下载服务第五步:随着用户数量增加,本地热点内容开始聚集并实时自动更新热点信息源第三步(附):在本地服务器完成管理存放的同时,对所有请求用户提供本地化下载服务系统原理决策识别控制用户识别业务识别流量业务控制策略用户行为管理策略流量限制流量重定向骨干网出口双向流量数据接入网Internet策略模块:可以同时提供基于总量、分协议总量和逐个用户的P2P流量管理,并提供分时段管理BRAS/SR平台流量识别分离设备策略配置调度设备内容管理存放设备业务监控和缓存系统联动识别和分离:支持特征字检测、应用行为特征检测、端口检测等多种检测方式,可以进行深度数据包的内容探测非认证用户业务发起认证用户业务发起系统架构P2P检测与控制技术•P2P监控功能–支持特征字检测、应用行为特征检测、端口检测等多种检测方式,可以进行深度数据包的内容探测–可以同时提供基于总量、分协议总量和逐个用户的P2P流量管理,并提供分时段管理•精确检测主流应用软件–文件下载–BT、迅雷、Emule/Edonkey、GNUTella、Kazaa、DirectConnect、Kugoo–网络电视–PPLive、QQLive、CCIPTV、PPStream、CoolStreaming–沸点网络电视P2P控制和运营骨干网宽带接入网业务监控系统P2PDPI控制控制目标:P2P可控制功能:1、检测、识别、控制、分离、重定向等P2P流量到cache,降低接入骨干网出口带宽压力2、减少P2P流量无序增长3、用户访问网页等等需求得到缓解4、提高带宽利用率P2P可控制骨干网宽带接入网业务监控及分布存储系统P2PDPI控制控制cache联动BRASSR提供资源目标:P2P可初步运营功能:1、P2P系统初步具备运营条件2、有效控制P2P流量,变无序为有序3、通过BRAS/SR进行用户管理和计费,可以为固网宽带用户和无线终端宽带用户同时提供服务4、提供热点资源缓存,改善用户体验,本网信息源初步具备造血功能5、逐步完善增值服务,提高增值收入P2P可初步运营江西移动出口多业务骨干网分布式业务监控及存储系统P4PTRACKERcacheBRASSRPCP4P应用管理平台BOSSP2P可精细化运营(P4P)目标:P2P可精细化运营(P4P)功能:1、P4P具备更精细化管理、资源合法性利用的下一代P2P可控运营模式2、实现成本低廉的分发手段,可用来为多种增值业务及内容提供P2P文件下载、网络电视、网络点播、P2PCDN等定制化和个性化增值服务3、与3G平滑对接,无线终端P2P视频和下载类业务提供支撑和发展的平台上网本3G手机1、“封堵”2、“无偿使用”3、“P2P流量”的被动承载1、“疏导”2、“付费使用”3、“P2P信息源”引导和汇聚实现路径变“封堵”为“疏导”1、互联出口处部署cache,将热点P2P存储在本地cache中2、通过P2P流控设备限制P2P流量通行带宽,将流量重定向到本地cache3、通过部署多点cache,在cache中形成本地化P2P内容分发4、利用cache自动寻找种子源机制,充分利用用户间P2P信息源,将P2