搜索
-1-内容CACHE\CDN\IDC技术互联网问题及思考12一、IDC已引入的内容源存在的问题二、CACHE、IDC建设统未统筹考虑-2-InternetIP承载网络WebCacheP2PCacheCahe的是将用户访问或下载的热点内容在存储设备中保存一个副本，当内容再次被用户访问或下载时，不必连接到驻留（源）网站，而是由Cache中保留的副本直接提供，以达到加速访问或下载，降低网间带宽和依赖的目的。一般CACHE分为WEBCACHE和P2PCACHE。特点：一次外网访问，多次内网服务流量拥塞点:省网出口互联出口解决HTTP流量问题解决P2P流量问题什么是CACHE？-3-WebCache系统以透明方式部署于中国移动CMNET，在网间出口处（北京、上海、广州）采用分光方式部署重定向子系统，将网间出口处的HTTP流量引导至对应的WebCache系统服务器组。CMNETT2G/3G/WLAN/有线接入北京上海广州省级汇接路由器InternetInternetDNS重定向DPIDPIDPI2G/3G/WLAN/有线接入2G/3G/WLAN/有线接入省级汇接路由器省级汇接路由器DNS重定向DNS重定向WebCache集群WebCache集群管理服务器负载均衡管理服务器负载均衡WebCache集群管理服务器负载均衡InternetCMNETT2G/3G/WLAN/有线接入北京上海广州省级汇接路由器InternetInternetDNS重定向DPIDPIDPI2G/3G/WLAN/有线接入2G/3G/WLAN/有线接入省级汇接路由器省级汇接路由器DNS重定向DNS重定向WebCache集群WebCache集群管理服务器负载均衡管理服务器负载均衡WebCache集群管理服务器负载均衡InternetCMNETT2G/3G/WLAN/有线接入北京上海广州省级汇接路由器InternetInternetDNS重定向DPIDPIDPI2G/3G/WLAN/有线接入2G/3G/WLAN/有线接入省级汇接路由器省级汇接路由器DNS重定向DNS重定向WebCache集群WebCache集群管理服务器负载均衡管理服务器负载均衡WebCache集群管理服务器负载均衡InternetCMNETT2G/3G/WLAN/有线接入北京上海广州省级汇接路由器InternetInternetDNS重定向DPIDPIDPI2G/3G/WLAN/有线接入2G/3G/WLAN/有线接入省级汇接路由器省级汇接路由器DNS重定向DNS重定向WebCache集群WebCache集群管理服务器负载均衡管理服务器负载均衡WebCache集群管理服务器负载均衡InternetDPI：DeepPacketInspection深度包检测骨干现网正在部署过程中，与CMNET五期工程同期（正在工程建设过程中）省公司自建CACHE：/内蒙/湖北/山东/福建/广西/江苏/四川/重庆/贵州/西藏/浙江注：一般是WEBCache和P2PCache同时建设WebCache—全网部署情况-4--1、用于基于客户端浏览网页，向LocalDNS发出域名解析请求-2、LocalDNS服务器向外网发送DNS解析请求-3、解析请求到达外网DNS服务器前，通过DPI设备复制一份到GSLB设备，原请求到达外网DNS服务器-4、GSLB进行域名请求判断，如果为预先设定的域名解析请求，则解析域名请求的IP地址为Webcache的IP地址，回应给LocalDNS服务器-5、LocalDNS服务器将Cache的IP回应给用户。（外网DNS回应LocalDNS晚于GSLB到达LocalDNS，被LocalDNS丢弃）-6、客户端收到LocalDNS回复的域名解析结果，向Cache发起web访问请求-7、Cache命中则直接回应客户，不命中则从Internet取回数据，保存在本地并回应客户ClientDPILocalDNSInternet5WebCache系统３GSLBClient12467SLB+CacheServerWebCache系统重定向机制旁路DPI+DNS重定向机制-5-1.用户先通过互联网下载种子文件（.torrent文件，即被下载文件的“索引”），该文件包含Tracker信息（服务器地址）和文件信息（目标下载文件的目录信息）两部分2.BT客户端通过种子文件中的信息连接到tracker服务器，并向tracker服务器发出announce请求（包含需要下载的文件目录和文件名）。3.Tracker服务器收到用户请求，将回复用户一个Peerlist，包含可下载文件的若干个可用的下载站点的IP地址，此IP地址包含服务器地址或其他用户地址。4.用户通过客户端向Peerlist中提供的各IP地址发送下载文件请求，与各IP地址连接后，开始进行文件下载（根据种子文件，两者分别告知对方自己已经有的块，然后交换对方没有的数据），此时不需要服务器参与，分散了单个线路上的数据流量。P2PCache一般的HTTP/FTP下载，发布文件仅在某个或某几个服务器，下载的用户增多时，服务器的带宽很易拥挤，下载速度变慢；而P2P协议下载的特点是下载的用户越多，提供的带宽也越多，种子也会越多，下载速度就越快，BT、迅雷、电驴、PPlive等P2P下载工具工作方式虽各有特点，但基本原理相同。P2P工作原理典型P2P应用：BT下载-6-P2P缓存子系统流量重定向Internet多种终端用户BT、eMule、迅雷等P2PCache技术原理分光设备国内、国际出口路由器1.用户从互联网下载种子文件，通过其向互联网中tracker服务发送P2P请求2.通过分光方式旁路链路信息，DPI设备截获用户发起的P2P请求3.DPI设备分析后，将用户P2P请求转发到重定向设备4.重定向设备对用户请求进行分析判断该资源是否已经被缓存5.如果用户请求资源没有缓存，重定向设备将不处理该请求6.如果用户请求资源已经被缓存，重定向设备将中断该用户同外网的连接并将其重定向到缓存服务器，Cache系统向用户发送Peerlist（均为网内用户/服务器地址），Cache服务器自身地址也包括在peerlist中7.用户根据peerlist文件中IP地址连接至相关服务器/用户（含Cache服务器）后开始P2P下载DPI•P2PCache当前在现网未部署，也没有确定部署方案。-7-什么是CDN？四川音乐MobileMarket上海流媒体全国管控中心服务节点服务节点服务节点CDN全称是ContentDeliveryNetwork，即内容分发网络，建立并覆盖在承载网之上、由分布在不同区域的节点服务器群组成的分布式网络，通过一定规则将源内容发布到最接近用户的边缘，使用户可以就近取得所需的内容，解决Internet网络拥塞状况，提高用户访问的响应速度。-8-CDN关键技术从内容源到CDN边缘的Cache的过程。有两种主流的内容分发技术：PUSH和PULL。一个是内容源的存储，一个是内容在CDN节点中的存储。内容管理在涵盖了从内容的发布、注入、分发、调整、传递等一系列过程CDN负载均衡系统实现CDN的内容路由功能。它的作用是将用户的请求导向整个CDN网络中的最佳节点。路由分发存储管理-9-节点Cache服务器保存着原始服务器上相应内容的副本以响应用户的请求。本地负载均衡控制器（ServerLoadBalancer）来实现流量分配的功能。节点缓存和本地负载均衡服务器全局负载均衡（GSLB）控制服务器，直接或间接地取得分布在各地的CDN节点中Cache服务器的工作状态和性能，判断用户的来源，保证用户被有效的分配到离其逻辑上最近最健康地节点上。GSLB控制服务器CDN全网内容管理，决定内容分发的方式，内容缓存地点、缓存时间、缓存删除等信息的管理系统。内容管理系统内容存放的源站服务器源服务器CDN的网络监控和管理中心监控各节点Cache服务器是否正常工作，负载情况，带宽占用情况，Cache的命中率等。网络管理系统CDN逻辑组成-10-CDN服务提供商市场占比情况第二梯队AkamaiLimeLightCDNetworksNo.3No.2No.170%No.1蓝汛（60%）No.2网宿（23%）海外市场国内市场随着海外CDN市场发展的提速，各类参与者也逐渐进入CDN市场领域，占据少量份额；•Internap•Level3•Verisign•CacheLogic•VitalStream•帝联•快网•天地互联•UniCache第二梯队海外CDN巨头开始重视中国市场，但市场份额相对较小，且偏重于跨国企业以及国内资源的海外分发.国内第二梯度中仍以国内企业为主蓝汛与网宿占据国内市场的主要份额，技术实力、业务种类、运营经验、服务支撑与其它厂家相比优势明显；作为CDN的主导厂商，Akamai优势明显，全球市场占比超过60%ELSE-11-ChinaCache—中国最大CDN服务提供商ChinaCache服务节点已经超过500个，遍布中国100多个主要城市，全网处理能力突破800Gbps.为流媒体、WEB2.0、政府、门户、证券行业、电子商务、游戏、软件、企业等300多家网络媒体及国内外企业网站提供服务与解决方案。网宿—中国第二的CDN服务提供商网宿CDN平台部署在3大运营商（移动、电信、联通）及2大专有网络（中国教育和科研计算机网、中国科技网）的骨干节点上。拥有带宽数量近230G，节点数近100个，具备覆盖全球的12个CDN海外节点。目前公司服务的客户近300家。12个海外节点国内节点分布广泛，面向用户提供跨网的静态、动态网页加速、流媒体加速、下载加速等解决方案国内CDN服务提供商概况-12-中国移动与各CDN厂商的合作情况蓝讯：海南、江西、安徽、云南、江苏、浙江、湖南网宿：广东、山西、新疆思华：辽宁具体引入如下：•在我方IDC机房引入CDN服务提供商的节点•将CDN服务提供商的签约用户数据同步到我方IDC机房设备（仅湖南）省公司一般与CDN厂商合作的模式-13-IDC现状黑龙江吉林内蒙古新疆宁夏山西北京河北辽宁甘肃山东江苏上海浙江福建云南贵州湖南江西河南湖北海南西藏青海台湾陕西广东四川重庆广西安徽天津IDC（InternetDataCenter），即互联网数据中心。IDC是一种Internet服务，一般可分为4个层面：提供空间提供主机提供应用，如邮箱、网站提供内容源目前在北京、上海、广东、江苏、四川、浙江、重庆等地建设7个一类IDC，满足全国性、规模性资源和应用支撑需求，并兼做本省IDC。其他各省根据本省业务需求建设二类IDC，满足省内本地内容托管和集团客户应用等需求，同时作为一类IDC的补充，提供镜像、内容分发等-14-Cache、CDN、IDC区别定义作用当前情况CacheCache的是将用户访问或下载的热点内容在存储设备中保存一个副本，当内容再次被用户访问或下载时，不必连接到驻留（源）网站，而是由Cache中保留的副本直接提供，以达到加速访问或下载，降低网间带宽和依赖的目的。暂时缓解网间带宽的问题北京、上海、广州正在部署WEBCache，P2PCache正在方案制定中CDNCDN全称是ContentDeliveryNetwork，即内容分发网络，建立并覆盖在承载网之上、由分布在不同区域的节点服务器群组成的分布式网络，通过一定规则将源内容发布到最接近用户的边缘，使用户可以就近取得所需的内容，解决Internet网络拥塞状况，提高用户访问的响应速度。加速网内访问中国移动未部署，部分省引入CDN服务提供商的节点IDCIDC（InternetDataCenter），即互联网数据中心，是一种Internet服务彻底解决内容源问题正在进行IDC内容源的引入，目前已引入？？家-15-内容CACHE\CDN\IDC技术互联网问题及思考12一、IDC已引入的内容源存在的问题二、CACHE、IDC建设统未统筹考虑-16-16一、IDC已引入的内容源存在的问题在IDC网站引入后，我网用户访问某些已引入网站时，仍然访问