复旦大学软件学院工程硕士课程网络与多媒体技术吕智慧博士lzh@fudan.edu.cn计算机科学技术学院2011-12011-1-22网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cn1.内容分发网络技术概述zCDNServiceProvider:从运营的角度,CDN的运营商主要分为两类z一类是传统的网络运营商建设CDN并运营,如AT&T、德国电信、中国电信和中国网通;z另一类是纯粹的CDN运营商,如国外的Akamai、Limelight、国内的ChinaCache。zCDNDeviceVender:zNetworkAppliancezCiscozHuaweizF5Networksz北电Nortel2011-1-23网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cnzSource内容分发网络技术概述ContentDeliverySolution-Akamai:全球最大的CDN服务提供商ContentDeliverySolution-Akamai:全球最大的CDN服务提供商2011-1-24网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cn1.内容分发网络技术概述z从CDN设备的角度,CDN的实现有两种方式:基于专用设备的硬件实现方式和基于通用系统的软件实现方式。z基于专用设备的硬件实现方式一般采用专用的操作系统,专门开发的媒体服务系统,专用的硬件设备(机架式)。z基于通用软件的实现方式一般采用通用的操作系统,如Windows或Linux,直接采用通用媒体服务器作为播放服务器,如WindowsMediaServer和RealServer,并通过附加CDN软件的方式实现相关的CDN功能。2011-1-25网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cn2.内容分发网络组成及其需求zz内容请求路由系统内容请求路由系统zz全局负载均衡全局负载均衡zz负责通过静态或动态的方式为用户的请负责通过静态或动态的方式为用户的请求选择最佳的访问站点求选择最佳的访问站点zz本地负载均衡本地负载均衡zz位于位于CDNCDN接入点中,除配合完成全局的接入点中,除配合完成全局的负载均衡之外,负责内容服务引擎的负负载均衡之外,负责内容服务引擎的负载平衡及业务服务的访问控制载平衡及业务服务的访问控制zz内容缓存节点内容缓存节点zz位于位于CDNCDN接入点中的一组分布式的接入点中的一组分布式的服务代理,可缓存静态的服务代理,可缓存静态的WebWeb内容内容和流媒体内容,提供边缘服务,和流媒体内容,提供边缘服务,zz内容提交、分发与管理内容提交、分发与管理zz集中式的内容分发管理和网络管理,集中式的内容分发管理和网络管理,并对用户和内容提供商的并对用户和内容提供商的CDNCDN使用使用情况进行统计和计费情况进行统计和计费zz资源管理与运营支撑系统资源管理与运营支撑系统内容推送、定位内容访问状况监控、统计集中的资源(服务能力、存储等)管理集中的网络管理、监控方便灵活的应用部署内容服务能力、质量保证;内容映射规则资源控制防盗连、内容保护健康检查、资源利用的有效性;服务能力与质量的保证服务提交的灵活性;策略控制;层次性、有效性2011-1-26网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cnCNGI项目CDN示范总体网络和服务器部署架构广州西安武汉上海内容缓存设备内容缓存设备内容缓存设备内容缓存设备CNGI:CERNET2数据库服务器NAS存储服务器北京Web服务器内容管理服务器FTP上下载服务器源服务器全局负载均衡服务器邮件服务器2011-1-27网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cn3.CDN的主要技术和涉及的协议zz负载均衡技术负载均衡技术:内容路由技术内容路由技术z服务器全局负载均衡z服务器本地负载均衡zz内容分发技术内容分发技术zzPushPush::事先内容分发与复制(Replica)zzPullPull::实时高速缓存机制(Cache)zz内容存储技术内容存储技术zz内容管理技术内容管理技术zz内容安全技术内容安全技术2011-1-28网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cnInternetContentProviderInternetContentProviderUsersInshanghaiTelecomCDNTelecomCDNEdgeServerEdgeServerEdgeServerEdgeServerAOLAOLSinaSinaCCTVCCTVCNNCNNHBOHBODisneyDisneyGlobalServerGlobalServerLoadBalancingLoadBalancingGSLB:PrivateGSLB:PrivateProtocolusedbyProtocolusedbyF5F5,,FoudaryFoudary,,ArrowpointArrowpoint,,AlteonAlteonetal.etal.LocalServerLoadLocalServerLoadBalance:UsingBalance:UsingPing/SNMP/WMI/Ping/SNMP/WMI/AgenttoMonitorLocalAgenttoMonitorLocalCacheNodeStatusCacheNodeStatusContentContentPublishandPublishandManagementManagementCacheNodeCacheNodePushContentThroughFTPorHTTPPullContentThroughHTTP/RTSP/MMSStorageStorageManagement:Management:SMISMI--S/NDMP/etS/NDMP/etalalManagersInUSA2011-1-29网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cn3CDN的主要技术3.13.1负载均衡技术负载均衡技术zCDN负载均衡系统实现CDN的内容路由功能。它的作用是将用户的请求导向整个CDN网络中的最佳节点。最佳节点的选定可以根据多种策略,例如距离最近、节点负载最轻等。负载均衡系统是整个CDN的核心,负载均衡的准确性和效率直接决定了整个CDN的效率和性能。z通常负载均衡可以分为两个层次:全局负载均衡(GSLB)和本地负载均衡(SLB),主要使用了动态内容路由技术。2011-1-210网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cn3CDN的主要技术3.23.2内容分发技术内容分发技术z内容分发包含从内容源到CDN边缘的Cache的过程。从实现上看,有两种主流的内容分发技术:PUSH和PULL.zPUSH是一种主动分发的技术。通常,PUSH由内容管理系统发起,将内容从源或者中心媒体资源库分发到各边缘的Cache节点。z分发的协议可以采用HTTP/FTP,或者专用的PUSH协议。z通过PUSH分发的内容一般是比较热点的内容,这些内容通过PUSH方式预分发(Preload)到边缘Cache,可以实现有针对的内容提供。zPULL是一种被动的分发技术,PULL分发通常由用户请求驱动。当用户请求的内容在本地的边缘Cache上不存在(未命中)时,Cache启动PULL方法从内容源或者其他CDN节点实时获取内容。在PULL方式下,内容的分发是按需的。2011-1-211网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cn3CDN的主要技术z3.3内容管理技术zz内容管理平台作为内容管理平台作为CDNCDN运营支撑平台的一个子系运营支撑平台的一个子系统,负责系统所有与分发有关的管理、运营。统,负责系统所有与分发有关的管理、运营。zz全局内容管理涵盖了从内容的发布、注入、分发、全局内容管理涵盖了从内容的发布、注入、分发、调整、传递等一系列过程。系统可对调整、传递等一系列过程。系统可对CPCP推送的内推送的内容进行审查、发布、修改、删除和刷新,可智能地容进行审查、发布、修改、删除和刷新,可智能地向各边缘向各边缘CDNCDN节点推送内容,也可以智能地从节点推送内容,也可以智能地从ICPICP处获取内容,即处获取内容,即““PushPush和和PullPull””方式。方式。zz能够实时了解内容在能够实时了解内容在CDNCDN中各节点的分布情况,并中各节点的分布情况,并据此进行内容调度访问。除此以外,提供第三方分据此进行内容调度访问。除此以外,提供第三方分发接口,可实现针对第三方内容的统一分发。发接口,可实现针对第三方内容的统一分发。2011-1-212网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cn3CDN的主要技术z3.3内容管理技术zz本地内容管理重点强调内容进入本地内容管理重点强调内容进入CacheCache点后的内容点后的内容管理。管理。zz本地内容管理主要针对一个本地内容管理主要针对一个CDNCDN节点(由多个节点(由多个CDNCacheCDNCache设备和一个设备和一个SLBSLB设备构成)进行。本设备构成)进行。本地内容管理的主要目标是提高内容服务的效率,提地内容管理的主要目标是提高内容服务的效率,提高本地节点的存储利用率。通过本地内容管理,可高本地节点的存储利用率。通过本地内容管理,可以在以在CDNCDN节点实现基于内容感知的调度,通过内容节点实现基于内容感知的调度,通过内容感知的调度,可以避免将用户重定向到没有该内容感知的调度,可以避免将用户重定向到没有该内容的的CacheCache设备上,从而提高负载均衡的效率。通过设备上,从而提高负载均衡的效率。通过本地内容管理还可以有效地实现在本地内容管理还可以有效地实现在CDNCDN节点内容的节点内容的存储共享,提高存储空间的利用率。存储共享,提高存储空间的利用率。2011-1-213网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cn4.内容分发技术发展的新趋势zCDN概念是1998年开始提出的,当时美国麻省理工学院(MIT)的教授和研究生通过分析当时Internet的网络状况,提出了一套能够实现用户就近访问的解决方案,最终设计并实现了其独有的系统,在此基础上于2000年建立了世界第一家提供商用CDN服务的专业技术公司――Akamai,这就是第一代CDN,其所要解决的问题即所谓的“最后一公里”的问题。z从那时起,CDN技术就开始受到广泛关注并快速发展,并逐步成为Internet网络中的一项重要服务。随着互联网应用的发展和技术的进步,2005年左右,解决端到端的内容服务质量的问题就成为第二代CDN出现的根本契机。z在2006年之后,CDN本身的主要技术(负载均衡技术、动态内容路由、高速缓存机制、动态内容分发与复制)、基于CDN的流媒体直播和点播技术已经比较成熟,研究者开始关注更深入的问题.2011-1-214网络与多媒体技术网络与多媒体技术lzh@fudan.edu.cnlzh@fudan.edu.cn4.内容分发技术发展的新趋势Source:GoogleKnowledge:OngoingTrendsandFutureDirection