搜索
XX公司网络缓存系统方案建议书2011年9月XX公司网络缓存系统建议书目录一．概述..................................................................................................11．互联网访问现有问题.........................................................................................................12．网络缓存解决的问题.........................................................................................................2二．缓存系统建设要求..........................................................................3三．建设方案..........................................................................................41．方案部署结构.....................................................................................................................42．数据访问流程.....................................................................................................................53．可优化的流量.....................................................................................................................6XX公司网络缓存系统建议书1一．概述1．互联网访问现有问题近年来，Internet网络规模迅速扩大，网上用户爆炸性增加，Internet网络带宽及Web服务器处理能力的增长速度永远处于巨大的压力下，人们普遍反映Internet速度慢，希望提高网络访问速度的要求越来越强烈。从近期国内一些著名网站的网上调查结果可以看出，用户对网络访问速度的不满意度很高。可以说，网络访问速度已经成为用户选择ISP及ICP时要考虑的一项重要指标。在特殊时期，对于焦点信息的访问更是成几何级数的增长。例如：美国911事件、伊拉克战事和非典事件更是造成网络使用、访问的突发性增长，给Web服务器和网络都带来了很大的压力。从整体上看，用户得到的响应慢是由以下几个因素造成的：1、网站服务器的延时网站服务器造成的延时在往返时间中占主要比例。当某个服务器收到多个并发HTTP请求时，会产生排队延时。由于响应一个HTTP请求，往往需要多次访问本地硬盘，所以即使是一台负载并不大的服务器，也可能产生几十或几百微秒的延时。2、由路由器、网关、防火墙引入的延时通常在客户端和服务器之间的路径上会存在多个网络设备，如路由器、网关、防火墙等。它们对经过的IP包都要做存储/转发的操作，于是会引入排队延时和处理延时。在网络拥塞时，这些设备甚至会丢弃数据包，此时会寄希望于客户端和服务器通过端到端的协议来恢复通信。3、不同通信链路上的数据传输速度XX公司网络缓存系统建议书2用户需求分析在广域网中，从一个网络设备到另一个网络设备间的数据传输速度是决定往返时间的一个重要因素。但基本带宽的作用并不是像人们想象的那么重要，一项测试表明，当网站采用T3速率接入Internet时，也仅有2%的网页或对象能以64kbps的速度提供给客户端。这显然表明，带宽在网络性能上不是最关键的因素。4、互联网上新业务发展带来的挑战随着宽带平台的建设完成与互联网的发展，互联网上的新业务层出不穷，其中开展最好的主要有互动游戏与视频服务。各种互动游戏用户量大，成为目前互联网的主要业务之一，但作为互动游戏往往在网络上只传输位置坐标等简单信息，大部分地图、人物、怪物的信息存在本地；而构建的服务器基本采用分布式构架，一般运营良好的网游在各个大中城市都具备本地服务器。综上所述，网络游戏的运营不会对互联网络产生太大的影响。视频服务也作为目前互联网的主要业务，基于流媒体协议，具有时序性、连续性、低延时性的特点，同时在网络上传输的数据量较大，互联网络的延时往往会影响用户的访问质量。2．网络缓存解决的问题Internet正以迅猛的速度发展，在世界500强公司中，80%以上的公司有自己的Web地址，一半以上的公司已实现了内部网，并在公用Internet上存放图文并茂的数据。在未来的几年里，Web用户数量将飞速增长。Web访问需求的不可控制的增长将导致人们为满足带宽需求付出巨大的努力。Web的流量是惊人的，但其中绝大部分是冗余的，即一个位置上的多个用户要访问大量相同的内容，这意味着在WAN上日复一日地传输大量相同的内容。消除这些大量的重复传输，就可以大大降低通信成本，从而使企业和服务提供者节约大量的费用。Web缓存实现了Web内容的本地存储，为用户的访问提供了快捷的服务，而不用在WAN上重复传递访问请求和结果。网络缓存（WebCache）技术正是基于这样一个事实：用户访问Internet的数据中，有很大一部分是重复的，包括访问同样的页面、下载相同的软件或观看的同一个流媒体影片。通过使用WebCache技术，可以在Cache设备中缓存用XX公司网络缓存系统建议书3户访问过的对象，这样对相同对象的访问就无需再占用服务器处理能力或者主干的出口带宽。同时，由于用户对服务器的请求可以由本地的Cache设备立即响应，因此可以极大的提高用户访问的响应速度，减少互联网延时对用户的影响。二．缓存系统建设要求缓存系统的建设既要符合对当前系统应用的考虑，又要面向未来信息化发展的需求。其建设原则主要有以下几点：实用性和先进性采用了先进成熟的技术满足当前的业务需求，采用先进的网络技术以适应更高的数据、多媒体信息的传输需要，整个系统在一段时期内能保持技术的先进，并具有良好的发展潜力，以适应未来业务的发展和技术升级的需要。灵活性与可扩展性网络系统是一个不断发展的系统，所以必须具有良好的扩展性。随着业务量的发展，能够通过对缓存设备的扩容、分散部署，扩大网络容量和提高网络各层次节点的功能。缓存系统应具备支持多种通信媒体的能力，提供技术升级、设备更新的灵活性，从而适应数据业务的迅速发展。可管理性采用智能化、可管理的缓存设备，能够实现监控、监测整个网络的运行状况，合理分配网络资源、动态配置网络负载，可以迅速确定网络故障等。本期工程主要是对省内用户进行Web加速，需要在宽带IP网的省出口处布置网络缓存（Cache）设备。Cache设备的部署采用透明代理的方式，即Cache设备对用户是透明的，避免用户端改动配置。考虑到用户需求的增长很快，为了XX公司网络缓存系统建议书4满足今后的扩容及Cache资源的最大化利用，布置Cache设备时需要考虑到流量在多台Cache设备间的负载均衡及灵活方便的增加Cache设备数量。三．建设方案在当前的网络结构中，推荐采用四层交换设备部署网络缓存系统。方式是在省宽带IP网的出口处外挂四层交换机。通过核心路由器和四层交换机配合完成用户数据的重定向，四层交换机实现对Cache设备的负载均衡和健康检测。1．方案部署结构网络缓存系统的部署结构示意图如下：骨骨骨骨骨Cisco7507Cisco7507骨骨1骨骨2骨骨3骨骨4骨骨5骨骨6骨骨7155M1000M100M骨骨骨骨骨Cache1Cache2骨骨骨骨骨Router1骨骨骨骨骨Router2骨骨骨骨骨如上图所示，在本方案中2台核心路由器各采用一条链路连接到四层交换机，四层交换机再通过以太网接口下连Cache设备。四层交换机可以布置在核心XX公司网络缓存系统建议书5机房，同时连接到2台核心路由器上。在核心路由器上配置策略路由，将端口号是80（HTTP）、21（FTP）、554（RTSP）、1755（MMS）的数据包转发到四层交换机上。四层交换机对Cache设备进行健康检测，并将2台核心路由器转发来的数据包在多台Cache设备上进行负载均衡。2．数据访问流程下面，我们以核心路由器Router1为例，说明用户进行HTTP数据访问的具体流程。1．地市用户的HTTP请求到达Router1后，Router1按照在连接地市用户的端口上所作的基于TCP80端口的策略路由，将用户请求重定向到四层交换机。2．四层交换机根据数据包的目的地址，把HTTP请求重定向到某台Cache设备中。3．如果Cache设备中已经存储了用户请求的相关内容，Cache设备将直接响应用户请求，Cache通过四层交换机与Router1的互连端口将回应数据包转发到Router1，由Router1将数据转发到用户端。4．如果Cache设备中没有保存用户所请求的内容，Cache会代替用户向Web服务器发起HTTP请求，数据包通过四层交换机转发到Router1，再由Router1发送到Web服务器上获取相关数据，并返回到Cache设备保留备份。同时Cache利用保存的内容响应用户的请求。如果某台Cache设备发生了宕机，会被四层交换机的健康检测及时发现。宕机的Cache设备将不会再被分发数据包，四层交换机会将后继的数据包转发到其它可用的Cache设备上去。如果所有的Cache设备都宕机了，四层交换机会把Router1转发来的用户请求再转发回Router1，Router1再把请求发送到Web服务器，由Web服务器直接响应用户请求。这样就避免的由于Cache设备不可用造成的用户Web服务中断。另外，四层交换机还可以根据Cache设备的性能，在Cache设备间按比例的分布流量，实现每台Cache设备资源的最大化利用。对于今后的扩容，管理员可XX公司网络缓存系统建议书6以方便的将新的Cache设备挂接到四层交换机下，稍做配置即可实现容量的扩容。核心路由器Router1也有一定的健康检测功能，可以对四层交换机进行健康检测。若连接四层交换机的链路断掉或交换机宕机，都可以被Router1检测，并取消向四层交换机的路由重定向，数据包被直接转发到Web服务器，从而保证了用户正常的上网。Router1的路由重定向可以根据TCP端口进行转发，并能限定数据包源IP地址、目的IP地址和进出路由器方向。根据这些特性，我们在Router1上只对地市节点的用户进入Router1的数据包进行路由重定向（如根据源IP地址）。来自省外、Cache设备、其它地点和流出Router1的数据包Router1不进行路由重定向，因此不会形成数据环路。3．可优化的流量网络缓存（Cache）设备接入到XX公司的网络中后，可以优化带宽的流量有以下几种：HTTPFTPStreaming（RTSP、MMS）根据我们在以往类似项目中的经验，对HTTP流量，通常可达到30%的带宽节省效果，通过策略对一些Web对象进行优化后，最高可达40%以上的带宽节省效果。对FTP流量，所有匿名FTP的访问，Cache设备都能对其进行缓存，一旦发生命中情况，服务器端流量将为零，具体节省带宽的大小取决于当前XX公司网络中FTP流量的总量。增加Cache设备对FTPData通道的流量进行缓存，时间稍长后，节省的带宽将有明显改善。RTSP、MMS直播/点播流量在互联网上呈上升趋势，仅CCTV就有11个网上频道有直播和点播。例如：在进行十七大网上直播的高峰时段，CCTV在成都BlueCoatSG节点上650Mbps的直播流量中，服务器端流量仅不到10Mbps；没有直播XX公司网络缓存系