运营商的数据中心

目录122014年7月贾向宇运营商的数据中心数据中心：东西约700米；南北约400米；占地300余亩；一期工程建设两栋IDC楼。三大运营商几乎同时在2012年后与地方政府签约建设大规模的数据基地，建设周期均在5—10年，目前都处在第一期建设中。电信呼和浩特数据基地1600亩拍摄时间：13/10/26去年8月份4栋机房楼交付使用，已投入运营，是建设较快的一个，用户入住不详。根据苏州国科数据中心（政府投资建设）了解的情况，在11年交付使用，目前入住率仅50%，IBM2012年5月租用的二层机房，目前入住率不到20%。联通廊房数据基地800亩拍摄时间:14/4/29图示近半年时间建设进度处于停滞状态，楼顶设施不完备，还不具备运营能力电信成都数据基地90亩拍摄时间：14/1/4前期工程已交付使用。联通呼和浩特数据基地970亩拍摄时间:14/5/28机房面积是我们的两倍，已开始运营。近半年时间建设进度加快，目前已开始了另外两栋楼的建设（箭头所示）。联通西咸数据基地360亩拍摄时间：13/8/29图示只有施工入住迹象。但近半年施工进度加快，据悉一期主楼已封顶。数据中心电信级机房，高标准、严规范，独立数据中心建筑，抵御8级地震，抗强风暴、雷击。一、机房带宽：拥有最完备的硬件配置和最优质的网络资源，总出口带宽960G，骨干网出口640G、省网出口200G、城域网出口120G。二、电源系统：采用双路110KV高压供电系统，设计容量12.6万KVA，数据中心提供交、直流两种供电方式，配备全负载容量的柴油发电机组，每机房楼8组2000KVA的油机系统。三、空调系统：选用带自然冷却功能的水冷式冷水机组空调系统。送风气流组织采用封闭冷通道，下送风的模式，大大提高制冷效率。四、消防系统：机房设置高灵敏度的早期烟雾探测报警系统，第一时间发现火灾隐患。采用XXX组合分配式灭火系统，符合最高等级的安全标准。五、监控系统：监控系统完善，可以提供对机房内物理环境量24小时监控,所得信息用于设备运行的监测和控制，自动定位分析故障、告警并上报六、安防系统：磁卡双向门禁系统，记录保存XX。7*24小时视频监控，视频保存XX。VIP机房门禁具有密码系统，确保IDC机房的安全可靠。七、网络安全：机房能有效的监测和防治各类入侵，抵御黑客、病毒、恶意代码等通过各种形式对系统发起的恶意破坏和攻击，为客户提供一个安全、安静的网络环境。八、优质服务：XXXXXX。机房参数例：中国联通国家数据中心北京亦庄IDC（五星级）机房参数数据中心网络拓扑图链路方向链路类型数量链路性质基地出口路由器骨干A路由器40GPOS8局间基地出口路由器骨干A路由器40GPOS8局间基地出口路由器省网路由器40GPOS2局间基地出口路由器省网路由器10GE2局间基地出口路由器省网路由器40GPOS2局间基地出口路由器省网路由器10GPOS2局间基地出口路由器城域网核心路由器40GPOS1局间基地出口路由器城域网核心路由器10GE2局间基地出口路由器城域网核心路由器40GPOS1局间基地出口路由器城域网核心路由器10GE2局间（2）一期工程数据中心建设2栋数据机房楼，在2栋数据机房楼分别设置2台核心交换机，负责各机房的接入汇聚，并与出口路由器间组成高速无阻塞网络，实现数据高速转发。链路组织方案机柜封闭结构机柜冷通道示意东机房=16列*18架=288机架西机房=14列*18架=252机架1楼机房=10列*18架=180机架◆机柜高2.2m，42U，每栋楼可放置2U服务器约25000个机架结构和数量◆每机房机架个数◆每栋楼机架总数=180+3(288+252)=1800机架机柜排列系统设备类型型号数量核心网络设备出口路由器华为NE5000E-X162核心交换机H3C12510-F4安全设备防火墙迪普FW1000-TM-N2入侵防御系统迪普DPX8000-A121流量清洗设备迪普Probe3000-TS1管理服务器HPDL380pGen81◆使用杭州迪普科技有限公司的网络安全设备网络安全网络安全异常流量清洗方案动力供给（交流方案）油机8X2000KVA康明斯油机，动力机房1楼电池每层楼两组电池，提供30分钟电力供给110KV10KV380VUPS变电站高压配电220V低压配电列头柜220V2X6.3万KVA变压器每层楼18X400KVA不间断电源，给机房供电每层楼电力室动力机房2楼～～～～～市电油机5X2000KVA康明斯油机，动力机房1楼电池每层楼四组电池，提供30分钟电力供给110KV10KV380V变电站高压配电低压配电2X6.3万KVA变压器动力机房2楼～～220V列头柜220V～～～市电直流开关电源260V列头柜260V——每层楼电力室每层楼15X200KVA开关电源，给机房供电动力供给（直流方案）扩展话题◆机房供电方式：1、传统通信机房的供电方式稳定、可靠、不间断，提供的是直流。因为通信设备使用直流工作。2、市场借鉴通信机房的供电方式，开发了UPS不间断电源，满足商业用户的需求，被广泛使用于商场、医院、公共场所、重要部门。但公众用户使用电网提供的220～，所以UPS需要增加逆变过程将直流变成220～。3、服务器和计算机也使用直流工作，但开始它们并不是通信机房设施，属于普通商业设施，无法获得通信设施的供电条件，所以只能直接使用电网220～工作。因此它们自身配有电源系统把交流变成直流。4、现在有了专业的数据中心，服务器有了通信机房的供电待遇，自然回归直流供电方式，这也是厂商希望的。但同时还要能适应其它场合的应用，所以还保留有交流供电方式。因此专业的数据中心会考虑两种供电方式。◆技术细节：1、目前的直流供电使用直流开关电源技术。2、服务器和计算机具有较强的电网220～适应能力，所以UPS可以采用旁路方式工作，可节省数据中心电能5%。◆2000KW发电机如果满负荷工作的小时耗油量约为500升左右。8台同时工作时，总计小时耗油量4000升。◆其它耗电量：网络机房、空调、其它用电东机房=12列X18架X4kw+4列X18架X6kw=1296kw西机房=10列X18架X4kw+4列X18架X6kw=1152kw1楼机房=6列X18架X4kw+4列X18架X6kw=864kwIDC机房总耗电=864kw+3X2448kw=8208kwIDC耗电量（满配）◆每机房耗电量：◆每栋楼IDC机房耗电量：◆按PUE2，每栋楼满载耗电量：可达15000kw每小时能耗相当于570辆2.5排量的汽车跑出去100公里所需的能量。64天的能耗相当于2万吨当量。增大分母降低PUE，意味着加快用户入住。●冷量和需求配合的空调使用方案；●提高自然制冷温度阈值；●UPS旁路供电方案；●机架和服务器满配方案；●用户尽快入住的营销方案；扩展话题◆机房的能耗管控设计优质和管理到位的机房应达到PUE2。除了好的设计还需要有效的能耗管控。联通机房服务器联通互联瓶颈服务器双线机房Internet电信双线机房源于互联瓶颈由于国内两大网络(电信和网通)之间的互联互通问题.导致电信用户访问联通网站或联通用户访问电信网站很慢,为解决这个问题,出现了所谓双线机房。联通电信互联瓶颈服务器IDC自建机房由于不可能在联通机房拉一条电信的线路，也不可能在电信的机房拉一条联通的线路，所以提供互联网应用的运营商（或称为IDC提供商）只能自建机房。有两种形式：◆双线双IP：如上图所示，服务器接两个网卡两个IP地址。访问路由由用户选择（即在网页上建“联通站”和“电信站”由用户选择访问路由）。双线机房IPIP联通电信互联瓶颈服务器◆双线单IP：如图所示，服务器使用一个IP地址。用户来源的访问判断和线路切换是由放置在接入点上的网络设备和智能域名解析实现。双线机房IPIDC自建机房◆BGP协议BGP协议是互联网自治域之间的互联协议，旨在实现不同自治域间的最大效率的互联。对于上、下行路由都能选择最优的路径，能真正实现单IP高速访问。BGP协议可以将IDC网络与其他运营商互联，做到所有互联运营商的用户访问都很快。联通AS4837电信AS4809服务器IDC服务商AS10001BGP互联BGP机房◆简言之，BGP可实现电信联通的互联互通◆除非人为干涉，互联网自治域之间是平等的。联通AS4837电信AS4809互联瓶颈1、IDC需要在CNNIC（中国互联网信息中心）或APNIC（亚太网络信息中心）申请自己的IP地址段和AS号。服务器IDC服务商AS10001BGP互联2、IDC需要有自己的机房，需要有自已的网络。所以那些采用跟运营商租用机房或共建机房的IDC运营商是无法实现BGP双线的。3、申请单位必须提供与对方ISP签署的关于双方使用BGP协议互联的协议书。服务器◆BGP机房应具备的条件BGP机房由此可见大部分的IDC提供商是不具备BGP机房条件的◆BGP双线机房必须要有自已的AS号。右图所示为北京安达科技有限公司。BGP机房具有AS号的一些企业AS37958：北京安达科技有限公司.BeijingBlueI.TTechnologiesCo.,Ltd.应该注意的是1、具有AS号的企业是默认可以接入互联网用户的。2、电信的IDC机房在很早就已经申请了公有AS号。AS37963阿里巴巴AS17429歌华有线AS24139杭州华数AS17428世纪互联AS17442网宿科技AS17997光通通信（互联网游戏运营商）AS18118中信网络AS9298北京网联无线世界级数据中心AS4983IntelCorporationAS8070MicrosoftCorpAS4816CHINANET-IDC-GDChinaTelecomAS23724CHINANET-IDC-BJChinaTelecomAS4815CHINANET-IDC-SHChinaTelecomAS4835CHINANET-IDC-SNChinaTelecom无锡BGP机房◆一般的IDC提供商常使用“BGP双线机房”作为宣传。◆通信运营商的机房具备BGP机房条件，方便实现多线外联，这取决于具体应用方式。◆大二层网络是虚拟化技术涉及的概念，由于我们现在没有云计算资源，所以不涉及这个问题。大二层网络是服务器生产厂商（包括电商）关心的内容如：华为、IBM、HP、CISCO等。如果它们要在中原数据基地组建云计算网络，会涉及到这个问题。大二层网络◆所谓二层网络，是由交换机和集线器构成的网络，使用802.3X协议的网络。局域网并非都是二层网络。大二层网络◆大二层网络包括两个含义：1、规模大接入的终端多：需要克服的问题是环路、阻塞、广播风暴。主要通过网络虚拟化技术，这一技术厂家支持。2、地域范围大传输距离远：远距离只能通过广域网WAN连接，而广域网主要使用IP技术。主要通过MacOverIP技术。这一技术厂家支持。WAN由此可见大二层技术由厂家主导，通信运营商不可能凭空规划出一个虚拟二层网络。数据中心怎样支持大二层网络取绝于使用哪一个厂家的网络设备。跨地域的二层联接◆数据中心需要大二层网络虚拟主机平台虚拟主机平台虚拟主机平台1、由于传统的数据中心服务器利用率太低，需要通过虚拟化技术提高资源利用率。2、虚拟机动态迁移，要求迁移前后的IP和MAC地址不变，这就需要虚拟机处于同一个二层域内部。要求网络支持大范围的二层域。二层网络规模有多大，虚拟机才能迁移有多远。3、数据中心的规模越来越大，要求二层网络的端口密度要足够大。◆三种迁移方式：P2V、V2V、V2P，以及跨地域的迁移，比如物理宕机时，虚拟环境排障等。大二层网络VMVMVMVMVMVMVMVMVM◆大二层网络需求实例：客户有3个数据中心，在北京的数据中心、上海的数据中心、新加坡的数据中心各有三个VM，要求按类别虚拟出三个二层网络，每个虚拟二层网中的VM，觉得自己和其余两台机器就像连在同一台交换机上一样；而三个虚拟二层网彼此隔离。VMVMVMVMVMVMVMVMVMIP网络◆第一步让它们在同一个大二层网络内，第二步在二层网内划分VLAN隔离。大二层网络新加坡◆大二层网络技术：一、数据中心内1、