数据中心机房基础设施建设

数据中心机房基础设施建设范娟2011年4月1曙光公司介绍2曙光云座系统介绍3曙光机房解决方案介绍4部分成功案例IT数据中心制冷问题传统机房的散热方案目前，大多数的数据中心都采用架空地板＋精密空调的方式来为设备提供冷却热岛的出现制冷不均匀造成了系统MTBF的降低最大制冷能力:1,100–1,500W/m²=3-5kW/rack（CFD）模拟测试结果1.机房内部不同区域温度场差异很大2.不同的水平高度温度场差异很大3.局部出现过热，造成系统局部散热不良而影响系统总体可靠性4.空调机占用了25%的机房面积配备CRAC(风冷精密空调)的机房上、中、下部CFD模拟结果摩尔定律：密度越来越高、散热量提升、总功耗提升单机柜功耗逐年提升（单位：KW）20002004200820105102030面临的主要问题1001.00010.000100.0001.000.00010.000.000100.000.00019721977198219871992199720022007NumberofTransistorsSpeedinkHz1001.00010.000100.0001.000.00010.000.000100.000.00019721977198219871992199720022007NumberofTransistorsSpeedinkHz1001.00010.000100.0001.000.00010.000.000100.000.00019721977198219871992199720022007NumberofTransistorsSpeedinkHz传统冷却方式的不足传统的机房制冷方式已经越来越不能适应今天IT系统发展的需要，必须改变局部过热能效低难以管理占空间1.由于空间大，无法进行精密的气流设计，造成局部的热岛2.机柜内部也出现温度不均匀的情况3.热岛的出现降低了系统的可靠性1.制冷能耗利用率只有60%2.传输过程造成大量能量损失3.整个机房制冷耗能严重1.空调与IT系统无法协调工作，故障和应急处理困难2.空调需要专业人员的维护1.空调设备和管道占用了大量宝贵的机房空间2.风道设计要求机房的地板和天花板留出大量空间解决方案更高的计算密度造成更高的功率密度空调系统占用了宝贵的机房空间机房冷却系统的能耗巨大，而能效却很低新一代的信息系统面临许多挑战，提高系统使用效能是关键。而能效又是影响系统使用成本的关键因素新的制冷解决方案解决方案一曙光CA1000系统•型号–CA1000F（氟利昂型）•显冷量：35KW•风量：7000m3/h•送风方式：–柜门通道封闭式–密闭气流的水平送风模式–最高机柜密度10KW解决方案一曙光CA1000系统一体化系统设计，包括空调、机柜排级配电、机柜、一体化线槽、除湿除尘机。曙光C1000系统空调-冷热通道分离，气流组织有序；-就近精确送风，循环风阻小、风量大；-不同高度进风温度均衡；-制冷效率高、系统噪音低；-可以解决最高单机柜10KW的散热需求。随着机柜密度的不断提升水平送风结合气流分离的散热方式将是未来高性能计算的主流散热解决方案解决方案一曙光CA1000系统空调类型曙光C1000空调下送风精密空调舒适性空调制冷量38KW33KW28KW设备尺寸（宽*深）600*1200850*8751200*400占地面积0.720.743750.48显热比高高低风量7000m3/h10000m3/h4000m3/h气流组织有序无冷热气流短路有部分冷热气流短路混乱能够解决的单机柜密度10KW5KW2KW机柜温度梯度不存在存在存在设计寿命10年10年3年控制精度±1℃±1℃±3～5℃是否支持低温启动是是否是否支持来电自启是是否与集群系统的统一性统一不统一不统一解决方案一曙光CA1000系统解决方案二曙光CA2000系统•型号–CA2000（冷冻水型）•显冷量：20KW•风量：4000m3/h•送风方式–机柜一体封闭式–机柜密度：20KW1.前门2.热交换模块3.风扇后门4.侧门5.冷风出口水冷机柜的结构解决方案二曙光CA2000系统水冷机柜系统原理+水冷机柜系统：以水作为冷媒，将外部水冷机组提供的冷却水经由管道输送到室内设备，解决服务器设备散热。解决方案二曙光CA2000系统曙光水冷机柜系统指标•柜内换热器7U/19”标准部件，42U柜内有效空间35U•单机柜最大制冷功率20KW•气密性封闭柜体，无尘设计，降噪设计，保证系统噪声低于50dB•采用国际标准通用冷水机组和水泵，完善的机组配置方案，支持N+1冗余•双冗余管路和水泵设计，可靠性更高•机柜内部温度自动监测和控制•后门自动转速控制的热插拔3+1冗余风扇•每台机柜独立的监控系统模组，百兆以太网构成监控管理网络•集成一体化的高可靠控制系统，独立的监控主机，与GRIDVIEW的软件接口，实现与服务器的一体化管理。•智能卡控制自动柜门开启•阀门、水泵、水温和流速监测系统，漏水监测系统，冷凝水排除系统•内部自动火灾监测和自动惰性气体灭火装置•高X宽X深：2000mmX600mmX1300mm•重量：230kg，冷却水重9kg解决方案二曙光CA2000系统节能实例以曙光5000A为例，计算“刀片+水冷”系统与“机架+精密空调”系统在能耗、空间占用的对比：机架+精密空调系统项目数量发热量一、设备功耗：计算节点机柜（每机柜24台双路1U服务器）1258.5KW/rack胖节点机柜（每机柜5台8路服务器）177.5KW/rack网络机柜105KW/rack小计：设备总功耗=1062.5+127.5+50=1240KW二、冷却设备功耗：60KW精密空调（制冷效率以60%计算）3522KW/pcs小计：冷却设备总功耗=35*22=770KW机架+精密空调系统总能耗：总能耗=（1240+770）*24*365=17,607,600千瓦时刀片+水冷系统项目数量发热量一、设备功耗：刀片用水冷机柜3025KW/rack胖节点用水冷机柜1212KW/rack水冷机柜421.8KW/rack网络机柜105KW/rack小计：设备总功耗=750+114+75.6+50=989.6KW二、冷却设备功耗：水冷相关设备：水泵212.5KW/pcs热交换器101KW/pcs612.4KW室外水冷机组2127KW/pcs60KW精密空调（制冷效率以60%计算）422KW/pcs小计：冷却设备总功耗=25+10+254+88=377KW刀片+水冷系统总能耗：总能耗=（989.6+25+10+88）*24*365+254*24*280=11,971,416千瓦时刀片+水冷系统项目数量占地面积占用空间水冷机柜421.04㎡3㎡网络机柜100.72㎡2.5㎡60KW精密空调42.2㎡4.7㎡总占用空间（精密空调在机房内）=42*3+10*2.5+4*4.7=169.8㎡总占用空间（精密空调在机房外）=42*3+10*2.5=151㎡占用空间对比：机架+精密空调系统项目数量占地面积占用空间计算节点机柜1250.72㎡2.5㎡胖节点机柜170.72㎡2.5㎡网络机柜100.72㎡2.5㎡60KW精密空调352.2㎡4.7㎡总占用空间（精密空调在机房内）=（125+17+10）*2.5+35*4.7=544.5㎡总占用空间（精密空调在机房外）=（125+17+10）*2.5=380㎡解决方案三曙光CA3000系统•型号–CA3000F（氟利昂型）–CA3000W（冷冻水型）•显冷量：30KW•风量：6000m3/h•送风方式：–机柜一体封闭式–机柜密度：30KW1曙光公司介绍2曙光云座系统介绍3曙光机房解决方案介绍4部分成功案例数据中心机房子系统供配电防雷主设备空调机柜监控布线消防门禁装饰装修一、机房选址原则根据GB50174-2008《电子信息系统机房设计规范》要求，机房位置选择应符合以下要求：水源充足，电力比较稳定可靠，交通通信方便，自然环境清洁；远离产生粉尘、油烟、有害气体以及生产或贮存具有腐蚀性、易燃、易爆物品的工厂、仓库、堆场等；远离水灾和火灾隐患区域；远离强振源和强噪声源；避开强电磁场干扰。一、机房选址原则由于机房的特殊需求，室内需要铺设活动地板，吊顶下部还需要留出吊装线槽、消防附件、新风设备的空间，因此机房选址房间的层高要求大于4米。机房所在建筑顶层或周边应具备冷水机组安装平台，平台尽量靠近主机房楼层。建筑的抗震设防等级不应低于乙级。主机房楼板活动载荷不应低于12KN/m2，电池间楼板活动载荷不应低于16KN/m2。主机房外墙不宜设置外窗。二、机房布局分区机房由主机房、支持区、辅助区三部分构成。主机房用于摆放服务器机柜、网络机柜、专用空调设备、列头配电设备，实现机房的数据处理、存储及传输设备运行。支持区包括UPS配电间、储水罐间、监控室和钢瓶间，用于布置机房辅助基础设施。辅助区包括前厅、值班室、更衣间、休息间等，供工作人员接待、缓冲区使用。三、机房布局分区及装修设计三、装修设计机房装修工程通常包括地板、吊顶和墙面。三、装修设计吊顶主机房采用国产600mm×600mm×0.7mm铝合金条形板吊顶；在吊顶以上到顶棚的空间，可用来布置通风管道，安装照明灯具及走线，安装各类风口，安装自动火灾探测器及防止灰尘下落。三、装修设计墙面、柱面主机房区内墙面、柱面采用0.8mm厚轻钢龙骨，9mm厚中密度板作底，选用彩钢板作面层，10mm宽的配套压条压板缝。地面主机房和监控室内地面均铺设防静电活动地板。活动地板规格600*600mm，铺设高度400mm。双电路供应计算机设备电源A电源BUPS设备A一号空调配电列头柜A二号空调配电箱双电力供应系统（UPSN+1并机）其它UPS设备BUPS设备C配电列头柜B四、电气系统设计电力供应1备用发电机1或电力供应2自动转换开关双电路供应计算机设备电源A电源BUPS设备A市电电力供应一号空调配电列头柜A二号空调配电箱单电力供应系统（无油机N+1并机）其它UPS设备BUPS设备C配电列头柜B四、电气系统设计配电箱1-1双电路供应计算机设备电源A电源BUPS设备A配电箱2-1电力供应1一号空调配电箱3-1备用UPSB旁路配电箱1-2配电箱2-2配电箱3-3备用UPSA旁路双电力供应系统（无油机2N双总线）二号空调UPS设备B电力供应2四、电气系统设计四、电气系统设计机房的配电系统设计为“双路市电互投切换＋UPS并机冗余＋输出双回路”的高可靠性的供电方式。由大楼配电系统提供双路电源，并沿电井引至本机房市电进线柜，保证机房的一级供电。两路电源通过ATS进行互投切换后输出，供给UPS及动力配电柜，经UPS稳频稳压后双回路输出给计算机设备供电。在两路市电断电的过程中，UPS通过其后备电池给计算机设备供电，确保计算机设备无瞬间断电。四、电气系统设计机房辅助动力设备包括机房空调系统，机房新风系统、照明、辅助用电等，均由机房动力配电柜供给。动力配电柜输入由双路市电切换供给，一路市电断电时，另一路市电可以保证正常供电。强电线缆采用活动地板下铺设镀锌线槽布线。配电与消防报警系统联动。四、电气系统设计四、电气系统设计机房区域采用分区列头模块化配电。UPS输出配电柜输出两路至主机房各排机柜的两台列头配电模块PDM，用于UPS输出电量分配，PDM通过IEC309工业连接器与机柜PDU可靠连接，机柜的供电线缆通过工业连接器安全可靠的给机柜内电源插排供电。每排机柜的两台PDM均放置在列头配电机柜中，其它每个机柜后部配电通道分别挂接两条PDU，两条PDU分别引自两台PDM输出。四、电气系统设计模块化配电四、电气系统设计等电位供电线路外露可导电部分建筑物的金属构件可导电装饰材料各类接地系统防雷装置电子设备信息系统等电位处理五、空调与通风系统设计室外机安装位置五、空调与通风系统设计——通风新风作用保证机房内的正压、洁净度及工作人员工作环境。新风量按照1.5次/h换气次数计算，风量立方米/小时。五、空调与通风系统设计——通风排风由于机房、设备间采用气体灭火，需配置