《系统集成》-数据中心机房环境设计

数据中心机房环境设计山西工程职业技术学院-计算机工程系2009年4月系统集成讲座目录数据中心设计标准数据中心环境面临的挑战散热解决方案布线解决方案供电解决方案机房建筑设计与规模规划数据中心解决方案综合实践中小型数据中心机房EOR建设实例数据中心业界标准介绍ANSI/TIA-942TelecommunicationsInfrastructureStandardforDataCentersTIA/EIA568Copper&FiberCablingTIA/EIA569Pathways&SpacesTIA/EIA606AdministrationTIA/EIA607Grounding&BondingASHRAECooling/HVACUptimeInstituteIEEE1100ITEGrounding国内相关标准：《数据中心布线系统的设计与施工技术白皮书》GB50174-2008《电子信息系统机房设计规范》数据中心电信空间与大楼其它空间关系建筑物场地大楼外墙普通办公空间数据中心外的电信和设备空间数据中心（电信空间）机房维护人员办公空间接入室（ER）机电设备机房UPS/HVAC等运营监管中心StorageRooms&LoadingDocks数据中心内的通信室5TIA-942数据中心逻辑结构图接入室RM总配线区MDA路由器、核心LAN/SAN交换机、PBX等接服务商网或园区接服务商网或园区水平配线区HDALAN/SAN/KVM交换机机房水平配线区HDALAN/SAN/KVM交换机水平配线区HDALAN/SAN/KVM交换机水平配线区HDALAN/SAN/KVM交换机设备配线区EDA机架/机柜设备配线区EDA机架/机柜设备配线区EDA机架/机柜设备配线区EDA机架/机柜通信室TR办公&操作中心的LAN交换机运维办公室、办公、操作中心主干电缆主干电缆主干电缆主干电缆主干电缆主干电缆水平电缆水平电缆水平电缆区域配线区ZDA水平电缆水平电缆水平电缆6典型数据中心布局接入室RM接入服务商网或园区网总配线区MDA水平配线区HDA设备配线区EDA主干电缆水平电缆通信室TR机柜机柜机房ComputerRoom机柜机柜机柜机柜机柜机柜MDAEDAEDA7关于MDA/ZDA/EDAZDA水平电缆EDA机架EDA的一个机柜ZDA的电缆配线口MDA的一个机柜采用简化型布线结构的数据中心机房平面图EDAEDAEDAEDAEDAZDAMDA服务器水平电缆（90M）TOR交换机服务器配线板LAN交换机服务器水平电缆（90M）服务器EDA通过ZDA同HAD连接配线板区域配线区ZDA水平配线区HDA设备配线区EDACP/ZOEDA直接同HAD连接跳线设备配线区EDA配线板跳线跳线服务器服务器对MDA/ZDA/EDA的补充说明数据中心分级(TIA-942)TierI基本TierII冗余单元TierIII可并行维护TierIV容错可用性99.671%99.749%99.982%99.995%每年IT服务中断时间28.8小时22.0小时1.6小时0.4小时操控中心无无有有多运营商线路接入否否是是主干线缆冗余否否是是水平配线冗余否否否可选供电线路1路1路1主＋1备2路热备UPS冗余NN+1冗余N+1冗余2N冗余……注：数据中心的定级取决于整个系统中最低等级的部件目录数据中心设计标准数据中心环境面临的挑战散热解决方案布线解决方案供电解决方案机房建筑设计与规模规划数据中心解决方案综合实践中小型数据中心机房EOR建设实例数据中心IT设施正在发生变化，传统的数据中心环境已不能满足要求：刀片服务器单机柜80～84个服务器30KW功耗1U系统端口密度高发热量大自重大存储设备700,900,1100+kgs……问题的引入数据中心环境面临的挑战典型问题：散热结构化配线电源承载数据中心的效率问题关注可靠性、可用性，而忽视了效率问题数据中心规划不合理(最大负荷原则)24×7全天候可用；满足未来的不断扩展；90％的企业数据中心散热能力设计富余。设备利用率低服务器性能高，但往往一台服务器只运行了一个应用程序；72％的服务器散热存在迂回问题。电源效率低目录数据中心设计标准数据中心环境面临的挑战散热解决方案布线解决方案供电解决方案机房建筑设计与规模规划数据中心解决方案综合实践中小型数据中心机房EOR建设实例散热问题的引入数据中心各类设备的发热量越来越大数据中心空间不够，导致设备部署密度越来越高环境温度500，1000，1600，2150瓦/平方米(TireI~IV)热点散热管理不善根据阿列纽斯法则：温度每上升10度，电子器件的可靠性将下降50％。解决思路：分散热源增加走道的空间降低每排机柜的设备密度使用地板、天花板配合热循环冷热风道隔离机房环境散热的问题及解决思路网络设备的机柜散热优化使用导风管未使用导风管使用导风管可以大大改善机柜的散热环境！机房散热风道设计－冷热风道空气流动组件冷风道/热风道电缆布置天花板导管辅助机房环境散热设计冷热风道烟囱设计空气循环加速中国电信对机柜散热的创新传统的送风存在的问题：冷气只能到达机柜过道的里，依靠机柜内设备风扇将冷气吸进机柜内，散热效率低。（机房冷，设备热）上送风机柜要依赖面板上的网孔来通风，给空气流动带来不小的阻力，使流动性本来就不足的冷气量更加减少传统下送风机柜只简单考虑冷空气从架空地板进入机柜的入口问题，进入机柜后向四周空间散去，只有流向机柜前面的少量冷气才能被设备吸收流空调设备中传统上送风方式气流组织传统上送风机柜的气流组织据理论计算和现场测试，表明上送风机柜可以较好地满足每个机柜1kW功率的制冷要求，勉强能解决每个机柜2kW功率的制冷问题。传统下送风机柜的气流组织212009年7月中国电信制定的《数据用网络机柜技术规范》和《数据用电源列柜技术规范》精确送风原则：1）把冷气输送到机柜里面去：因为是机柜内设备最需要冷气。2）把冷气输送到机柜的正面去：因为冷气只能从服务器正面进入模块化服务器机箱，发挥换热作用。3）精确调节每个机柜的进气量：因为机柜内设备发热量不同，需要的冷量也不同。4）不让机柜内的冷气随意流失：因为只有进入服务器的冷气才真正发挥散热作用，所以应把冷气聚束在服务器正面空间。中国电信对机柜散热的创新数据中心机房环境散热方案总结设计方案：基础设施部署冗余增加散热设施架空冷却装置水冷式机柜带自动调整节气阀地砖冷却门技术机柜导风管实施方案：热源分散避免使用集群系统安装挡板简化布线使用专业的温度监测工具目录数据中心设计标准数据中心环境面临的挑战散热解决方案布线解决方案供电解决方案机房建筑设计与规模规划数据中心解决方案综合实践中小型数据中心机房EOR建设实例数据中心布线面临的问题端口不足随意“借用”其他连接乱搭乱建布线混乱阻碍空气流通故障排除困难扩容困难容易发生人为故障混乱恶性循环正确计算端口数量规模实际使用端口占配置端口的95％预置机柜位置制定布线管理计划选择良好的高密度方案根据未来发展战略进行布线管理使用分布式设计数据中心布线解决方案设计直连布线设计网络机柜独立排列布线与服务器机柜直连适合某个功能分区(单元)不适合某个功能分区(单元)网络机柜集中排放一个网络机柜对应一排服务器机柜电缆重叠，容易拥塞分布式布线设计网络设备列头柜汇聚列头柜连接到服务器机柜由列头柜上行连接到网络核心机柜组分布式列头柜设计没有线缆重叠连接线缆短，传输性好网络层次性好，容易扩展成本低、管理方便空气流通性好，便于散热线缆的选择及走线方式电缆类型及线径超5类双绞线(CAT5E)0.157’’6类双绞线(CAT6)0.25’’超6类双绞线(CAT6E)0.315’’地板下走线机架上走线架空走线混合走线地板下走线机架上走线架空走线项目下走线上走线机柜顶部走线初期安装工序地板下固定和敷设电源线和数据线两个走线槽，布线，在地板下每个机柜的正下方固定和安装电源插座。在机柜正下方的地板上打孔，方便线缆进入机柜。在天花水泥板上打孔固定吊线架，布线，天花全部涂黑处理。放线到每个机柜。在每个机柜顶部安装数据线和电源线槽，放线到每个机柜。两排机柜之间架走线桥架。工程量大中小扩容工序在配电柜内增加开关。揭开地板，揭开走线槽盖板，重新从配电柜放线过来，在机柜正下方固定电源插座。恢复地板。在配电柜内增加开关。延机柜上方吊线架放线进入机柜。在配电柜内增加开关。延机柜顶部线槽放线进入机柜。扩容对制冷的影响揭开高架地板，造成气流布局破坏，影响机柜散热。无影响无影响扩容最难难简单火灾如果在地板下的电缆发热、变软、冒烟、起火，这个过程不容易被及时发现，容易从小事故变成大灾难。在吊线架上的电缆冒烟起火还是比较容易发现的。由于天花有吊顶，色彩反差大，如果有冒烟起火会被及时发现，人工、摄像、监控系统多重监控。水灾容易受水灾影响，进而带来人身和设备安全。基本不会受影响基本不会受影响虫鼠危害比较容易受危害，不能及时发现。有可能受危害，但能及时发现咬掉的线缆残渣。有可能受危害，但能及时发现咬掉的线缆残渣。对下送风制冷的影响地板下的走线槽会阻碍冷空气流动，从地板下进入机柜时要在地板上开口，造成冷热空气混合，冷空气逃逸。无影响无影响对机房装修的要求要求有高架地板，地板高度最好为大于600mm。（根据中国的环境最好是高于300mm）要求天花水泥板与吊线架结构紧密，要求天花梁下到机柜顶部的高度大于600mm要求天花梁下到机柜顶部的高度大于400mm维护能力维护比较麻烦，需要掀开地板和走线槽寻找。要爬的较高维护最简单，只需要一个小梯子。走线方式的优势对比√地板下走线注意事项地板下走线凌乱，影响冷气流通，故障定位困难，应注意避免！区域配线区(ZDA)让整机柜设备(如大型机、SAN设备)布线更加灵活获得在水平配线区与终端设备之间更高的配置灵活性区域配线区中不可使用有源设备机框式交换机配线方案交替电缆扇形分叉单侧电缆扇形分叉配线实施方案线路布线整齐不要使用过长的跳线按设计方案中的线缆管理实施目录数据中心设计标准数据中心环境面临的挑战散热解决方案布线解决方案供电解决方案机房建筑设计与规模规划数据中心解决方案综合实践中小型数据中心机房EOR建设实例接入线路需求不断增长电源容量需求不断增高当前电力负荷超过早期的设计电源冗余消除（N+1）-N超过总建筑容量数据中心供电系统面临的问题为所有的机架进行预埋线容量设置为实配容量的95％冗余供电由多个PDU供电预留50％功率可持续扩展采用分布式设计供电系统方案设计直连设计电气管道部署到所有机柜阻碍风道故障定位复杂容易产生人为故障线缆管道重叠线缆多，不适合大型数据中心分布式设计减少电气管道重叠改善散热风道维修电气管道短，减少成本降低故障率方案实施主机使用冗余电源限制系统中奇数电源线的数量使用功率表/电流表测算目录数据中心设计标准数据中心环境面临的挑战散热解决方案布线解决方案供电解决方案机房建筑设计与规模规划数据中心解决方案综合实践中小型数据中心机房EOR建设实例数据中心机房建筑要求(TIA-942)天花板高度机房装修后的地面至天花板任何障碍物（雨洒、照明灯、摄像头等）必须为2.6米，雨洒至天花板至少保留0.46米。装修处理地面、墙、天花板必须密封、喷漆以减少灰尘，地面应具备防静电功能。整体以浅色装修以提高机房亮度。照明水平面最小500lux，垂直面200lux。(在机柜中央、距地面高度1米处测量)门最小1m*2.13m，不能设置门槛，向外推开或侧滑开。必须配锁，授权进入。地板承重最小7.2KPa，推荐12KPa运行参数：温度:20～25℃相对湿度:40～55％数据中心机房规模规划公司主机房面积机柜每机柜平米中石化CNPC勘探院(new)30009003.3中石化大厦四层总部机房22003256.8GoogleDalles