搜索
数据中心机房环境设计H3C数据中心解决方案部邓世友2010年6月目录数据中心环境面临的挑战数据中心设计标准数据中心基础架构设计H3C数据中心解决方案布线实践中小型数据中心机房建设实例数据中心IT设施正在发生变化，传统的数据中心环境已不能满足要求：刀片服务器单机柜80～84个服务器30KW功耗1U系统端口密度高发热量大自重大存储设备700,900,1100+kgs……问题的引入数据中心环境面临的挑战典型问题：效率散热结构化配线电源承载目录数据中心环境面临的挑战数据中心设计标准数据中心基础架构设计H3C数据中心解决方案综合实践中小型数据中心机房建设实例数据中心业界标准介绍ANSI/TIA-942TelecommunicationsInfrastructureStandardforDataCentersTIA/EIA568Copper&FiberCablingTIA/EIA569Pathways&SpacesTIA/EIA606AdministrationTIA/EIA607Grounding&BondingASHRAECooling/HVACUptimeInstituteIEEE1100ITEGrounding国内相关标准：《数据中心布线系统的设计与施工技术白皮书》GB50174-2008《电子信息系统机房设计规范》数据中心电信空间与大楼其它空间关系建筑物场地大楼外墙普通办公空间数据中心外的电信和设备空间数据中心（电信空间）机房维护人员办公空间接入室（ER）机电设备机房UPS/HVAC等运营监管中心StorageRooms&LoadingDocks数据中心内的通信室TIA-942数据中心逻辑结构图接入室RM总配线区MDA路由器、核心LAN/SAN交换机、PBX等接服务商网或园区接服务商网或园区水平配线区HDALAN/SAN/KVM交换机机房水平配线区HDALAN/SAN/KVM交换机水平配线区HDALAN/SAN/KVM交换机水平配线区HDALAN/SAN/KVM交换机设备配线区EDA机架/机柜设备配线区EDA机架/机柜设备配线区EDA机架/机柜设备配线区EDA机架/机柜通信室TR办公&操作中心的LAN交换机运维办公室、办公、操作中心主干电缆主干电缆主干电缆主干电缆主干电缆主干电缆水平电缆水平电缆水平电缆区域配线区ZDA水平电缆水平电缆水平电缆典型数据中心布局接入室RM接入服务商网或园区网总配线区MDA水平配线区HDA设备配线区EDA主干电缆水平电缆通信室TR机柜机柜机房ComputerRoom机柜机柜机柜机柜机柜机柜MDAEDAEDA关于MDA/ZDA/EDAZDA水平电缆EDA机架EDA的一个机柜ZDA的电缆配线口MDA的一个机柜采用简化型布线结构的数据中心机房平面图EDAEDAEDAEDAEDAZDAMDA区域配线区(ZDA)让整机柜设备(如大型机、SAN设备)布线更加灵活获得在水平配线区与终端设备之间更高的配置灵活性区域配线区中不可使用有源设备服务器水平电缆（90M）TOR交换机服务器配线板LAN交换机服务器水平电缆（90M）服务器EDA通过ZDA同HAD连接配线板区域配线区ZDA水平配线区HDA设备配线区EDACP/ZOEDA直接同HAD连接跳线设备配线区EDA配线板跳线跳线服务器服务器对MDA/ZDA/EDA的补充说明数据中心分级(TIA-942)TierI基本TierII冗余单元TierIII可并行维护TierIV容错可用性99.671%99.749%99.982%99.995%每年IT服务中断时间28.8小时22.0小时1.6小时0.4小时建筑类型租用租用自建自建线路冗余NN+11主＋1备双主面积功率(w/ft)20~3040~50100+150+多运营商线路否否是是主干线缆冗余否否是是水平配线冗余否否否可选供电线路1路1路1主＋1备2路热备UPS冗余NN+1冗余N+1冗余2N冗余……注：数据中心的定级取决于整个系统中最低等级的部件目录数据中心环境面临的挑战数据中心设计标准数据中心基础架构设计H3C数据中心解决方案综合实践中小型数据中心机房建设实例•数据中心基础架构设计数据中心的选址数据中心占地面积的计算数据中心结构设计数据中心走线设计数据中心的供电系统设计数据中心散热设计其他数据中心选址需要考虑三点内容：•远离危险：地震，冰风暴，飓风，龙卷风，洪水，滑坡，火灾，污染，电磁干扰，震动（运输过程中），政治环境，飞机航道等；•评估数据中心地点：易于到达；满足灾难恢复的要求（多中心间合理的距离）；已有的结构（供电系统，空调系统，结构化布线系统，空间，承重，装卸平台，货运电梯，可能存在隐患的区域，核心区域分散布置）•确保数据中心未来发展和变化的需求数据中心空间计算决定数据中心空间大小的几个因素：数据中心支持的人数数据中心放置的服务器和其他设备的数量和类型数据中心除服务器区外的区域的空间；确定数据中心空间大小的两种方法：基于人数的计算方法：通过数据中心需要支持的人数来决定数据中心的大小基于设备的计算方法：通过数据中心计划购买的网络设备，服务器和其他必须购买的设备的尺寸来计算数据中的大小EmployeesApproximateDataCenterSizeFewerthan1001squaremeterperemployee200–2500.5squaremeterperemployee400–5000.4squaremeterperemployee1500–60000.2squaremeterperemployee15,0000.1squaremeterperemployee参考BuildtheBestDataCenterFacilityforYourBusiness公司主机房面积机柜每机柜平米中石化CNPC勘探院(new)30009003.3中石化大厦四层总部机房22003256.8GoogleDalles1858090902.0CiscoRichardson314411512.7OracleAustin761822803.3北京电信兆维机房1400040003.5Step1:根据业务持续发展要求，规划出未来5～10年的对服务器数量的需求；Step2:考虑到供电及散热，单机柜功率3～5KW，规划时建议不超过4KW。根据服务器的功率(PC服务器正常功耗300~500W)计算出机柜的数量，推荐每个机柜放置8～10台PC服务器。Step3:中型数据中心机房的面积在200～500平方米，服务器机柜数量约为50～200个，折合每个机柜占地面积3～4平方米。附：机房面积与机柜数据参考数据中心空间计算2－设备计算法数据中心的布局•数据中心划分：划出栅格，将数据中心所需部件与栅格对齐；•数据中心设备放置顺序：先放置所需的基本部件，例如：电源，空调，灭火器瓶等；•过道空间：要充足，避免过小的过道带来运输的问题：•服务器放置方式：按服务器类型或者功能放置；•地板承重：满足未来不断增加的需求；布局不合理布局合理设计数据中心布局需要注意的问题：数据中心的布线方式1-机架顶部走线•应用场景应用于小型数据中心•优点投资低于地板走线方式，占用地板空间少，利于小型数据中心；•缺点冷却系统设计复杂；电源插座可靠性降低，存在因为插座重力作用导致脱落的可能；建议采用交叉插座进行固定。顶部走线数据线，电源线和从数据中心的吊顶安装；冷风管道也在吊顶安置；机柜高度一般为2m，空气流动所需机柜顶面至天花板的距离一般为500-700mm，所以机房净高不小于2.6m.数据中心的布线方式2-地板走线地板走线数据线，电源线和冷风管道从数据中心架空的地板下安装；应用场景大部分数据中心优点冷气从地板送入机架，热气从数据中心顶部抽走，有利于热循环；数据线、电源线安装在地板下，避免直接接触，更加安全；同时地板布线便于维修；结论：顶部布线：小型数据中心（小于100平米），并且高度有限，建议采用顶部布线；地板布线：大小数据中心建议采用地板布线更加利于散热，并便于维修。数据中心的高架地板地板下装电缆比架在空中的电缆便宜，也更好安装，也更美观；大多数直接放在地板上的主机系统/大服务器，都是设计成地板走线的；电缆应该被放在电缆槽中铺设，最好采用“电缆筐”而不是电缆槽，因为电缆槽容易影响空气流动；光缆和铜缆要分开铺设；电源电缆和双绞线电缆要分卡铺设；电源电缆部署在冷通道下，通信电缆部署在热通道下；如果没有预先的规划，地下电缆槽可能阻塞空气的流动；上图是高度0.91M(36英寸)的高架地板下的景象数据中心的布线方式3-架空走线架空走线弱电、强电、光纤分层架空走线，避免干扰。火灾隐患容易及时发现应用场景大型数据中心缺点机房层高要求扩展难度大，维护困难项目下走线架空走线机柜顶部走线初期安装工序地板下固定和敷设电源线和数据线两个走线槽，布线，在地板下每个机柜的正下方固定和安装电源插座。在机柜正下方的地板上打孔，方便线缆进入机柜。在天花水泥板上打孔固定吊线架，布线，天花全部涂黑处理。放线到每个机柜。在每个机柜顶部安装数据线和电源线槽，放线到每个机柜。两排机柜之间架走线桥架。工程量大中小扩容工序在配电柜内增加开关。揭开地板，揭开走线槽盖板，重新从配电柜放线过来，在机柜正下方固定电源插座。恢复地板。在配电柜内增加开关。延机柜上方吊线架放线进入机柜。在配电柜内增加开关。延机柜顶部线槽放线进入机柜。扩容对制冷的影响揭开高架地板，造成气流布局破坏，影响机柜散热。无影响无影响扩容最难难简单火灾如果在地板下的电缆发热、变软、冒烟、起火，这个过程不容易被及时发现，容易从小事故变成大灾难。在吊线架上的电缆冒烟起火还是比较容易发现的。由于天花有吊顶，色彩反差大，如果有冒烟起火会被及时发现，人工、摄像、监控系统多重监控。水灾容易受水灾影响，进而带来人身和设备安全。基本不会受影响基本不会受影响虫鼠危害比较容易受危害，不能及时发现。有可能受危害，但能及时发现咬掉的线缆残渣。有可能受危害，但能及时发现咬掉的线缆残渣。对下送风制冷的影响地板下的走线槽会阻碍冷空气流动，从地板下进入机柜时要在地板上开口，造成冷热空气混合，冷空气逃逸。无影响无影响对机房装修的要求要求有高架地板，地板高度最好为大于600mm。（根据中国的环境最好是高于300mm）要求天花水泥板与吊线架结构紧密，要求天花梁下到机柜顶部的高度大于600mm要求天花梁下到机柜顶部的高度大于400mm维护能力维护比较麻烦，需要掀开地板和走线槽寻找。要爬的较高维护最简单，只需要一个小梯子。走线方式的优势对比√数据线和电源线走线方式•数据线和电源线分离-电源线产生的电磁干扰会影响数据线传输的信号。•下表给出了建议的数据线和电源之间的最小距离*：干扰功率spacesLessthan3kva50mm3–6kva3m6kvaormore6m干扰功率SpacesLessthan3kva0mm3–6kva0.6m6kvaormore1mUTPSTP*数据来自Buildthebestdatacenterfacilityforyourbusiness.主用供电系统设计•确定电源需求通过计算数据中心的机架数量，每机架需要的电源功率，并作出适当预留（20%），来确定整个数据中心需要的电源功率；•配电方式方式A：直接将电源模块与服务器机架相连；方式B：将电源通过电源分配单元与服务器机架相连；方式A方式B备用供电系统设计•设计备用供电系统的要求：冗余，简单，高性价比。•负载的计算：保证备份系统可以提供数据中心所需最大功率的110%~120%；基于负载的级别进行建设，例如是采用N，N+1方式，还是2N方式；•电池：UPS小型数据中心：UPS是安装在机架中的单个电池；一般可运行2个小时。大型数据中心：采用落地式的UPS，位于电气室；还需要单独提供发电机。•发电机：用于大型数据中心，并且数据中心处于易于断电的地区。建议断电时，UPS可以先工作20分钟，再使用发电机供电。要求发电机最少可以供