浅谈模块化数据中心的发展与实施

浅谈模块化数据中心的发展与实施艾默生网络能源有限公司黄坤振严瀚一、模块化数据中心的发展模块化数据中心（ModularDataCenter，MDC)，开始被用来定义传统数据中心(RaisedFloorDataCenter)设计中按照标准设计对数据中心场地进行模块化划分(PoD)，即把整个数据中心分为若干独立区域，各区域的规模、功率负载、配置等均按照统一标准进行设计，随着业务需求的不断增加独立模块，从而实现快速建设，精确复制已有优秀方案的目的。以往的数据中心，模块的特征并不明显，仅仅初具雏形，其只将空调、UPS、机柜的配置组合打包，在物理基础架构上，并未实现真正的模块化，往往还需要共用架高地板下空间，共用UPS系统，因此其发展速度受到了制约。这种模式应该被称为数据中心的模块化设计。图1：传统的模块化分区（空调系统共用静压箱）随着全球超大型IT数据中心的出现，比如微软芝加哥数据中心，谷歌比利时数据中心，FACEBOOK俄勒冈州数据中心的出现，模块化建设的理念得到了良好的实践，有效的降低了数据中心的建设周期及运营成本，这让模块化数据中心及可移动模块化数据中心-集装箱数据中心得到了长足的发展和印证。图2：微软芝加哥模块化集装箱数据中心及其内部图随着技术的发展，尤其是机房精密空调CRAC和UPS的技术发展，这2种数据中心动力系统的关键设备开始走向模块化与小型化，完全可集成到机柜中，从而从技术上为实现真正的完全独立的模块化数据中心提供了可能。所以，真正的模块化数据中心，制冷、供电及管理系统都应实现区域化、模块化，互不干扰，可独立运行，无共用部分，例如静压箱、水管、电池组等。图3：艾默生模块化数据中心：真正的独立模块一体化解决方案二、模块化数据中心的设计模块化数据中心是为了应对云计算、虚拟化、集中化、高密化等服务器的变化，为了提高数据中心的运营效率，降低能耗，为了实现快速扩容及互不影响，因此，对其空调系统及UPS系统、机柜系统、监控系统必然带来了更高的要求，包括空调的精确制冷、动态制冷、高效制冷的革新，UPS低负载下高效率、可模块化扩容、小型化支持单独模块等需求的创新，机柜的尺寸、承重的优化及通孔率的提升，监控的智能化及小型化、区域化可扩容等需求，基于以上因素，模块化数据中心必须采用完全不同于传统方案的理念去设计。1、制冷系统设计空调系统设计中分为制冷系统设计与现场应用设计两部分。制冷系统自从世界上第一台精密空调1964年在Liebert诞生以来，一直遵循逆卡诺循环的原理，采用压缩机循环制冷的方式，只是在部件性能上有了较大的改观，从而提高其整机的性能。而在空调行业中有句俗话，“三分看质量，七分看安装”，因此在设计上，设计者应更关注现场应用设计这部分。在目前主流的依靠气流对服务器冷却的方案中，气流组织成为了最关键的设计点，不合理的机房设计，会使得空调运行总冷量远远大于其需要，增大了许多无谓的能耗。传统的精密空调送风系统系统设计，采用风管上送风。其优点在于合理的设计可保证出风均匀，可送到较远的区域，通过消声箱可以有效降低风噪。但是其工程初投资较大，后期可扩容性较差，静压箱设计是根据现有风量设计，不能随意更改，否则反而可能引起送风不均等问题，另外其末端负荷也不能增加，机柜位置也无法调整，所以随着机房的扩容，很容易出现问题，不是大型IDC的建设方案的较优选择。目前主要应用于实验室等有特殊风压、风量等要求的场合。一种革新的设计方案是风帽上送风，这种方案采用风帽直吹送风的形式，具有安装简单、快捷，工程成本最低，适应性强等特点，但是其送风距离较短，出风口风速较高，风机噪音较大，同时冷风利用效率不高，朝整个空间散逸量较大，从而造成能量损失。目前主要应用在中小型数据机房、UPS房、电池房等空间。目前主流的IDC数据中心气流组织设计采用地板下送风的方案，机柜采用冷热通道摆放设计，形成合理的气流组织路径，可大大提高整个机房的气流循环效率，有效减少热死点出现，其工程初投资较低，噪音较小，整个机房美观性较好，是目前IDC的主流设计方案。但是随着云计算、高热密度的发展，单机柜发热量不断增大，为了提高出风量，必须不断提高地板下静压，因此此地板高度需要抬升。但是由于空气也是一种流体，其本身存在粘度，因此当地板下气流增大到一定量之后，表征其粘度的无量纲数----雷诺数会超过某一限值，因此其气流紊流会呈几何性增大，此时地板下送风方案效率会大大下降，在10kW每机柜的送风制冷实验中表明，每机柜需求1600-1800立方米/小时15度温差的风量时，远程的地板下送风空调需要达到2900-3000立方米/小时风量，其风机系统能量损失达到了40%，而由于无谓的发热而自身的消耗冷量，又会引起效率的进一步下降。在IDC机房中，由于机组数量较多，往往风机系统能耗就达到上百千瓦，而风机系统是24小时全年不停歇运转的，因此其系统多50%的能耗，一年下来会达到几十万千瓦时，十五年机组设计寿命内会多耗能上千万千瓦时，而且其由于从地板下供冷，下方的服务器得到冷量较多，而上部的服务器容易运行在高温环境从而发生故障。因此这种设计方案只适合地板架高高度不超过600mm，单机柜发热量不超过5kW的IDC环境。当小幅超过此范围后，采用此方案虽然也能达到制冷的效果，但是其制冷系统效率会显著下降。因此，气流组织系统设计需要进行优化设计。目前，采用就近行间送风的方案可大大提高空调系统的效率，同时其送风和回风都处于小范围内，因此其气流组织互不干扰，对地板高度，后期扩容需求完全适应，可将每个行间空调及其附近的几个机柜作为一个制冷单元来考虑，这样可大大提高制冷效率，实现快速建设、扩容互不影响的目的。艾默生提出的各种一体化行间制冷解决方案，结合了物联网的方法，通过机柜设计配合，多个温湿度传感器和智能控制器，灵活的调节行间空调的制冷量，可有效解决机柜级（SmartCabinet）、行间级（SmartRow）、模块级(SmartAisle)的制冷需求，最大化的提高精密空调的制冷效率。图4：艾默生不同级的模块化数据中心2、供电系统设计传统的UPS系统设计，往往需要确定系统容量，很容易出现配置过大，带载率较低，同时在低载情况下UPS效率较低的情况；或者容易出现配置容量过小，不能满足业务快速发展的需求，后期扩容无安装位置等情况。尤其是我国的IT需求正处于上升期，各个数据中心业务发展增速飞快，往往一年现有配置就无法满足需求，重复建设和投资浪费较大。另外，往往IDC还需要设计配套机房，如UPS房、电池房，这对中小型机房来说是建筑格局上一个很大的浪费，同时UPS房还需要设置精密空调制冷，往往出于安全的考虑还需要设计精密空调的冗余，初投资很大。因此，IDC建设需求逐渐向模块化、可热插拔的方向发展，在中小型数据中心中，尤其成为首选的解决方案。高端的模块化产品，尺寸和标准服务器一致，可放在行间，集成了多路智能配电，可解决机房模块内的供电、监控电量等需求。目前市场上主流的模块化UPS，效率可高达95%，艾默生模块化UPSAPM尤其可达到96%以上，尤其其在30%到90%负载的宽范围内效率均可达到95%以上，在低负载率情况下，节能显著。同时其单模块30kVA，方便客户灵活配置，灵活扩容，真正实现了模块化UPS的高效性、节地性、节能性和可靠性。另外，供配电系统的另一个发展思路是使用高压直流，目前由中国电信牵头开发的240V制式和中国移动牵头开发的380V制式高压直流在国内已有广泛的应用，由于内部少了一次直交流转换的过程，在服务器端又可节省一次交直流转换过程，因此可提高供电系统效率。目前艾默生高压直流已在国内运营商系统中有了广泛且长期的可靠应用。图5：艾默生模块化高压直流配电系统此外，供配电系统的管理也是模块化的必然需求，而能够插入机柜中的智能化配电单元就成为了小型区域模块化的最佳选择，艾默生MINSPM能够实现配电模块化、热插拔、电费管理等功能。最大可实现18路32A单相分路开关，完美支持模块化数据中心的配电管理需求。图6：艾默生模块化智能精密配电产品MinSPM3、机柜系统设计机柜系统的设计，往往只关注其承重、供电性能，而忽略了其它机柜应该具有的性能，比如通孔率、接地、美观、线缆管理、能耗管理等。为了提高制冷效率，机柜的通孔率要求尽可能高，以减小气流阻碍作用，提高散热能力，业内目前最高的艾默生机柜，可达83%的通孔率，而普通机柜只能达到50%-68%，所以在空调系统利用上来说，机柜系统有更高的设计和工艺要求。机柜接地也是非常值得注意、往往被忽略的问题，机房由于发热量很大，靠近服务器机柜区域温度较高，其相对湿度较低，从而可能会形成较高的静电电压，如果不能通过有效的途径接地的话，会造成静电危险。因此现在的机柜必须配置接地线缆或者接地铜排。机柜线缆管理功能直接关系到机房的整体美观及后期的IT维护，传统的机柜不具有线缆管理功能，往往机房运行几年后，线缆多到根本无法分清，凌乱不堪，这样不但无法管理，线缆纠缠还会引起发热，造成安全隐患，因此机柜的线缆管理功能也至关重要。在中小型数据中心中，往往不会配置大型的监控设备，如何实现机柜内的供电管理呢，通过机柜内配备智能的PDU可实现此功能，可对机柜内各路配电进行监控，获知机柜负载的分配平衡度，预知过热机柜、过载点，并可实施远程关控设备。这也是智能机柜需要具备的功能。最后就是机柜的兼容性，机柜不但需要考虑自身，还需要考虑诸如并柜、封闭冷通道、行间空调等的外观、尺寸匹配问题。这对厂家的要求非常之高，只有真正具有全产品的供应商，才能从全局出发，设计出对各个系统兼容性很高的产品。4、模块化数据中心的管理系统监控系统是机房安全运行的重要保障，目前的机房监控系统，还基本停留在只“监”而不“控”的水平，重要的控制均需要通过人手动去实现，比如机房的灯光控制，并不能有效自动做到人走灯关；比如机房的空调冷量输出，目前只能由空调自身传感器探测而决定空调启停，检测回风或者送风温度都不能有效解决制冷完全匹配的问题等。因此智能的监控系统需要能够读取到机房所有的设备并可自动控制，做到真正的智能化。尤其在模块化数据中心建设方面，由于云计算的高热密度、虚拟化需求，可变冷量、UPS模块休眠等功能需要更高效的控制，因此模块内的制冷控制、电能分析更成为模块化运营的关键点。而另一方面，模块化数据中心建设方案就是为了快速建设、快速复制的目的而诞生的，因此适应模块化建设的监控方案也需要能够快速建设，并且以模块为单位，互不影响。艾默生推出的“易睿”机房解决方案完美解决了此问题，其以一台1U高的主机RDU实现了对模块内最高可达64个环境温湿度传感器、多路红外、烟感、门磁、空调、UPS、PDU、电池监控仪等的监控，采用普通网线连接，安装快速方便，完全适应了模块化监控的需求。图73D模块化监控产品基于数据中心的各项业务需要，艾默生通过大力整合，开发出了数据中心基础架构管理（DCIM）整体解决方案-Trellis。其可以实现图8可集成整个数据中心管理工作的Trellis平台A、实时管理和监控关键基础结构设备，通过设置合理的阈值让其运行在最佳效率，如空调、供电系统，改善系统能效高达25%。B、利用实时、统一的、信息共享的管理平台取代离散的管理模式，提高管理效率70%C、通过监控关键设备的利用率，充分了解数据中心后续投入的需求，合理提高设备利用率，延缓投资，提高经济效益D、建立虚拟机和物理架构之间的对应关系，可快速定位故障，快速修复E、通过一个安全的平台取代离散的系统，减少非授权的操作，提高安全性F、一体化的设计，减少购买、部署、维护和管理成本。图9Trellis系统可实时监控数据中心能耗情况三、模块化数据中心的实施目前模块化数据中心在欧美非常流行，在中国已经有许多成熟的案例。以下为实拍的某模块化数据中心项目。共计配置了模块化精密空调LiebertCRV2套，模块化UPSLiebertAPM90kVA2套，EmersonE系列机柜16套，EmersonCoolFlex封闭冷通道产品1套，Emerson电池架2组，Liebert电池监控仪2套。封闭冷通道产品可有效