通信电源故障案例分析

1用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司通信电源故障案例分析中国电信股份有限公司广州研究院中国电信通信电源技术维护支撑中心侯福平2013年6月19日2用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司目录2通信电源系统掉电案例3UPS电容冒烟起火案例1高低压配电系统掉电案例4低压无功补偿电容冒烟案例5蓄电池组突然失效案例6蓄电池组起火案例3用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司事故简单介绍：2012年8月8日晚，受强台风影响，骤降狂风暴雨，枢纽楼主机楼动力值班室作为二级监控岗，值班人员忙着处理各无人值守局站停电调度配合工作。此时供电局调度室来电话说，10KV供电线路可能存在放电现象，要求将玄信线卸载，供电局将进行停电检测。为配合供电局停电检修，电信值守人员在倒换操作过程中，由于各种综合因素，造成主机楼交流供电中断，10、11楼两套UPS系统和一套开关电源系统分别因电池放电至低电压后退出服务，造成重大通信阻断。1、高低压配电系统掉电案例某省级枢纽机楼电源掉电事故案例4用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司1、高低压配电系统掉电案例5用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司故障及处理过程介绍：因台风影响，出现大面积市电故障，枢纽楼10KV市电需临时应急停电检修，要求南京电信立即进行相应切换操作。值班人员先分断低压侧开关，然后分断高压侧开关。因值班人员为其他专业转岗人员，倒电操作不熟练及受二级监控相关处理工作的影响，倒电用时近10分钟。1、高低压配电系统掉电案例6用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司由于一路高压带的2、3号变压器停电未送电，其下的部分负荷因二级交流屏具有2路市电自动转换功能（如开关电源交流屏等）自动将电源切换到另一路市电高压，该线带的1号变压器供电。造成1号变压器低压侧开关过载跳闸。此时，所有交流电源中断，UPS及开关电源都进入蓄电池放电状态。因1#变开关过载跳闸后，值班人员忙于高压切换操作未发现该重大问题，在2、3#变压器恢复供电后，其1#变的部分负荷又转移到2、3#变供电，加之蓄电池充电及空调全载运行，引起高压母联开关超载跳闸，造成1、2、3号变压器再次失电。随后，值班人员再次尝试进行高压母联合闸操作，但2分钟后，高压母联开关再次跳闸。原因：因实际负荷过大，超过高压开关允许最大电流270A（10KV）。此时，值班人员电话汇报班长，请求应急支撑并配合处理二级监控相关事宜。故障及处理过程介绍：1、高低压配电系统掉电案例7用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司班长到达现场，手动启动鼓楼主机楼两台柴油发电机，手动倒换操作分别对1、2号变压器负载供电。因1#变负荷接近油机满载及受到UPS输入谐波的影响，1#油机转速不稳，发电机频率波动较大，超出UPS交流输入频率范围。导致UPS整流器不能正常工作，继而闭锁，同时旁路不可用，结果，油机无法为UPS供电。造成UPS电池持续放电。支撑人员到达现场，发现1#低压变配电系统开关过载跳闸，将其复位并重新合闸，恢复市电供电。支撑人员多次尝试母联开关合闸，但一直未获成功。接着10楼1套伊顿9315/400KVAUPS设备因电池放电至低电压，输出关断。接着11楼1套伊顿9315/400KVAUPS设备因电池容量放空，输出关断。故障及处理过程介绍：1、高低压配电系统掉电案例8用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司油机低压配电存在三个故障点1、高低压配电系统掉电案例9用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司支撑人员启动多媒体楼地下室油机为3号变压器下负载供电。支撑人员进行倒闸操作，将2号、3号变压器下的所有负载恢复供电，关停油机。值班人员巡视检查中发现11楼9315/400KVAUPS电源中断关机，人工转换旁路供电引起总输入开关跳闸（因设备自动重启冲击电流大），汇报支撑人员应急将列头柜电源先关闭，再分别恢复供电。10楼伊顿9315/400KVAUPS设备经人工复位恢复供电。10楼1套洲际开关电源（48V）因交流接触器故障导致蓄电池组持续放电，直至蓄电池电压过低，造成供电中断。原因是交流输入屏主输入电源交流接触器故障导致市电无法输入。维护人员完成10楼洲际开关电源设备的接触器障碍处理，恢复供电。至此，机楼所有负载供电恢复正常。故障及处理过程介绍：1、高低压配电系统掉电案例10用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司1．该机房作为最重要的通信机楼，采用几套供电系统互为主、备用的保护方案是合理的。但随着负荷的增加，现有的变压器、柴油发电机组等未同步考虑扩容，系统没有足够的冗余量，一旦发生系统切换工况，不但无法实现自动保护，还会引发超载故障。未根据负荷增加情况及时调整系统自动保护方案、优化供电结构，是这次故障的主要原因。2、在1#变压器接近满载后，二级交流屏2路市电主/备用自动转换功能未禁止，发生负载转移是造成1#变总开关超载跳闸的主要原因。3、关于10KV母联开关跳闸原因：事故发生后，我们即对100母联开关的过电流保护定值进行检查与核对，经查继电保护过电流设定值与供电部门给定值相符，中压柜控制器显示3次跳闸动作点分别为267A、268A、270A，与给定值基本相同，因此，排除开关问题。故障及处理过程总结反思：1、高低压配电系统掉电案例11用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司4、在后续保障演练中，发现高压母联开关带3#变负载时，3相电流严重不平衡，控制仪表显示分别为：81A、144A、82A，B相电流严重偏大（实际B相无电流互感器，其值为虚拟计算值），经请厂家技术人员检查分析，认为A、C相的其中1个电流互感器2次线接反，引起计算错误，经改接，3相电流均显示为80A左右，恢复正常。由此分析：前一次造成高压母联开关跳闸的主要原因是2个电流互感器2次线接法相反，引起技算错误，使B相电流测量值成倍增加，并同时叠加变压器间转换功率，电池充电功率及空调增加功率所致。故障及处理过程总结反思：1、高低压配电系统掉电案例12用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司故障及处理过程总结反思：5、因油机容量不足，1#变负荷接近满载及UPS输入谐波的影响，1#油机转速不稳，发电机频率波动较大，超出UPS交流输入频率范围，使UPS整流器不能正常工作，继而闭锁，造成UPS电池持续放电。6、UPS蓄电池容量配置不足，原设计注明单机满载放电支撑0.5小时，系统支撑1小时，经测试单机满载只能支撑10分钟。导致预留应急抢修时间不足，还使操作者产生时间错误判断。。7、蓄电池质量差，失水严重，容量下降明显。8、负载接近满载，未能采取措施及时预警、调整均分负载、限制负载转移、减小充电电流等。9、油机、市电、监控台分开距离远，来回奔波、操作耗费很多时间。1、高低压配电系统掉电案例13用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司故障及处理过程总结反思：局站高低压、油机供电系统资源配备达不到枢纽局站的要求。值守人员缺少按应急预案演练的机会，应急操作处理经验不足。1、高低压配电系统掉电案例硬件方面的问题软件方面的问题14用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司2、通信电源系统掉电案例故障简单描述：电信机房有二套开关电源以2N方式为负载供电，开关电源本身不带蓄电池，而是由上级UPS系统做后备保障。在一套UPS输出开关因故跳闸时，另一套UPS所带开关电源出现瞬时过载而保护停机，导致整个机房负载掉电。案例1：中国电信国际机房直流电源断电事故UPS电源直流整流电源蓄电池通信负载UPS电源直流整流电源蓄电池15用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司2、通信电源系统掉电案例电源系统结构和相关配置说明机房采用双直流-48V电源系统供电，系统A、B容量分别为650A/48V系统A的交流输入由5楼的UPS-1的1000A开关输出开关和UPS-2的1000A开关经过分配后在31楼的300A通过MTS切换引电直流系统A（容量为650A，负载约295A）的输入断电；直流电源系统A负载立刻由直流系统B（容量为650A，负载约319A）供接管，直流系统B的总负载为614A，直流系统B的内部过载保护装置因瞬时过载冲击动作停机，直流负载全部停电，造成重大通信中断事故。16用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司直流系统没有后备电池，没有监控负载，容量没有冗余MTS手动切换开关故障电源系统缺陷分析开关电源直流输出没有后备电池（开关电源没有电池管理功能），耐瞬时过载冲击能量弱直流系统A、B容量650A，对于负荷要求650A，容量不足直流系统没有监控，不能过负载预警直流系统的2路输入手动切换，效率不高UPS1输出在5楼的A9开关质量有问题，控制模块故障电源回路多个单点故障点2、通信电源系统掉电案例17用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司5楼A9开关，故障跳闸直接原因分析：直流系统A前端2路输入，MTS转换开关需手工切换直流系统A没有输入，断电直流系统B过载，停机A9跳闸系统A停电系统B过载停电故障根本原因分析：系统设计可靠性不高开关电源系统前端回路存在多个单点故障点开关电源系统配置不合理输出端未配置蓄电池；开关电源配置容量不足；系统无负载监控告警功能2、通信电源系统掉电案例18用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司案例1：某IDC机房索科曼大型UPS系统电容爆炸事故案例3、UPS电容冒烟起火案例19用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司案例2：我国某信息安全中心伊顿大型UPS系统事故案例3、UPS电容冒烟起火案例20用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司影响程度：1、UPS系统和蓄电池自身设备损毁；2、直接造成UPS系统断电，所有负载掉电；3、烧毁设备顶部上方走线架和电缆损坏。原因分析：主设备发生电容起火自燃，迅速烧毁机内各种电路器件，也造成蓄电池短路损坏。UPS设备火苗向上燃烧，走线架上大量电缆烧毁，造成更多的电缆短路，形成更大火势。一般手段无法将火扑灭，最后启动机房的消防气灭系统才将明火扑灭。案例1：某IDC中心机房伊顿大型UPS系统电容爆炸事故案例3、UPS电容冒烟起火案例21用户至上用心服务CustomerFirstServiceForemost中国电信股份有限公司影响程度：1、自身设备损毁；2、直接造成2套系统断电；3、烧毁设备顶部上方走线架的大量电缆损坏；4、直接造成另一系统的电池组损毁；5、造成另N个系统输出电缆随时可能发生电缆短路故障（严重烧损）。原因分析：主设备发生自燃产生明显的爆燃火焰，迅速烧毁机内电缆护套，造成了电池组正负极连接电缆在主设备内短路，产生很大的明火苗向上燃烧，将主设备上方的几层电缆烧毁，造成更多的电缆短路，形成更大火势。一般手段无法将火扑灭，最后启动机房的消防气灭系统才将明火扑灭。案例2：我国某信息安全中心伊顿UPS系统事故案例3、UPS电容冒烟起火案例22用户至上用心服务Custo