重大节假日网络保障应急预案

重大节假日网络保障应急预案二○○九年十二月节假日网络保障应急预案1总则1.1编制目的为保证重要活动节假日召开期间通信网络的安全可靠运行，全面提高通信维护队伍应对突发情况的综合管理水平和应急处置能力，最大限度地保证重大节假日期间通信网络稳定安全运行和可靠畅通。1.2编制依据依据工信部等有关文件及应急预案，结合我公司网络实际情况制定本预案。1.3工作原则1.实行统一管理、统一指挥、各级负责的原则；2.快速反应原则：当突发事件发生时，维护部各中心要立即按应急通信预案，投入通信应急工作；3.主动报告原则：当突发事件发生后，要及时报告应急通信实施情况。1.4适用范围本预案适用于重要节假日期间，可能对网络安全稳定可靠运行的一切突发事件或紧急情况。2组织机构及职责2.1应急机构组成重要活动节假日通信保障应急通信保障工作实行各级维护部负责制。由分公司的网络与信息安全领导小组组织调度指挥，各有关部门统一遵照执行。突发事件或者紧急情况发生后，公司应急应急通信办公室可以根据需要，在事发地设立现场应急指挥部，统一进行指挥调度；应急通信办公室成员：总指挥：运行维护部主任副总指挥：运维部副主任成员：运维部副主任、各专业主管2.2应急通信办公室主要职责负责对本公司重要会议应急通信保障工作的统一领导、指挥和协调。负责传达省公司和地市分公司应急工作指令；负责节日期间发生的突发事件或者紧急情况的收集、分析和评估工作；协调处理在实施重要会议应急工作中的有关问题；对损失及影响进行评估；制定重要节假日应急方案并负责修订和完善；负责执行通信保障指令；负责修复故障设备；负责应急通信工作中的后勤保障等配合工作。3应急准备工作3.1通讯手段保障3.1.1重要节假日期间重要岗位的领导及维护人员保证多种通讯方式的畅通。各级应急组织成员在节假日要保证G网、C网、移动和固定电话24小时处于待机状态，应急抢修队成员要确保通讯手段有效。3.1.2通信机房要保证G网、C网、移动、固定、企业网和延伸公务电话畅通。机房通讯录要保证准确、无误，摆放显著位置，节日当晚要进行测试。3.1.3各级公司要及时更新通讯录，要求应急通信办公室人员每人一份。各级分公司机房内的通讯录要摆放明显位置。3.2应急资源、人员准备3.2.1重要的节假日前夕，应急机构要提前做好发电机、油料、车辆、工具以及服装等应急物资的准备及储备工作。3.2.2要根据预案设置，提前做好资源的分配工作。3.2.3机房应急抢修人员在节日期间24小时待命，提前做好备用单板测试、主备单板、主备机倒换测试，做好完整系统数据备份并异地存放，要保证抢修工具齐全完好。3.2.4线路抢修人员要加强日常巡线工作，备好抢修物资及抢修工具，24小时待命。3.2.5基站维护员对重要节点站进行检查，加大巡检次数。3.3加强监控和巡视制定节假日值班制度，安排骨干人员加强值班。对于春节、中秋等话务高峰期大话务冲击严重的节日，机房值班要求每个专业要有两名以上技术骨干，其他节假日值班要求至少要有一名技术骨干。在节假日对局内设备的维护，要求每隔固定时间进行一次系统监控和巡视，除夕夜要求每30分钟进行一次系统监控。监控对象主要包括：1、各专业日常维护设备的各项指标，包括网络资源是否超出设备正常运行的设计门限。2、网元状态：是否有高级别的告警产生，是否有引发重大故障的特定告警产生，是否有负荷告警产生等。3.4加强网络主动测试在节假日对网络和设备的主动测试有助于问题的发现，建议每1个小时进行一次业务测试，除夕夜话务高峰到来（20：00）前进行一次全面的业务测试。测试内容主要包括：1、话务方面：局内、局间、省际、省内、网间主叫和被叫的通话测试。2、短信方面：局内、局间、省际、省内、网间点对点短信测试，观察短消息发送、接收及时延情况。3.4应急预案准备工作3.3.1分公司要做好重点通信设备和干线、本地网的故障分级调度、保障方案。3.3.2对于重要会议召开期间可能启动的高负荷话务应急预案和各类网络故障应急预案要进行完善。4应急处理1值班人员发现灾情或收到气象部门的预警时，应立即按照重大故障上报流程的管理规定，及时向相关单位发布预警信息。2维护部各中心对运行设备进行一次安全检查，排除隐患，形成安全检查总结报告备案。2应急通信办公室应根据预警信息实施响应方案，根据响应方案将油机、备板备件等应急物资提前调度至重点保障的地区，调度原则应遵循地区的分级管理规定，重点机房、大客户电路等重要部分优先保障。3网络故障或者突发事件、紧急情况发生后，各级应急机构立即进入应急状态，并通过预警机构传报应急人员的联系方式。4网络故障或者突发事件、紧急情况发生后，及时调度车辆和人员至网络故障或者突发事件、紧急情况地点进行通信保障。5网络故障或者突发事件、紧急情况发生后，应立即加强对设备的运行监控，对于由网络故障或者突发事件、紧急情况引发的交换机高负荷情况和故障情况，要及时上报本地应急通信办公室，申请启动应急预案。6各支持、配合机构要根据网络与信息安全领导小组和应急通信办公室的要求开展工作。7对于网络故障或者突发事件、紧急情况过程中涉及分公司间应急资源调度的情况，由省公司应急通信办公室负责协调。8在资源调度时，遵循重点地区优先保障的原则。9对于网络故障或者突发事件、紧急情况持续过程中造成的部分网络设备不能正常运行的情况，维护部要根据网络预故障通报机制，将信息及时传报给各受影响的部门。附件1：移动网交换专业节假日及重大社会活动应急预案（一）、系统运行主动监控在节假日及重大社会活动尤其是春节期间，移动网及综合关口局设备负荷一般都会比平时运行有较大幅度的激增，所以在这期间，定期对系统进行检查，可以及早发现系统是否出现拥塞等问题。在节假日对交换系统维护，建议每1个小时左右就对各种设备进行一次系统的监控，春节除夕晚上建议每半小时或实时进行系统监控。监控的对象主要是：1、在维护台实时监测交换机CPU负荷情况，注意是否已经接近系统的最大容量；2、根据各局向的网络配置情况，监测各局向话务负荷是否已经接近网络的最大处理能力；3、检查端局TUP、MAP等普通呼叫信令之间的呼叫关系是否有异常现象；4、检查VLR所在机器的系统资源，跟踪系统占用资源是否已经接近系统设计的最大容量；5、检查综合关口局各局向TUP、ISUP等网间呼叫信令之间的呼叫关系及网间运行业务是否有异常现象；6、检查数据库/话单文件等是否还有足够空间和资源。（二）、系统运行主动测试在节假日对交换系统的维护，建议每1个小时左右就进行一次系统的呼叫测试，春节除夕晚上建议每半小时进行一次系统的呼叫测试。测试的方法主要是：1、进行移动网本局内移动至移动的话务呼叫，注意观察呼叫是否能能够成功的接续、以及整个呼叫过程的时延情况。2、进行本省内移动至移动的话务呼叫，注意观察呼叫是否能能够成功的接续、以及整个呼叫过程的时延情况。3、进行省间移动至移动的话务呼叫，注意观察呼叫是否能能够成功的接续、以及整个呼叫过程的时延情况。4、对各个局向的互联及话务情况，进行相应的网间呼叫测试，注意观察呼叫是否能能够成功的接续、以及整个呼叫过程的时延情况。5、进行C网手机至移动的话务呼叫，注意观察呼叫是否能能够成功的接续、以及整个呼叫过程的时延情况。6、进行C网手机至网通的话务呼叫，注意观察呼叫是否能能够成功的接续、以及整个呼叫过程的时延情况。7、进行C网至铁通、电信固网的话务呼叫，注意观察呼叫是否能能够成功的接续、以及整个呼叫过程的时延情况。8、联系进行联通、铁通市话使用193及IP业务的话务呼叫测试，机房人员配合跟踪测试信令并注意观察呼叫是否能能够成功的接续、以及整个呼叫过程的时延情况。（三）、交换系统拥塞及CPU负荷过高应急预案在监控的过程中如果发现已经出现系统拥塞、资源CPU及资源占用率高的情况，维护人员应该采取一定的应急措施，以确保系统的安全运行：1、如果发现数据库、话单文件等的资源不够，譬如分配的硬盘空间已经耗尽的情况，可以将系统中早期的数据库历史表、话单文件等备份到其他的机器上，腾出硬盘空间。2、如果发现交换系统资源不够，譬如发生呼叫流控、处理能力不足等情况，在上级主管部门同意后，即可按照事先确定好的顺序闭塞综合关口局至各主要局向的部分中继电路，以达到降低系统负荷的效果。3、可以在维测台上监视基站运行情况，会同基站专业查看基站话务分布情况，在交换机处理能力不足等情况发生时，在上级主管部门同意后，即可会同基站专业按照事先确定好的顺序闭塞相应基站，以达到降低系统负荷的效果。附件2：BSC节假日网络保障应急预案一、BSC节假日大话务量应急处理的组织结构和联系方式职责：组长、副组长负责了解现场情况并与省分公司相关领导沟通，申请启动应急方案，接受省分命令，并向组员传达上级命令，启动应急方案，跟踪现场进展，随时准备与省分公司领导汇报。在应急结束后，接受命令，下达倒回命令，最终向省分公司汇报。技术协调人员负责向组长、副组长汇报现场情况并与组长、副组长沟通，根据现场情况，申请启动应急方案，同时接受命令，与成员共同配合实施方案，根据现场进展，随时与组长、副组长汇报，在应急情况结束后，向组长、副组长申请倒回命令，接到命令后，与成员共同配合实施。成员负责配合技术协调人进行具体工作实施。二、C网BSC节假日大话务量应急预案在节假日尤其是春节期间，话务量一般会比平时成倍的增长，所以在这期间，定期对系统进行检查，可以及早发现系统是否出现拥塞等问题。在节假日对BSC系统维护，建议每1个小时左右就进行一次系统的监控，春节除夕晚上建议半小时进行一次系统的监控。监控的对象主要是：1、BSC主处理器CPU的负荷，注意是否已接近设定门限值；2、BSC的A接口的话务负荷和A接口的信令负荷是否已接近告警门限；3、当前的告警有无任何负荷告警等。Ⅰ系统运行主动测试在节假日对BSC系统维护，建议每1个小时左右就进行一次系统的测试，春节除夕晚上建议每半小时进行一次系统的检查和测试。测试的方法主要是：1、每个小时取一次小区性能测量的话统，注意小区的拥塞程度。2、进行本局之内的C网对C网手机的呼叫测试和点对点的短消息的发送，注意呼叫的成功率和短信的延迟程度。3、进行本局C网手机1X数据业务的测试，注意上传和下载的速度。ⅡBSC拥塞或故障的应急维护在节假日话务量增大的情况下，我们BSC系统有一套限制流量、自我保护的机制。这主要是通过对BSC系统CPU占用率门限值的设置实现。当业务量增大并超过某个门限值时，系统将会产生不同级别（1—4级）的告警，同时系统将按不同级别告警对当前呼叫业务和数据业务进行不同级别的丢包限制处理，以保证系统能正常运行。如果再加上适当的人工调节，将使BSC运行更加稳定可靠，使有限的业务处理能力得到更加合理的利用。同时在监控的过程中如果发现已经出现业务量不断增大、话务开始拥塞、BSC主处理器的负荷接近门限值时，维护人员应该采取一定的应急措施，以确保BSC系统的安全：1、挂起或删除一些不常用或不重要的话统。2、不要使用性能统计中的实时观察、信令跟踪、系统监测、业务观察等。3、在业务量非常大出现高级别的告警时，可以根据当前告警级别对BSC系统的部分基站做闭锁处理：具体方案如下：1）当BSC1的CPU负荷达到80％或MSC侧需要配合时。依次闭锁注意：以上操作严格按照闭锁载频的先后顺序进行依次闭锁，每闭锁一块载频后观察一下CPU占用率，如果CPU占用率降下来，就停止下面的操作，以便尽量减少对网络的影响。2）如果进行以上操作后，CPU负荷仍然没有将下来，并继续升高时。当BSC1的CPU负荷达到85％或MSC侧需要配合时，则依次闭锁注意：以上操作严格按照闭锁载频的先后顺序进行依次闭锁，每闭锁一个扇区后观察一下CPU占用率，如果CPU占用率降下来，就停止下面的操作，以便尽量减少对网络的影响。3）当话务量开始降低时。再对上述基站依次解锁。4）如问题仍然存在。请与设备厂商技术人员或者设备厂商的受理中心联系。5）对节日期间出现的设备故障。启动《C网BSC故障应急预案》。附件4：应急通信机构联系方式