投诉预处理系统应急预案

中国移动通信集团辽宁有限公司信息技术中心集客投诉预处理系统应急预案网管支撑室2018年05月1修订记录版本号更新时间修改内容修订人1.02018-2-9吴迪2.02018-5-16吴迪2目录1目的.....................................................................32应急预案启动条件.........................................................33应急预案执行原则.........................................................34应急预案执行注意事项.....................................................35应急环境介绍.............................................................46应急预案处理流程.........................................................57应急预案内容及过程.......................................................67.1系统安全类事件.....................................................67.1.1信息篡改事件.................................................67.1.2拒绝服务事件.................................................87.1.3网管系统劫持事件.............................................97.1.4恶意代码事件................................................117.1.5垃圾邮件事件................................................127.2系统故障类事件....................................................137.2.1数据库故障场景..............................................137.2.2网络故障场景................................................167.2.3应用访问异常故障............................................177.2.4数据源故障场景..............................................187.2.5服务器故障场景..............................................208相关人员联系表..........................................................219本应急预案知晓范围......................................................2231目的为应对集客投诉预处理系统突发的安全风险，及时响应并处理安全事件，确保系统的正常运行。加强对突发安全事件的紧急处理能力，根据集客投诉预处理系统可能面临的主要风险和系统特点，特制定此方案并进行应急演练，检验集客投诉预处理系统应急处理流程及突发安全事件的处理能力。2应急预案启动条件集客投诉预处理系统面临的主要风险是：信息篡改、拒绝服务、恶意代码、域名劫持、垃圾邮件、数据库故障场景，网络故障场景，应用访问异常故障场景，数据源故障场景，服务器故障场景。在遇到以上适用范围时，可以启动本预案。3应急预案执行原则当系统故障、服务故障或网络故障时，应按要求上报相关部门，在统一指挥下，实施本应急预案。以最低限度业务影响为前提、做到以下几点：1.先抢通、再抢修。2.以业务恢复为第一要务。3.重点保障业务正常下发。4应急预案执行注意事项在遇到突发情况时，仔细核对故障现象，有条不紊的进行故障定位，执行应急预案时应注意以下几点：1.处理事件前：事件上报相关部门领导。2.处理事件中：文件替换、修改等操作需备份，必要时可回退；同时要求不能随意删除数据或日志，避免盲目操作。43.处理事件后：总结突发事件，汇报相关问题。5应急环境介绍1.应用系统名：集客投诉预处理系统。2.相关服务器信息：服务器名称服务器地址操作系统服务器功能jkts-app-oss10.204.211.54RedHatEnterpriseLinuxServerrelease6.0(Santiago)应用服务器jkts-cj-oss10.204.211.55RedHatEnterpriseLinuxServerrelease6.0(Santiago)应用服务器-负载均衡jkts-apptest-oss10.204.211.56RedHatEnterpriseLinuxServerrelease6.0(Santiago)采集器jkts-cjtest-oss10.204.211.57RedHatEnterpriseLinuxServerrelease6.0(Santiago)MQ告警jkts-test1-oss10.204.211.62RedHatEnterpriseLinuxServerrelease6.0(Santiago)应用服务器-测试jkts-test2-oss10.204.211.63RedHatEnterpriseLinuxServerrelease6.0(Santiago)采集器-测试jkts-test3-oss10.204.211.64RedHatEnterpriseLinuxServerrelease6.0(Santiago)MQ告警-测试3.数据库：集中数据库hn_x86oss3_1523_P14.服务器防火墙策略为开放指定协议端口。5.拓扑图：56应急预案处理流程1.常规处理流程：演练过程按照对安全事件应急响处置四个阶段进行，即：应急启动-事件上报-事件处理-事件总结，基本分为事件类、故障类。1.发现系统无法使用，告知安全管理员2.系统无法使用疑似攻击电话告知3.通过分析系统日志及查看系统目录文件确认为信息篡改攻击4.通过核实情况，报告至部门领导5.下达应急指示，启动应急6.组织运维人员、安全服务人员进行应急7.登录服务器主机，修改账号口令，删除异常账号8.登录服务器主机，替换配置文件9.检查系统使用是否正常11.上报部门领导，应急结束10.汇总各部门人员意见，形成演练总结应急启动事件上报事件处理事件总结应急演练流程安全服务人员安全管理员部门领导运维管理人员事件演练流程图62.系统无法使用，日志存在内存溢出3.通过分析日志确认为受到攻击致使应用进程内存溢出，导致进程服务挂死4.通过核实情况，报告至部门领导5.下达应急指示，启动应急6.组织运维人员、安全服务人员进行应急7.重启应用相关程序8.检查系统使用是否正常10.上报部门领导，应急结束9.汇总各部门人员意见，形成演练总结应急启动事件上报事件处理事件总结应急演练流程安全服务人员安全管理员部门领导运维管理人员1.发现系统打开提示404错误，无法使用，告知安全管理员故障演练流程图2.是否具备投诉绿色通道：不具备。3.是否具备批量投诉保障措施：不具备。4.是否具备VIP投诉通道：不具备。7应急预案内容及过程7.1系统安全类事件7.1.1信息篡改事件7.1.1.1事件背景随着数据业务的发展，网管系统的访问量也与日俱增，网管系统可能遭受到一些互联网攻击者的攻击，利用存在一些的安全漏洞，对系统运行造成安全威胁和不良影响。目的：该事件目的主要是对来自于互联网针对正常业务端口的攻击事件进行响应。77.1.1.2安全事件的发现现象：系统监控人员在监控过程中，发现某个域名解析非法篡改。域名为：，正常解析为，当前解析不是该地址。7.1.1.3事件紧急处理1.重要文件恢复：将服务器上最新一次保存的配置文件进行恢复。2.将备份文件e2e-gum.zip传到主机上。#unzipe2e-gum.zip./ISS_HOME/WebUIServer/webapps/3.重启应用系统相关服务/home/lnjk/ISS_HOME/bin/startUIServer.sh4.在必要情况下，进行操作系统和网管系统应用软件和程序的重新安装。7.1.1.4安全事件分析1.分析访问日志：#more/var/log/messages2.分析系统日志(messages、secure、lastlog等)确认主机上有无异常权限用户非法登陆，并记录其IP地址、登陆时间等信息。3.检查帐号情况，删除异常帐号，并修改使用帐号的口令：#more/etc/passwd#passwdlogonuser4.分析系统目录以及搜索（find命令）整盘近期被修改的和新创建的文件，查找是否存在可疑文件和后门程序；5.用ps命令检查有无可疑进程；6.用netstat命令检查有无可疑端口；7.结合上述日志审计，确定攻击者的方式、以及入侵后所获得的最大管理权限和是否对被攻击服务器留有后门程序。87.1.1.5根除措施通过配置防火墙策略，严格限制恶意地址的访问请求。7.1.1.6恢复措施1.如果攻击者放置了后门等恶意程序，可对重新安装操作系统和网管系统软件，并恢复配置文件，对系统进行加固；2.进行业务测试，确定系统完全恢复；3.系统上线运行。7.1.2拒绝服务事件7.1.2.1事件背景模拟来自于骨干网的拒绝服务攻击事件，当攻击者在获取网管系统权限未遂时，可能会发起以消耗资源为目的拒绝服务攻击，从而使网管系统服务响应速度慢甚至不响应。目的：该事件目的主要是对来自于互联网针对域名解析发起的大量非法连接。7.1.2.2安全事件的发现现象：有客户反映在使用集客投诉预处理系统时速度慢，甚至域名无法解析。同时系统监控人员在监控过程中，也发现了大量半连接。7.1.2.3攻击源的定位1.系统状态不正常，发现有许多外网异常端口TCP连接；2.通过网络分析大量连接的源地址，部分来源为假地址，部分为真地址。3.通过网络设备日志等，基本确定攻击的来源。97.1.2.4安全防护措施1.在防火墙上过滤DoS发起源，限制访问，在事先配置好的限制地址中添加以下配置setaddressUntrustDeniedIP-Nx.x.x.x255.255.255.255setgroupaddressUntrustDeniedIPaddDeniedIP-N2.重启占用系统资源高的进程#ps-ef#kill-HUP进程号3.服务器存在漏洞，安装相应补丁#pkgadd-d补丁号7.1.2.5根除措施通过虚拟化防护系统，对攻击源进行阻断处理。7.1.3网管系统劫持事件7.1.3.1事件背景网管系统可能遭受到一些互联网攻击者的攻击，利用存在一些的安全漏洞进入系统，对网管系统服务器进行非法控制，并恶意修改记录，造成对系统的破坏和安全威胁。目的：该事件目的主要是通过发现处网管系统劫持事件，熟悉对此类攻击处理的流程。7.1.3.2安全事件的发现现象：维护人员在检测过程中发现某个域名解析被恶意篡改，同时发现网管系统服务器有被未知用户控制的记录。107.1.3.3事件紧急处理1.重要文件恢复：将服务器上最新一次保存的配置文件进行恢复。将备份文件e2e-gum.zip传到主机上。#unzipe2e-gum.zip./ISS_HOME/WebUIServer/we