网络故障案例手册Ver10

1网络故障案例手册Ver1.02目录案例编号20130208........................................................................................................................4交换机硬件故障引起网络中断...............................................................................................4典型症状...................................................................................................................................4其它现象...................................................................................................................................4处置方法...................................................................................................................................4案例具体原因...........................................................................................................................4扩展...........................................................................................................................................6案例编号20130604........................................................................................................................6症状...........................................................................................................................................6处置方法...................................................................................................................................6处置结果...................................................................................................................................8扩展...........................................................................................................................................8案例编号20130614........................................................................................................................9症状...........................................................................................................................................9处置方法...................................................................................................................................9处置结果...................................................................................................................................9扩展...........................................................................................................................................9案例编号20131016......................................................................................................................11症状.........................................................................................................................................113处置方法.................................................................................................................................11处置结果.................................................................................................................................11扩展.........................................................................................................................................114案例编号20130208交换机硬件故障引起网络中断典型症状A.在交换机log中出现如下信息%SW_MATM-4-MACFLAP_NOTIF:Host68b5.99cd.d276invlan8isflappingbetweenportGi0/33andportPo2；B.交换机在线检查各项参数未见异常，交换机重启后报错，无法加载IOS;其它现象交机机载高，网络延迟大，网络丢包。处置方法交换机离线与网络隔离，与故障交换机连接的服务器切换到备用交换机中。如不确认引起此故障的具体交换机，可将交换机与主网络逐一隔离。案例具体原因管理网络端口Port-ASIC芯片自检Fail。以下为故障交换机启动自检全过程Log5front_end/(directory)extractingfront_end/fe_type_1(34760bytes)extractingfront_end/fe_type_2(78400bytes)extractingfront_end/front_end_ucode_info(86bytes)extractingucode_info(76bytes)POST:PortASICCAMSubsystemTests:BeginHTDPOST:BasicTestFailedPOST:POSTFailedPOST:PortASICCAMSubsystemTests:End,StatusFailedPOST:CAMtestfailedPOSTFailed:disablingstacklinksandshuttingdownSDPdriverclasssubsysteminitializationfailed*Mar100:00:35.668:%SYS-3-LOGGER_FLUSHING:Systempausingtoensureconsoledebuggingoutput.*Mar100:00:35.668:%SYS-2-ASSERTION_FAILED:Assertionfailed:reg_used_xdr_portid_to_lc_logical_slot()-Process=Init,ipl=0,pid=36-Traceback=1DDA7F81DDAF441D46E6C11EC2B011EC4A0286CC78286CD101DE64B81DE66F41A2F5C81A26098%Software-forcedreload扩展引起HostFlapping不只上述情况，大家可参考下面的文档链接：案例编号20130604互联网用户访问交易网关延迟大症状有客户反映通过互联网连接CTP电信网关交易延迟大。处置方法检查网络线路的连通性及模拟客户发起Ping值测试，并与其它期货公司的网络延迟做对比。主要做了两种比较一是测试同一线路的不同网关的延迟情况，发现CTP电信网关相对其它网关延迟略大些，但在可接受范围内。通过与其它家期货公司的交易网关做比较，发现我司的互联网延迟确实偏大。7通过检查，确认我方网络设备负载和带宽流量并没有超出基准值。根据客户的网络追踪情况发现有几跳延迟大，初步判断问题可能发现在互联网的传输节点上。为进一步明确问题，我们联络了线路供应商数讯。要求其分析数据，并给出意见。数据通过分析认为未见明显问题，提出建议解决方案。为升级用户侧（即我端）接入光端机的固件，并给出了升级计划。我们同意了其意见。并在升级前后做了数据包的追踪对比，结果如下：升级前：升级后：8处置结果可以看到从11跳开始，12跳之后延迟有了较明显的减小。通过进一步确认，从11跳开始数据包才进入数讯网络，得到了网络优化。扩展网络调优是需多方介入和合作的具有挑战性的技术难题，因为网络延迟和不合乎客户预期是最为直接的反映，也是客户最直接的感受。因此遇到问题应多角度分析问题，不再局限于本公司的网络以至，从总体上把握，配合好服务商，协作处理。9案例编号20130614仿真交易软件登录一会就报超时症状有客户反映通过互联网连接仿真交易网关没过几分钟就报超时错误，需要重新登陆。处置方法在自己电脑上登陆，确有相同现象，客户反映无误。检查网络线路的连通性及模拟客户发起Ping包测试，发现时有丢包现象。于是检查防火墙，CPU，内存使用率都正常，线路也无中断，连接此防火墙的其他应用都正常，怀疑是该服务器本身受到攻击或者网卡故障。登陆该服务器检查，发现该服务器启用了两块网卡，且都配置了网关，导致网络故障。处置结果删除新增的网关后故障解决。扩展对于双网卡的服务器，不能配置两个网关，建议一个