网络常见故障排查手册

网络常见故障排查手册网络常见故障排查手册目录思科C7500路由器支持C7500相关术语InterpretingReasonCodes5排除路由器RSP崩溃故障排除路由器VIP崩溃故障排除思科路由器CPU利用率过高的故障排除内存故障是什么引起“%RSP-3-RESTART:cbusComplex”？排除流量延迟或数据包丢弃故障思科C7200路由器支持C7200相关术语排除SNA相关故障思科C7600路由器支持排除ATM模块及链路故障ATM链路不能正常建立或产生ATMB1/B2/B3decleared告警SIP-400及相关子卡故障思科Catalyst系列交换机支持排除Catalyst6000系列交换机崩溃故障Native模式Catalyst6000系列交换机混合模式（Hybrid）Catalyst6000系列交换机.排除Catalyst6000系列交换机模块不在线或发生故障的故障Native模式Catalyst6000系列交换机混合模式（Hybrid）Catalyst6000系列交换机.排除Catalyst6000系列交换机上的CPU利用率过高的故障常见原因排除Catalyst4000/4500系列交换机IOS监视器上CPU利用率过高的故障排除Catalyst交换机上的性能缓慢的问题思科防火墙支持排除防火墙崩溃故障排除防火墙（7.x）上的VPN连接故障.排除IOS路由器上的VPN连接故障排除防火墙连接故障排除防火墙NAT不通问题思科GSR支持GSR相关术语GSR告警卡出现告警信息GSR电源模块故障GSREngine2ModuleQOSProblem思科C7500路由器支持1.C7500相关术语RSP:RouteSwitchProcessor（路由交换处理器）VIP:VersatileInterfaceProcessor（通用处理器）2.InterpretingReasonCodes在路由器的控制台端口的信息输出中，一些IOS软件版本的输出信息自身包括错误原因。例如，以下输出信息中22就是ReasonCode：%VIP2-1-MSG:slot4Systemexception:sig=22,code=0x0,context=0x603B91E8ThistableprovidesalistofpossibleSIGvaluesandthereasonfortheerror:SIG值错误原因2异常硬件中断3由于键盘出入‘break’引起退出4非法opcode异常5由于断点或者一个算法异常引起退出8浮点运算异常9预留引起的异常10总线错误引起的异常11SegV引起的异常20缓存奇偶校验引起的异常21写总线错误中断22致命硬件错误23软件原因路由器崩溃3.排除路由器RSP崩溃故障信息收集信息收集工作列表showclockshowversionshowstacksshowcontextshowtech-supportconsolelogsyslogcrashinfo常见问题：处理器内存奇偶校验错误（PMPE）奇偶校验错误有两种不同类型：软奇偶校验错误-----当芯片内部的能级（如一个1或一个0）发生变化时出现软奇偶校验错误---大多是宇宙辐射的结果。被CPU引用时，它们会导致系统崩溃（如果错误出现在不能恢复的区域）或恢复其他系统（例如，如果错误出现在分组内存[MEMD]中，CyBusComplex会重启）。出现软奇偶校验错误时，不需要切换主板或任何组件。硬奇偶校验错误-----发生会导致数据破坏（所有时间或大多数时间不是坏事）的芯片或主板故障时，会出现硬奇偶校验错误。在这种情况下，您需要重启或更换受影响的组件，通常是内存芯片交换或主板交换。当我们看到同一地址上发生多个奇偶校验错误时，我们就说出现了硬奇偶校验错误。还有一些更复杂的更难识别的情况；但通常情况下，如果我们在相对较短的时间（几周到几月）内看到特定内存区域发生多个奇偶校验错误，就可以认为发生了硬奇偶校验错误。研究表明，软奇偶校验错误出现的频率是硬奇偶校验错误的10到100倍，因此我们强烈建议在更换任何组件之前等待第二个奇偶校验错误的出现，因为这样可以大大减少对网络的影响。4.排除路由器VIP崩溃故障信息收集工作列表Showclockshowtech-supportshowcontrollervip[x]tech-supportshowloggingVIPcrashinfofile另一个好办法是采用下列格式创建一份VIP崩溃总结文件：showversionshowdiagslot[x]CrashinfofileexcerptSyslogexcerpt常见崩溃：处理器内存奇偶校验错误（PMPE）下图显示了CIP崩溃的故障树分析。 5.排除思科路由器CPU利用率过高的故障信息收集工作列表showprocessescpushowinterfacesshowinterfacesswitchingshowinterfacesstatshowalignshowversionshowlog如果路由器完全无法访问，首先重启它。然后定期收集上述命令的输出，showlog（显示日志）命令除外，这些命令的信息应当记录到系统日志服务器上。收集输出的间隔时间应当是五分钟。您可以使用这种UNIX外壳脚本来以手动方式或自动收集数据。6.排除内存故障信息收集工作列表:showprocessesmemory（每天2-3次）showmemoryshowtech-supportshowlogshowbufferoldshowbufferpool（small-middle-big-verybig-large-huge）showbufferpool（small-middle-big-verybig-large-huge）dump内存分配故障意味着：路由器使用了所有可用内存（临时或永久）内存被分成小块，路由器找不到可以使用的内存块。使用处理器内存（思科互联网操作系统[IOS]使用）或分组内存（入局和出局数据包使用）时可能发生这种情况。“处理器”池内存分配故障检查您的IOS软件版本或功能集的内存要求。如果可能，升级到最新IOS软件版本。检查正常或异常程序使用的大量内存。如果需要，增加更多内存空间。检查是否有渗漏或碎片（高端路由器上的缓冲渗漏）收集相关信息，联系TAC。7.是什么引起“%RSP-3-RESTART:cbusComplex”？路由器需要重新分割它的分组内存（MEMD）时会出现CbusComplex。发生CbusComplex时，所有接口处理器都被重装。然后每个IP设备从路由/交换处理器（RSP）上下载它的微码。这将引起大约2分钟的流量传输中断。当切割算法使用的某个参数被修改时（如接口的数量、带宽和最大传输单位（MTU）），就会发生CbusComplex。下面是可能触发CbusComplex的一些事件：微码重装命令配置中的MTU变化接口处理器的在线插拔（OIR）接口崩溃（xIP）接口上检测到“输出被冻结”以下情况下，一定形式的错误状态（如奇偶校验错误）会出现在CyBus（链接RSP和IP的总线）上或MEMD中：如果CbusComplex是由微码重载命令、配置中MTU大小的变化或OIR引起，则不需要担心。MEMD被切割的次数可以使用showcontrollercbu（显示控制器cbu）命令确认。8.排除流量延迟或数据包丢弃故障信息收集工作列表showprocessescpu如果CPU利用率很高，请参见“排除CPU过高故障”部分。如果高CPU程序是“ipinput”，考虑输入队列丢弃，检查：故障原因分析（Traceroute）显示接口显示ip流量显示接口切换显示接口状态ip记帐mac-地址显示接口mac-记帐思科C7200路由器支持1.C7200相关术语NSE:NetworkServicesEngine（网络服务引擎）NPE:NetworkProcessEngine（网络处理引擎）2.排除SNA相关故障信息收集工作列表故障发生时，首先采用以下命令收集信息：showsnaswlinkdetailshowdlswcircuitdetailshowdlswcircuithistoryshowsnaswpdlogdetailallshowsnaswstatisticsshowsnaswrtpshowsnaswdlctracedetailshowsnaswsession对于进一步rootcause的分析，建议采用以下命令收集信息：打开dlctrace，并采用analyser格式，命令如下：1.snaswdlctracebuffer-size16000frame-sizeauto-terseformatana等待5分钟2.停止dlcstrace，命令如下：3.snaswstopdlctrace下载dlctrace，命令如下：4.snaswdumpdlctrace关闭dlctrace，命令如下：5.nosnaswdlctrace打开ipstrace，命令如下：6.snaswipstracebuffer-size16000等待5分钟7.停止ipstrace8.snaswstopipstrace下载ipstrace9.snaswdumpipstrace关闭ipstrace10.nosnaswipstrace思科C7600路由器支持1.排除ATM模块及链路故障1.1.ATM链路不能正常建立或产生ATMB1/B2/B3decleared告警信息收集工作列表ShowipinterfaceATM1/0/0.50(举例)ShowcontrollersATM1/0/0(每30秒收集一次，共3次，观察B1/B2/B3是否增长)如果发现B1/B2/B3增长，建议进行自环测试：首先将ATM时钟模式更改为internal，然后自环，收集三次showcontrollersATMx/x/x通过自环后的命令检查B1/B2/B3是否有增长，如果没有增长则说明硬件无问题，需要继续查找物理链路的问题；1.2.SIP-400及相关子卡故障信息收集工作列表lShowloggingshowdiagnosticresultmodulealldetailShowtech-supportShowhw-moduleslotxloggingShowhw-moduleslotxtech-support思科Catalyst系列交换机支持1.排除Catalyst6000系列交换机崩溃故障1.1.Native模式Catalyst6000系列交换机信息收集工作列表收集RP和SP的崩溃信息文件。检查命令：dirbootflash:dirsup-bootflash:dirslavebootflash:dirslavesup-bootflash:dirdfc#module_#-bootflash:（DFC配备的模块自动复位）使用命令more来查看和记录crashinfo文件会话（或者通过TFTP将崩溃信息发送到TFTP服务器）morebootflash:crash_file_namemoresup-bootflash:crash_file_namemoredfc#module_#-bootflash:crash_file_nameorshowfilebootflash:crash_file_nameshowfilesup-bootflash:crash_file_name/lishowfiledfc#module_#-bootflash:crash_file_nameshowtech-supportshowlogging注意：定期检查bootflash，如果sup-bootflash/bootflash已满，请使用“delete（删除）”和squeeze（压缩）命令来永久删除不需要的文件，为新的crashinfo文件腾出空间。若欲了解有关如何排除运行IOS的6500交换机的故障的更多信息，请参考以下链接：