CES业务,FE业务分析与故障定位-张磊

1CES/FE业务分析与故障定位张磊2013年2月2培训内容：业务分析概述CES业务分析及故障定位FE业务分析及故障定位小结3业务类型分析概述移动回传网主要用于承载基站回传业务2G基站：BTSBSC3G基站：NodeBRNCLTE基站：eNBSGW/MMEFE/GEFE/GEFE/GENodeBeNBeNB汇聚层L2VPN专线核心层接入层BTS2M/FESGW/MMERNCBSC2G基站业务3G基站业务LTE基站业务4业务类型分析概述4PE1PE2PE3L2VPN功能管道不改变帧内容，不分包处理，透明传输；业务类型CES业务FE业务5业务类型分析概述业务规划接口类型/VLAN划分上话槽位、端口线路槽位、端口VC标签分配Tunnel标签分配56业务类型分析概述6PE7PE8PE2PE6PE3PE4PE515/115/315/411/36/28/18/27/27/14/24/111/37/2主用工作路径PE7PE8PE2PE6接口类型2M-GEGE-GEGE-XGEXGE-155M槽位端口S16_10-S15_1S15_1–S15_3S11_1–S7_2S4_1-S21-1VC标签正向342----342VC标签反向343----343Tunnel标签正向336-419419-423423-423423-423Tunnel标签反向338-421421-425425-425425-425备用路径PE7PE8PE3PE4PE5PE6接口类型2M-GEGE-GEGE-XGEXGE-XGEXGE-XGEXGE-155M…………………备用接入(640)：PE7/8汇聚(860)：PE2/3/4/5核心(865)：PE67IPRAN组网设备类型集中式交换设备故障点PTN640交叉盘620IPRANR8457分布式交换设备故障点IPRANR860NP和交叉盘R865集中式交换分布式交换8培训内容：业务分析概述CES业务分析及故障定位FE业务分析及故障定位小结9CES业务分析及故障定位-业务特点固定带宽，固定帧长•E1业务，固定带宽2M•155M业务，承载63个2M时隙，S1O2盘集成8个155M光口•E1和155业务均是TDM（CES）业务，其配置单位为2M;数据敏感，易造成业务中断•丢帧•错包•乱序报文•时钟敏感910CES业务分析及故障定位-转发10E1O1SCUO1NPTDM-PKTPKT-TDM11CES业务分析及故障定位-仿真盘配置11E1O1S1O212CES业务分析及故障定位-思路1213一．找出问题业务在网管上右键点工程—业务管理，打开过滤，输入源网元号或网元名称，宿网元号或网元名称。CES业务分析及故障定位-找到故障电路14业务类型分析概述-定位到VC14定位工作路径15业务类型分析概述-定位到Tunnel15主用备用Tunnel，定位保护路径16CES业务分析及故障定位-思路1617CES业务分析及故障定位-分析电路17工作路径PE7PE8PE2PE6接口类型2M-GEGEGE-XGEXGE-155M槽位端口S16_10-S15_1S15_1–S15_3S11_1–S7_2S4_1-S21-1VC标签正向342----342VC标签反向343----343Tunnel标签正向336-419419-423423-423423-423Tunnel标签反向338-421421-425425-425425-425备用路径PE7PE8PE3PE4PE5PE6接口类型2M-GEGE-GEGE-XGEXGE-XGEXGE-XGEXGE-155M…………………提炼CES故障业务规划表18CES业务分析及故障定位-分析电路18PE7PE8PE2PE6PE3PE4PE515/115/315/411/36/28/18/27/27/14/24/111/37/2提炼CES故障业务拓扑图19CES业务分析及故障定位-思路1920CES业务分析及故障定位-定位故障点源节点故障中间节点故障宿节点故障2021CES业务分析及故障定位-定位故障点分析业务规划表和拓扑图性能分析方法（源中宿节点逐步定位）1.端口流量，报文计数2.VP层流量，报文计数2122源节点22端口流量分析23在8号站的交叉盘XCUK1上面查看状态，打开LSP保护状态信息，找到标签为423，查看主备状态，如果都没有告警，说明主备状态都正常。源节点24CES业务分析及故障定位-定位故障点2425宿节点2526宿节点27CES业务分析及故障定位定位到节点并查看该节点丢包原因点击端口丢包原因查询右边的按钮28CES业务分析及故障定位常见丢包原因REASON_ING_UNI_SHORTFLOW_ACL_POLICY_DROP：入口非法，检查VPWS配置情况REASON_ING_NNI_OUTER_LABEL_SPACE_CHECK_ERROR：外层入标签非法，检查ilm表情况REASON_ARP_INVALID:出接口查找不到ARP，检查ARP配置情况2829CES业务分析及故障定位-思路2930CES业务分析及故障定位-分析故障原因故障节点配置数据检查网管配置分析端到端配置主控配置数据分析单网元配置单盘配置数据分析单板卡配置30主控单盘源/宿VPWSLSP_TXLSP_RXARPVPWSLSP_TXLSP_RXARP中LSP_RXARPLSP_RXARP数据不同步会造成业务故障31网管配置数据分析业务配置标签规划与槽位端口与物理走纤一致告警信息端口Link-Los，CRC记数，端口收发光功率正常状态和性能信息仿真链路收发包，端口流量，保护组状态正常LSP流量稳定帧长统计查看业务是否发出3132网管配置数据分析业务配置标签规划与槽位端口与物理走纤一致告警信息端口Link-Los，CRC记数，端口收发光功率正常状态和性能信息仿真链路收发包，端口流量，保护组状态正常LSP流量稳定帧长统计查看业务是否发出3233业务配置134选中业务，右键查看业务属性UNI接口、业务时隙业务配置2业务配置与业务规划是否一致35定位至Tunnel，保护组在8号站（640）上，主用标签是423，备用标签是424业务配置3网管配置在主控和单盘上是否同步36告警36本地远端告警示例远端链路接入故障和本段链路包丢失37状态37异常正常Tunnel流量38性能仿真链路接收的包数和发送的包数是否相等39CES业务分析及故障定位-主控/单盘源/宿节点数据分析VPWS配置LSP_Tx配置LSP_Rx配置ARP配置中间节点数据分析LSP_Rx配置ARP配置3940主控配置数据分析分析步骤1.登陆主控2.主控配置命令3.查看VPWS是否正常4.查看FTN表（LSP_TX）是否正常5.查看ILM表（LSP_RX）是否正常6.查看ARP表是否正常4041查看VPWS配置：查看LSP_TX配置：42查看LSP_RX配置：协议盘上查看ARP：IP地址MAC地址43单盘配置数据分析分析步骤1.登陆单盘2.单盘常用命令3.VPWS配置4.LSP_Tx配置5.LSP_Rx配置6.ARP配置7.历史配置数据记录4344单盘数据转发处理原理144低阶处理单元TDMVPWSLSP_TXARPLSP_RX45单盘数据转发处理原理245线路盘交叉盘线路盘Lsp_RxArp46单盘数据处理原理3(SCU交换)46槽位端口与交换芯片物理端口号对应关系47单盘数据处理原理4(NP交换)47面板1到SYS1口面板2到SYS2口面板3到SYS3口其它端口到SYS4口面板端口与背板SYS口对应关系48单盘命令函数集锦--menu49单盘命令函数集锦--apihelp50输入命令DbgGetMplsVpnInfo0,1,0回车后打印所有VPWS信息，找到RX-Lable=0x156的VPWS，可知vpwsid=11；低阶处理单元TDMCES业务--源宿VPWS51CES业务--源宿LSP_TX低阶处理单元TDM52低阶处理单元TDMCES业务--源宿ARP53CES业务—源宿LSP_RX53低阶处理单元TDM54CES业务—中间节点LSP_RX5455CES业务—中间节点ARP555556CES业务--历史配置数据记录1如果NP盘上面“REASON_ING_NNI_MPLS_ACTION_INVALID_INNERLAB”第二层标签动作非法的丢包原因，那么需要查看VPWS配置内容是否存在并看配置是否正确。57CES业务--历史配置数据记录2第一个参数1是数据类型表示vpws，第二个参数500是看500条记录，找出其中收pwlable=342，发pwlable=343。主控配置VPN数据是否下发正常更多函数查看“menu”函数58典型故障解析源/宿节点控制字使能配置不匹配保护组状态不一致ARP未配置VPWS配置未下发仿真盘配置中间节点ARP未配置LSP标签未下发中间链路有CRC5859CES业务工程问题分析案例1：排查武汉联通工程配置2M业务不通问题，在中间站点科技馆1，发现TNE是close状态，所以导致协议盘无法把配置下发到NP盘。解决方法：在网管上面把此条配置删除后再重新配置，删后重配2M业务就通了。说明：在做配置业务的时候，一定要确认业务的源宿和中间站点的协议盘TNE是OPEN状态。60查找过程1.找到故障电路2.查询流量3.中间节点入tunnel表没有lsp表项4.登陆主控盘，发现有配置数据；5.登陆NP盘，发现没有配置数据；6.检查配置下发时间，较早时间配置数据；7.检查主控配置锁开关6061协议盘查看TNE状态命令：协议盘打开TNE命令：router#configureterminalrouter(config)#router(config)#tne-switchmodeonrouter(config)#exitCES业务工程问题分析62案例2：网元23-9与科技馆2之间有两条2M业务不通，经过排查发现科技馆2的单盘没有2M业务包发出，然后在2M盘上面查看配置，发现2M业务的时隙都没有打开，导致没有业务包发出。解决方法：在网管上面打开2M业务的时隙后，2条2M业务都通了。CES业务工程问题分析631.找到故障电路2.查询流量3.中间节点入tunnel表中流量不对称4.检查源节点发送数据流量，太少5.检查单盘配置，发现CES使能开关关闭63查找过程64案例3：轻轨利济北路网元（640）-科技馆2之间有两条2M业务，两边都有本端链路包丢失告警，找出配置的lsplable=3032和3033，沿着环路查看这两个标签的收发包，发现都有值，但是在轻轨利济北路网元上面查看性能统计，发现收发包数不一样，怀疑是链路上有CRC导致，沿着每个站点查看性能统计里面的CRC包计数，发现财源大厦（640）的10/1口有CRC计数。解决方法：需要更换光模块或光纤，解决有CRC的问题。CES业务工程问题分析651.找到故障电路2.查询流量，正常3.沿路检查端口性能和告警；4.发现有CRC计数，端口收光功率过低65查找过程66案例4：LSP1:1保护倒换出现异常，没有成功倒换。查询原因：所在的网元S1O1单盘的设备类型为PTN，影响了背板总线。修改设备类型为IPRAN后，问题解决。注意：S1O1单盘修改设备类型后单盘会重启，重启时间需要20分钟左右。CES业务工程问题分析671.找到故障电路2.检查保护组状态3.检查流量，业务走向备用路径4.登陆交叉盘，检查保护组告警信息5.读总线告警信息与备用槽位发送告警信息不一致6.查询哪块板卡影响背板；CES板卡-NP板卡逐个定位；67查找过程68培训内容：业务分析概述CES业务分析及故障定位FE业务分析及故障定位小结69FE业务分析数据不敏感帧长随机帧速随机VLAN操作69UNINNITag识别Vlan增加/删除Tag识别Vlan增加/删除Tag不识别Vlan