互联网故障与投诉处理培训v3

第1页互联网故障与投诉处理培训网络运营中心客户响应室2012年12月第2页目录•CMNET网络管理规程•CMNET投诉处理流程及案例•CMNET故障定位方法第3页目录•CMNET网络管理规程•维护组织机构与职责•系统的日常维护和管理•区公司相关流程第4页CMNET网络管理规程•城域数据网的维护管理采用统一领导、分级管理、分级负责的原则，区公司网络部为职能管理部门，区公司网络运营中心为生产管理部门和CMNET城域网CR设备维护部门，实行集中、统一的运行维护管理体制。各市公司负责CMNET城域网SR/BAS及城域数据网汇聚层的维护管理，并配合区公司共同做好城域数据网的维护工作。CMNET网络维护管理规定主要内容：维护组织机构与职责；区公司网络维护部门主要职责；地市公司网络维护部门主要职责；（具体内容见附件：中国移动广西公司城域数据网维护管理办法2011年V1版）第5页目录•CMNET网络管理规程•维护组织机构与职责•系统的日常维护和管理•区公司相关流程第6页日常维护管理•中国移动互联网维护工作主要指设备网元和网络层面的维护，包括系统本身及相关连接设备的定期检测、数据备份、故障处理等。系统维护作业计划的编制和实施对于CMNET省网及城域网核心，区公司参照规定中所规定的维护监测项目、周期和要求，编制日常维护作业计划并组织实施。对于CMNET城域网，各地市公司参照区公司维护管理要求实施细则实施日常维护作业计划，并定期将维护作业计划的实施情况上报区公司，定期开展组巡检查。第7页•CMNET日常维护测试项目应包括以下内容类别项目周期备注设备检查硬件系统检查日设备资源利用率（CPU、内存、磁盘空间）检查日DNS、RADIUS系统软件进程检查日DNS服务器配置文件完整性检查周监测实时告警消息实时监控主备倒换测试半年系统各相关设备链路检查链路通断状态日链路利用率日网络检查网络连通性日网络时延、丢包率检查日DNS服务器解析成功率检查日DNS服务器并发请求数（QPS）检查日DNS服务器解析时延检查日DNS服务器域名解析可用性检查日重点域名解析准确性检查日日常维护管理第8页日常维护管理•互联网日常维护测试项目应包括以下内容数据备份应用系统数据及用户数据备份月DNS系统配置文件备份季DNS系统域名解析日志备份季系统数据核查季日志文件备份周文件系统备份半年其他配合集团公司进行设备倒换、安全演练半年IP地址资料的检查核对季端口资料的检查核对月软件版本核对月系统日志和操作日志安全审计月系统和软件安全补丁安装半年安全扫描半年现场看护机房电源、空调、温湿度检查日备品备件的清理核对季第9页目录•CMNET网络管理规程•维护组织机构与职责•系统的日常维护和管理•区公司相关流程第10页网管手段介绍•给市公司提供的网管手段已分配：域名封堵查询系统：用于查询访问域名是否被封堵查询封堵的域名：帐号:guangxi_fengduIP封堵查询（每周上传）：用于查询访问IP是否被封堵登录广西EOMS平台---资料管理---资料管理（新版本）---资料查询---定期报送资料---互联网---IP封堵信息前期已通过广西EOMS工单发布，详见GX-001-120808-8-80140即将分配：数据网管账号城域网流量查看（包括PB-CR，CR-SR流量等关键性能指标）;省级互联出口流量;广西CMNET维护交流飞信群：35165169管理员韦宁第11页互联网日常维护常用流程•互联网日常维护常用流程域名和IP封堵查询办法，解封流程流程：域名封堵登陆流控系统查询，IP封堵数据请查询广西EOMS平台。解封请联系广东不良信息监测中心。宽广流控系统查询，）IP封堵查询，详见广西EOMS系统广东不良信息监测中心，电话[phone]，邮箱[e-mail]互联网故障/投诉处理技术支持流程各市公司按OA文《关于加强互联网质量投诉预处理的函》（桂移网运协[2012]456）中的模板，以技术支持工单给区公司维护员及铁通融合人员处理。集团/省级互联出口调整区公司可以调整路由疏导策略，包含以下情况：1、根据源地址的疏导2、根据目的地址的疏导3、根据源地址和目的地址疏导4、根据目的地址疏导至不同的出口一般情况下仅对32位掩码的地址进行出口疏导的修改址需填写技术支持工单申请。第12页目录•CMNET网络管理规程•CMNET投诉处理流程及案例•CMNET故障定位方法第13页CMNET投诉处理流程及案例•CMNET骨干网故障处理流程第14页CMNET投诉处理流程及案例•CMNET省网和城域网故障处理流程第15页CMNET投诉处理流程及案例1.测试环境说明2.DNS解析情况3.业务测试抓包（可选，较复杂的故障需要进行此项测试）4.业务tracert情况（tracert截图）5.ping测试情况6.测试时间（请注意忙闲时）•CMNET投诉工单填写要求一、现网测试情况1.确定该IP和域名是否在集团封堵列表之内。2.是否为DNS解析问题。3.是否为缓存问题。4.选取不同运营商电路测试，确定网站本身是否正常。5.是否第三方电路问题。6.是否骨干网问题。7.是否互联互通出口问题。二、初步排查情况第16页CMNET投诉处理流程及案例初步结论：故障原因为地址遭集团封堵/DNS问题/web缓存问题/P2P缓存问题/第三方问题/省网问题/骨干网问题。已采取措施：已通过本地第三方处理/需要集团公司协助处理等（区公司进一步判断后确定）•CMNET投诉工单填写要求三、预处理结论第17页CMNET投诉工单填写方法•CMNET投诉表（样例）工单填写要求工单填写示例工单基本内容投诉用户IP地址：X.X.X.X访问域名或IP地址：投诉内容：无法打开XX网站，打开网站很慢等用户网络接入情况：专线、GPON，WLAN等紧急程度：非常紧急/紧急/一般现网测试情况测试环境说明：操作系统,源地址等DNS解析情况:是否正常业务测试抓包（可选，较复杂的故障需要进行此项测试）抓包测试情况业务tracert情况：路由跟踪的路径ping测试情况：ping结果测试时间（请注意忙闲时）初步排查情况该IP和域名是否在集团封堵列表之内。是/否是否为DNS解析问题。是/否是否为缓存问题。是/否选取不同运营商电路测试，确定网站本身是否正常。是/否是否第三方电路问题。是/否是否骨干网问题。是/否是否互联互通出口问题。是/否预处理情况初步结论地址遭集团封堵/DNS问题/web缓存问题/P2P缓存问题/第三方问题/省网问题/骨干网问题等已采取措施已通过本地第三方处理/需要集团公司协助处理等第18页CMNET投诉处理流程及案例1.通过多个运营商的网络对网站进行测试，判断网站当前服务是否正常，如果均无法访问则测试域名是否存在。2.查询网站是否被封堵：①查询域名是否被封堵；②查询IP是否被封堵；③检查网站域名是否能正常解析；④检查域名对应IP属于哪个运营商；⑤检查省公司上报的Ping测试结果；⑥检查省公司上报的Tracert结果；3.检查路由情况：①检查《CMNET骨干网地址资源表》，确认该IP所在的路由器设备；②登录相关设备检查下一跳的路由指向；③如果下一跳进入对方运营商网内，则通过NNOC邮箱向对方投诉，如果下一跳是CMNET网内设备，则登录该设备，检查去源地址的路由是否正常；④分析回程路由的问题，如发现回程路由到某点中断，则参照根据断点，参照第一步继续处理，直到问题解决；案例1：用户无法访问网站第19页CMNET投诉处理流程及案例1.确认用户接入方式、访问的网站地址，以及下载的速度。2.分析省公司测试结果：①分析ping测试结果；②分析Tracert结果；3.对照资料表，查找延迟大对应的设备：4.调整后通知省公司再次测试，反馈测试情况。案例2：用户投诉上网速度慢第20页1.首先检查该网站是否被封堵（宽广流控系统查询，2011年工单已经分配，JT-001-110616-00032，JT-001-110928-00028）；如果封堵，联系广东不良信息监测中心电话[phone],邮箱[e-mail]。2.如果未查到封堵记录，建议进行软件抓包，匹配目的地址的TCP报文，如果有检测到RST报文，可能是封堵，提供抓包结果并反馈集团公司协助定位。3.如果未检测到TCPRST报文，上报投诉工单联系集团公司排查网络侧、设备侧，定位故障原因。4.建议同时在联通、电信网内进行测试，以排除是网站自身原因。案例3：国际域名无法访问CMNET投诉处理流程及案例第21页目录•CMNET网络管理规程•CMNET投诉处理流程及案例•CMNET故障定位方法第22页CMNET故障定位方法确定该IP和域名是否在集团封堵列表之内域名被封堵通过集团流控系统平台（）查询封堵情况。IP被封堵通过广西EOMS平台中资料管理进行查询，IP封堵操作是在省干设备上实行，所以被封堵的IP只会到达省干后的请求均处于超时状态。•域名/IP被封堵第23页CMNET故障定位方法判断方法广西现有两套DNS系统，地址分别为211.138.245.180及211.138.240.100，目前在专线和家宽上广泛使用。可使用nslookup命令来判断DNS问题，当域名无法解析时，可以更换其他DNS进行解析，推荐使用google的DNS（8.8.8.8/4.4.4.4）进行解析，若解析正常，则判断为本地DNS问题。辅助判断手段：因部分网站域名已更新/失效，涉及到域名跳转的问题，可以考虑在搜索引擎上（google/bing/baidu等）搜索访问页面，判断网站域名是否正确，辅助判断是否DNS解析的问题。处理方法：发现问题立即联系客户响应室维护人员处理，本地DNS问题处理第一联系人：兰世战13707880148•本地DNS问题第24页CMNET故障定位方法判断方法在使用httpwatch或其他工具收集互联网异常访问信息时，均可以看到连接的IP，若连接的IP均是在我们网内（广西移动），但是却出现访问速度慢或无法访问的情况，而更换DNS后，却可以正常访问，则判断为本地缓存/CDN问题。处理方法：发现问题立即联系客户响应室维护人员处理，本地Cache/CDN问题处理第一联系人：兰世战13707880148，后续将下发缓存问题判断说明，供各市公司参考使用。•本地Cache/CDN问题第25页CMNET故障定位方法判断方法在确定网站/IP未被封堵的情况下，可以使用其他ISP线路进行对比测试，如南宁监控中心具备电信线路，在南宁出现互联网问题时，均使用不同线路进行测试，确定网站是正常的。处理方法：若所有ISP均无法方法，则联系网站方进行处理。•网站问题第26页CMNET故障定位方法判断方法根据《关于加强互联网质量投诉预处理的函》（桂移网运协[2012]456）的要求，各市公司需要具备集团骨干出口及省级互联出口的测试条件，在网页无法访问或者访问速度慢的时候，使用两个出口的线路进行测试，并判断问题点。如使用集团骨干出口可以访问，而使用省级互联出口不能访问，则可能是集团骨干出口问题/互联互通问题导致。注：trace路由中包含221.176.20.241及211.136.7.77则是通过集团骨干出口疏导，其余均使用省级互联出口疏导。处理方法在判定为省级互联出口问题后，按要求填写反馈模版，在EOMS派技术支持工单到网络运营中心客户响应室进行处理。由客户响应室维护人员联系相关厂家进行处理，若是厂家无法处理，则需根据目的IP调整疏导出口。•省级互联出口问题第27页CMNET故障定位方法判断方法与判断省级互联出口方法一致，使用对比法进行判断。处理方法在判定为集团骨干出口/互联互通出口问题后，按要求填写反馈模版，在EOM