搜索
系统卡顿原因主要分为网络传输过程中网络不稳定以及服务器本身导致。网络传输过程主要有以下几个原因：1、网络异常1）、网络延迟网络延迟可以通过ping命令检查出具体延迟多少，通过指定发送包和返回包的时间，命令如下：Ping-c4-t110.70.41.126显示如下：比对两次ping的time时长，差值即为网络延迟的值，举例：某系统发起身份查询请求，设置查询时间3s，后台监控发现网络延迟3s，此时，网络传输还在进行，但系统出现报错或白屏甚至页面卡顿。2）、带宽满通过ftp或者scp等上传下载命令，或者网络设备自带带宽监控功能（网络设备上显示实时使用带宽，以及剩余带宽）。ftp或scp上传包后，通过包大小/执行时长，判断出此时带宽网速，比对该带宽上限值，确定此时，带宽是否满。举例：无纸化代码包服务器10.70.41.126，额定带宽100m/s，无纸化免填单大小10m，查询时间上限值2s，通过ftp10.70.41.126，传输一个2G的包，记录需要多久时间，假设需要512s，则此时带宽网速为4m/s,不满足无纸化系统获取免填单各项数据（10m）允许的时间获取数据完成，换句话说，此时，带宽满（其他系统进程作业影响），不能满足无纸化免填单业务需求。此时，前台表现为报错或一致卡顿至带宽满足5m/s时结束。3）、网络抖动网络中的延迟是指信息从发送到接收经过的延迟时间，一般由传输延迟及处理延迟组成；而抖动是指最大延迟与最小延迟的时间差，如最大延迟是20毫秒，最小延迟为5毫秒，那么网络抖动就是15毫秒，它主要标识一个网络的稳定性。现有工具：glance主机监控，看一段时间内的波动图举例：某时间段内发现滨江机房网络抖动3秒，则属于该机房服务器上主机承载的业务出现异常，如渠道协同，滨江机房网络抖动3秒，则调用时间要求在3秒内的esb接口调用出现异常，具体反映为esb总体成功率下降，进而导致某系统调用该esb服务的业务界面出现报错或卡顿。4）、丢包通过Ping-c4-t110.70.41.126命令，检查packetloss字段确定丢包数多少如：某系统前台发起资料查询，负责查询请求的进程出现丢包，则导致前台界面部分数据显示报错、异常或该界面直接卡顿在那里。以上网络原因目前都有工具监控，或者使用脚本命令连续性监控。2、服务器主机或docs1）、资源满Cpu、内存使用率=95%2）、hang登陆主机，等不不上且卡住，说明hang3）、系统性能极差执行一条系统命令，=30s才显示命令状态以上三点主要体现在当某系统前台操作，后端进程发起请求获取不到相对应的返回时，导致程序重新发起请求，获取资源，如此反复，最终前台反馈超时或者认为该请求还在执行即卡顿。根据后端监控方法，逆向推断前台卡顿原因1、梳理主机上应用文件、进程要相关数据库业务配置表和前台业务对应关系,如下：后端前端前端业务举例IP系统模块crm前台web进程具体业务处理逻辑销户逻辑处理工作流主机上应用文件业务菜单销户菜单数据库表业务菜单数据销户界面具体数据通过梳理，明确后端和前台业务一一对应关系，后端异常反应前台异常。2、通过后端监控发现网络异常或主机hang等异常，确定异常具体原因，最后确定出受影响的主机或主机上具体进程，最终根据1中对应关系确定出前台受印象范围和业务。后端前端前端业务举例IP异常（服务器hang）系统模块crm前台web登录报错或卡顿进程（主机hang或进程hang）具体业务处理逻辑销户业务办理报错或卡顿主机上应用文件（网络丢包）业务菜单销户菜单打不开或卡顿数据库表（网络延迟）业务菜单数据销户界面具体数据缺失或卡顿3、最终根据受影响的后端主机或进程，判断出前台卡顿具体业务和范围。检测工具1、网络延迟_psping50-100ms延迟，人眼有感觉，100ms延迟感觉强烈2、Tcptrack_带宽监控工具使用pcap库来捕获数据包，并计算各种统计信息，比如每个连接所使用的带宽。client表示客户端，server表示服务端，state表示客户端和服务端连接状态，speed表示使用的网络带宽，total表示目前使用总带宽，跟额定带宽比较就知道是否带宽满网络抖动看一段时间内变化曲线是否平稳，不平稳表示抖动3、丢包_mtrLoss%：是显示的每个对应IP的丢包率4、服务器资源满/hang/性能差_Monit页面卡着不动或者无数据表示服务器hang或者资源满，性能差要看各项指标是否超过阈值（一般指内存/CPU超过95%）