Linux性能分析工具

Linux性能分析工具(vmstat,iostat,sar)./proc/partitionsiostat的数据的主要来源是/proc/partitions，所以需要先看看/proc/partitions中有些什么。#cat/proc/partitionsmajorminor#blocksnameriormergersectrusewiowmergewsectwuserunninguseaveq3019535040hda12521./proc/partitionsiostat的数据的主要来源是/proc/partitions，所以需要先看看/proc/partitions中有些什么。#cat/proc/partitionsmajorminor#blocksnameriormergersectrusewiowmergewsectwuserunninguseaveq3019535040hda125243112734437134436012941255343084341097290-11580072028214662317172991hda1137116814000000140140321hda200000000000355116671hda510047766562011230061065036265041hda65189246162770257337529056143880046520146650376980211hda71188930475338890340740126832215827937695338005093501294120major:主设备号。3代表hda。minor:次设备号。7代表No.7分区。#blocks:设备总块数(1024bytes/block)。19535040*1024=20003880960(bytes)~2Gname:设备名称。如hda7。rio:完成的读I/O设备总次数。指真正向I/O设备发起并完成的读操作数目，也就是那些放到I/O队列中的读请求。注意很多进程发起的读操作(read())很可能会和其他的操作进行merge，不一定每个read()调用都引起一个I/O请求。rmerge:进行了merge的读操作数目。rsect:读扇区总数(512bytes/sector)ruse:从进入读队列到读操作完成的时间累积(毫秒)。上面的例子显示从开机开始，读hda7操作共用了约340秒。wio:完成的写I/O设备总次数。wmerge:进行了merge的写操作数目。wsect:写扇区总数wuse:从进入写队列到写操作完成的时间累积(毫秒)running:已进入I/O请求队列，等待进行设备操作的请求总数。上面的例子显示hda7上的请求队列长度为0。use:扣除重叠等待时间的净等待时间(毫秒)。一般比(ruse+wuse)要小。比如5个读请求同时等待了1毫秒，那么ruse值为5ms,而use值为1ms。use也可以理解为I/O队列处于不为空状态的总时间。hda7的I/O队列非空时间为509秒，约合8分半钟。aveq:在队列中总的等待时间累积(毫秒)(约等于ruse+wuse)2.iostat结果解析#iostat-xLinux2.4.21-9.30AX(localhost)2004年07月14日avg-cpu:%user%nice%sys%idle3.850.000.9595.20Device:rrqm/swrqm/sr/sw/srsec/swsec/srkB/swkB/savgrq-szavgqu-szawaitsvctm%util/dev/hda1.701.700.820.8219.8820.229.9410.1124.5011.8357.81610.7699.96/dev/hda10.000.000.000.000.010.000.000.0012.920.0010.7710.770.00/dev/hda50.020.000.000.000.030.000.020.006.600.006.446.040.00/dev/hda60.010.380.050.030.433.250.211.6246.900.15193.9652.250.41/dev/hda71.661.330.760.7919.4116.979.708.4923.440.7951.1319.793.07rrqm/s:每秒进行merge的读操作数目。即delta(rmerge)/swrqm/s:每秒进行merge的写操作数目。即delta(wmerge)/sr/s:每秒完成的读I/O设备次数。即delta(rio)/sw/s:每秒完成的写I/O设备次数。即delta(wio)/srsec/s:每秒读扇区数。即delta(rsect)/swsec/s:每秒写扇区数。即delta(wsect)/srkB/s:每秒读K字节数。是rsect/s的一半，因为每扇区大小为512字节。wkB/s:每秒写K字节数。是wsect/s的一半。avgrq-sz:平均每次设备I/O操作的数据大小(扇区)。即delta(rsect+wsect)/delta(rio+wio)avgqu-sz:平均I/O队列长度。即delta(aveq)/s/1000(因为aveq的单位为毫秒)。await:平均每次设备I/O操作的等待时间(毫秒)。即delta(ruse+wuse)/delta(rio+wio)svctm:平均每次设备I/O操作的服务时间(毫秒)。即delta(use)/delta(rio+wio)%util:一秒中有百分之多少的时间用于I/O操作，或者说一秒中有多少时间I/O队列是非空的。即delta(use)/s/1000(因为use的单位为毫秒)如果%util接近100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘可能存在瓶颈。svctm一般要小于await(因为同时等待的请求的等待时间被重复计算了)，svctm的大小一般和磁盘性能有关，CPU/内存的负荷也会对其有影响，请求过多也会间接导致svctm的增加。await的大小一般取决于服务时间(svctm)以及I/O队列的长度和I/O请求的发出模式。如果svctm比较接近await，说明I/O几乎没有等待时间；如果await远大于svctm，说明I/O队列太长，应用得到的响应时间变慢，如果响应时间超过了用户可以容许的范围，这时可以考虑更换更快的磁盘，调整内核elevator算法，优化应用，或者升级CPU。队列长度(avgqu-sz)也可作为衡量系统I/O负荷的指标，但由于avgqu-sz是按照单位时间的平均值，所以不能反映瞬间的I/O洪水。3.I/O系统vs.超市排队举一个例子，我们在超市排队checkout时，怎么决定该去哪个交款台呢?首当是看排的队人数，5个人总比20人要快吧?除了数人头，我们也常常看看前面人购买的东西多少，如果前面有个采购了一星期食品的大妈，那么可以考虑换个队排了。还有就是收银员的速度了，如果碰上了连钱都点不清楚的新手，那就有的等了。另外，时机也很重要，可能5分钟前还人满为患的收款台，现在已是人去楼空，这时候交款可是很爽啊，当然，前提是那过去的5分钟里所做的事情比排队要有意义(不过我还没发现什么事情比排队还无聊的)。I/O系统也和超市排队有很多类似之处:r/s+w/s类似于交款人的总数平均队列长度(avgqu-sz)类似于单位时间里平均排队人的个数平均服务时间(svctm)类似于收银员的收款速度平均等待时间(await)类似于平均每人的等待时间平均I/O数据(avgrq-sz)类似于平均每人所买的东西多少I/O操作率(%util)类似于收款台前有人排队的时间比例。我们可以根据这些数据分析出I/O请求的模式，以及I/O的速度和响应时间。4.一个例子#iostat-x1avg-cpu:%user%nice%sys%idle16.240.Device:rrqm/swrqm/sr/sw/srsec/swsec/srkB/swkB/savgrq-szavgqu-szawaitsvctm%util/dev/cciss/c0d00.0044.901.0227.558.16579.594.08289.8020.5722.3578.215.0014.29/dev/cciss/c0d0p10.0044.901.0227.558.16579.594.08289.8020.5722.3578.215.0014.29/dev/cciss/c0d0p20.000.000.000.000.000.000.000.000.000.000.000.000.00上面的iostat输出表明秒有28.57次设备I/O操作:delta(io)/s=r/s+w/s=1.02+27.55=28.57(次/秒)其中写操作占了主体(w:r=27:1)。平均每次设备I/O操作只需要5ms就可以完成，但每个I/O请求却需要等上78ms，为什么?因为发出的I/O请求太多(每秒钟约29个)，假设这些请求是同时发出的，那么平均等待时间可以这样计算:平均等待时间=单个I/O服务时间*(1+2+…+请求总数-1)/请求总数应用到上面的例子:平均等待时间=5ms*(1+2+…+28)/29=70ms，和iostat给出的78ms的平均等待时间很接近。这反过来表明I/O是同时发起的。每秒发出的I/O请求很多(约29个)，平均队列却不长(只有2个左右)，这表明这29个请求的到来并不均匀，大部分时间I/O是空闲的。一秒中有14.29%的时间I/O队列中是有请求的，也就是说，85.71%的时间里I/O系统无事可做，所有29个I/O请求都在142毫秒之内处理掉了。delta(ruse+wuse)/delta(io)=await=78.21=delta(ruse+wuse)/s=78.21*delta(io)/s=78.21*28.57=2232.8，表明每秒内的I/O请求总共需要等待2232.8ms。所以平均队列长度应为2232.8ms/1000ms=2.23，而iostat给出的平均队列长度(avgqu-sz)却为22.35，为什么?!因为iostat中有bug，avgqu-sz值应为2.23，而不是22.35。用vmstat监视内存使用情况vmstat是VirtualMeomoryStatistics（虚拟内存统计）的缩写，可对操作系统的虚拟内存、进程、CPU活动进行监视。它是对系统的整体情况进行统计，不足之处是无法对某个进程进行深入分析。vmstat的语法如下：程序代码vmstat[-V][-n][delay[count]]procsmemorypagediskfaultscpurbwswapfreeremfmipofrdesrf0s0s1s2insycsussyid00014888191200421110000008198215898111969SWAP的单位应该是K，不是M。还有两个比较重要的参数是PI、PO，表示内存的调入、调出页面，单位也是K，但是多大值作为一个衡量标准，我也不清楚，不知道是否有经验值。还有，最好使用vmstatt[n]命令，例如vmstat55,表示在T（5）秒时间内进行N（5）次采样。如果只使用vmstat，无法反映真正的系统情况，试一下，看看结果就知道了。procs:r–在运行队列中等待的进程数b–在等待io的进程数w–可以进入运行队列但被替换的进程memoyswap–现时可用的交换内存（k表示）free–空闲的内存（k表示）pagesre－－》回收的页面mf－－》非严重错误的页面pi－－》进入页面数（k表示）po－－》出页面数（k表示）fr－－》空余的页面数（k表示）de－－》提前读入的页面中的未命中数sr－－》通过时钟算法扫描的页面disk显示每秒的磁盘操作。s表示scsi盘，0表示盘号fault显示每秒的中断数in－－》设备中断sy－－》系统中断cy－－》cpu交换cpu表示cpu的使