dd测试硬盘读写性能

1.dd介绍dd是UNIX和Linux系统自带的工具，能够以操纵裸设备的方式完成本地磁盘之间的高速复制，跨网络数据复制，以及制作磁盘镜像等功能。另外dd还能生产固定大小的文件，以很高的速度写入磁盘。这就为存储测试提供了一个较好的手段，我们可以利用dd生成许多小文件来测试存储的吞吐量（IOPS）指标，而利用dd生成数个大文件来测量存储系统带宽（MB/s）。2.参数1.if=file输入文件名，缺省为标准输入。即指定源文件。if=inputfile2.of=file输出文件名，缺省为标准输出。3.ibs=bytes一次读入bytes个字节，即指定一个块大小为bytes个字节。4.obs=bytes一次输出bytes个字节，即指定一个块大小为bytes个字节。5.bs=bytes同时设置读入/输出的块大小为bytes个字节。6.cbs=bytes一次转换bytes个字节，即指定转换缓冲区大小。7.skip=blocks从输入文件开头跳过blocks个块后再开始复制。8.seek=blocks从输出文件开头跳过blocks个块后再开始复制。(通常只有当输出文件是磁盘或磁带时才有效,即备份到磁盘或磁带时才有效)。9.count=blocks仅拷贝blocks个块，块大小等于ibs指定的字节数。10.conv=conversion[,conversion...]用指定的参数转换文件。转换参数:ascii转换EBCDIC为ASCII。ebcdic转换ASCII为EBCDIC。ibm转换ASCII为alternateEBCDIC.block把每一行转换为长度为cbs的记录，不足部分用空格填充。unblock使每一行的长度都为cbs，不足部分用空格填充。lcase把大写字符转换为小写字符。ucase把小写字符转换为大写字符。swab交换输入的每对字节。noerror出错时不停止。notrunc不截短输出文件。sync把每个输入块填充到ibs个字节，不足部分用空(NUL)字符补齐。3.dd测试硬盘性能首先要了解两个特殊的设备：/dev/null：回收站、黑洞/dev/zero：产生空字符3.1.测试存储带宽使用dd测试存储系统带宽（MB/s）时，我们通常可以对主机中识别到的每块磁盘，顺序组合使用类似下面两行的命令，来衡量大数据块并发读写时存储的带宽性能指标。其中bs值是指每次写入文件的大小，本例中是1MB大小，用户可以根据自身情况设置好最符合自身应用情况的文件大小进行测试。每条最后的&表示后台让该命令运行，一般我们是先运行写测试然后再运行读测试，让读写操作并发进行。由于实际生产测试环境中往往有多块磁盘，我们往往会将这一系列命令写成Shell脚本让测试过程自动进行。#ddif=/dev/zeroof=/dev/sdabs=1024k&（带宽写测试）#ddif=/dev/sdaof=/dev/nullbs=1024k&（带宽读测试）3.2.测试存储吞吐量使用dd测试存储系统吞吐量（IOPS）指标时，我们通常顺序组合使用下面的命令，来模拟小数据块并发读写时存储的吞吐量性能指标。与测试带宽时相比，吞吐量测试的数据文件大小仅为8KB，因此能够测试出大量小I/O情况下存储的吞吐量（IOPS）指标。当然进行吞吐量测试时，我们一般也要针对主机的每块磁盘设备，因此也将这些命令写成Shell脚本，从而让测试过程自动进行。#ddif=/dev/zeroof=/dev/sdabs=8k&（吞吐量写测试）#ddif=/dev/sdaof=/dev/zerobs=8k&（吞吐量读测试）4.测试性能实例dd只能提供一个大概的测试结果，而且是连续IO而不是随机IO4.1.读测试#ddif=/dev/sda2of=/dev/nullbs=8kcount=83886088388608+0recordsin8388608+0recordsout68719476736bytes(69GB)copied,516.547seconds,133MB/sreal8m36.926suser0m0.117ssys0m55.216s因为/dev/sda2是一个物理分区，对它的读取会产生IO，/dev/null是伪设备，相当于黑洞，of到该设备不会产生IO，所以，这个命令的IO只发生在/dev/sdb1上，也相当于测试磁盘的读能力。4.2.写测试#ddif=/dev/zeroof=/opt/iotestbs=8kcount=83886088388608+0recordsin8388608+0recordsout68719476736bytes(69GB)copied,888.398seconds,77.4MB/sreal14m48.743suser0m3.678ssys2m47.158s因为/dev/zero是一个伪设备，它只产生空字符流，对它不会产生IO，所以，IO都会集中在of文件中，of文件只用于写，所以这个命令相当于测试磁盘的写能力。但是很不准确，因为命令结束的时候数据还没有真正写到磁盘上去。#ddif=/dev/zeroof=/opt/iotestbs=8kcount=8388608conv=fsync这个还算准确，数据已经写入磁盘。ddif=/dev/zeroof=/opt/iotestbs=8kcount=8388608oflag=dsync这个可以当成是模拟数据库插入操作，速度很慢。4.3.读写测试#ddif=/dev/sda2of=/opt/iotestbs=8kcount=83886088388608+0recordsin8388608+0recordsout68719476736bytes(69GB)copied,1869.89seconds,36.8MB/sreal31m10.343suser0m2.613ssys3m25.548s这个命令下，一个是物理分区，一个是实际的文件，对它们的读写都会产生IO（对/dev/sda2是读，对/opt/iotest是写），假设他们都在一个磁盘中，这个命令就相当于测试磁盘的同时读写能力。5.其他应用实例1.将本地的/dev/hdb整盘备份到/dev/hddddif=/dev/hdbof=/dev/hdd2.将/dev/hdb全盘数据备份到指定路径的image文件ddif=/dev/hdbof=/root/image3.将备份文件恢复到指定盘ddif=/root/imageof=/dev/hdb4.备份/dev/hdb全盘数据，并利用gzip工具进行压缩，保存到指定路径ddif=/dev/hdb|gzip/root/image.gz5.将压缩的备份文件恢复到指定盘gzip-dc/root/image.gz|ddof=/dev/hdb6.备份磁盘开始的512个字节大小的MBR信息到指定文件ddif=/dev/hdaof=/root/imagecount=1bs=512count=1指仅拷贝一个块；bs=512指块大小为512个字节。恢复：ddif=/root/imageof=/dev/hda7.备份软盘ddif=/dev/fd0of=disk.imgcount=1bs=1440k(即块大小为1.44M)8.拷贝内存内容到硬盘ddif=/dev/memof=/root/mem.binbs=1024(指定块大小为1k)9.拷贝光盘内容到指定文件夹，并保存为cd.iso文件ddif=/dev/cdrom(hdc)of=/root/cd.iso10.增加swap分区文件大小第一步：创建一个大小为256M的文件：ddif=/dev/zeroof=/swapfilebs=1024count=262144第二步：把这个文件变成swap文件：mkswap/swapfile第三步：启用这个swap文件：swapon/swapfile第四步：编辑/etc/fstab文件，使在每次开机时自动加载swap文件：/swapfileswapswapdefault0011.销毁磁盘数据ddif=/dev/urandomof=/dev/hda1注意：利用随机的数据填充硬盘，在某些必要的场合可以用来销毁数据。12.测试硬盘的读写速度ddif=/root/1Gb.filebs=64k|ddof=/dev/nullddif=/dev/zeroof=/root/1Gb.filebs=1024count=1000000通过以上两个命令输出的命令执行时间，可以计算出硬盘的读、写速度。13.确定硬盘的最佳块大小ddif=/dev/zerobs=1024count=1000000of=/root/1Gb.fileddif=/dev/zerobs=2048count=500000of=/root/1Gb.fileddif=/dev/zerobs=4096count=250000of=/root/1Gb.fileddif=/dev/zerobs=8192count=125000of=/root/1Gb.file通过比较以上命令输出中所显示的命令执行时间，即可确定系统最佳的块大小。14.修复硬盘ddif=/dev/sdaof=/dev/sda当硬盘较长时间（比如1，2年）放置不使用后，磁盘上会产生magneticfluxpoint。当磁头读到这些区域时会遇到困难，并可能导致I/O错误。当这种情况影响到硬盘的第一个扇区时，可能导致硬盘报废。上边的命令有可能使这些数据起死回生。且这个过程是安全，高效的。