ULT存储IOPS性能测试

ULT存储IOPS性能测试报告[测试人]王忠友[文档版本]V1.0[创建时间]2015年05月06日[最后修订][文件类型]测试报告测试背景此测试报告主要针对ULT存储（15*600G15KRPMRAID5，1*HOTSPARE）的IOPS性能进行测试，主要测试的IO大小为4KB，原因是因为文件系统常用的块大小是4KB，考查ULT存储能够提供的最大IOPS和平均响应时间。同时，对于虚拟化存储卷的规划(Lunsizing)方面也进行简单的测试和验证，因为在存储配置规划当中，遇到的第一个问题就是对LUN的配置，在存储当中应该用多大的尺寸来规划LUN，一个LUN能够最大支持多少个虚拟机正常运行？其和存储LUN的规划有着直接的联系。通过对以上性能指标进行测试，以评估在中青旅项目生产环境当中存储的扩容以及规划方式作为数据参考。测试前提在进行测试之前，我们必须明确如下测试内容：测试对象：ULT存储（15*600G15KRPMRAID5，1*HOTSPARE）测试指标：IOPS和平均响应时间测试工具：Linux下利用FIO工具进行测试，Windows下使用IOMeter进行测试发现无法绕开缓存测试参数：IO大小，寻址空间，队列深度，随机读和随机写模式测试主要为了进行对比和评估，因此在测试时需要定性和定量，测试出来的数据才具有对比性和可评估性。影响因素我们在对IOPS进行随机读写测试时，其影响IOPS性能的主要因素有哪些？队列深度：是表示在同一时刻，有N个inflight的IO请求，包括在队列中的IO请求，和磁盘正在处理的IO请求，N就表示队列深度。加大硬盘的队列深度就是让硬盘不断工作，减少硬盘的空闲时间，以发挥出磁盘的最大读写性能。寻址空间：是指在进行IO请求时，IO会落在硬盘空间怎样的工作区间上[0,size]，寻址空间越小，磁头在磁盘上读写数据时需要移动的距离就会变小，因此每次IO请求的服务时间就会变小。存储配置磁盘类型磁盘容量RAID级别磁盘热备存储模式SAS15KRPM16*600GRAID51随机小IO测试描述本次测试主要采用4KB的IO大小进行随机读写测试，分别在不同的队列深度和寻址空间上，验证ULT存储（15*600G15KRPMRAID5，1*HOTSPARE）能够提供的最大IOPS和其对应的平均响应时间。测试数据以下为针对ULT存储（15*600G15KRPMRAID5，1*HOTSPARE）采用4KB的IO大小进行随机读写测试，分别在不同的队列深度和寻址空间上测试出来的ULT能够提供的最大IOPS和其对应的平均响应时间数据表。测试1：4KIO大小随机写IOPS测试，寻址空间为500GB，LUN大小为512GB队列深度IO大小IOPS平均响应时间磁盘利用率14K20350.4769897.92%24K20350.9685199.75%44K20281.9506199.91%84K20443.8909799.93%164K20517.7854399.87%324K204715.6131199.87%644K205931.0655899.89%1284K209561.0575299.92%2564K2114120.5900099.87%测试2：4KIO大小随机读IOPS测试，寻址空间为500GB，LUN大小为512GB队列深度IO大小IOPS平均响应时间磁盘利用率14K2474.0300099.59%24K4834.1200099.82%44K9204.3300099.83%84K16604.8000099.83%164K28355.6300099.90%324K43687.3100099.90%644K440614.5200099.89%1284K479226.7000099.84%2564K489152.1300099.87%测试3：4KIO大小随机写IOPS测试，寻址空间为1000GB，LUN大小为1TB队列深度IO大小IOPS平均响应时间磁盘利用率14K18480.5267898.34%24K18431.0623099.72%44K18602.1333499.88%84K18494.3107499.83%164K18748.5232899.84%324K185617.2201399.83%644K186934.2182899.84%1284K190967.0156699.86%2564K1904133.8600099.89%测试4：4KIO大小随机读IOPS测试，寻址空间为1000GB，LUN大小为1TB队列深度IO大小IOPS平均响应时间磁盘利用率14K2264.3900099.45%24K4434.5000099.79%44K8584.6432899.82%84K15345.1900099.80%164K25866.1700099.79%324K39058.1800099.81%644K394816.2000099.86%1284K440029.0800099.84%2564K447356.9900099.81%测试5：4KIO大小随机写IOPS测试，寻址空间为2000GB，LUN大小为2TB队列深度IO大小IOPS平均响应时间磁盘利用率14K16460.5905997.89%24K16491.1989899.69%44K16572.3916599.80%84K16584.8089799.80%164K16619.6089699.84%324K165519.3089899.83%644K166538.4087799.83%1284K171674.5372799.84%2564K1719148.2900099.81%测试6：4KIO大小随机读IOPS测试，寻址空间为2000GB，LUN大小为2TB队列深度IO大小IOPS平均响应时间磁盘利用率14K2134.6700099.54%24K4144.8100099.75%44K7885.0600099.76%84K14265.5900099.75%164K23736.7300099.76%324K35299.0500099.83%644K357217.9000099.80%1284K399832.0000099.82%2564K408862.3600099.77%测试7：4KIO大小随机写IOPS测试，寻址空间为4000GB，LUN大小为4TB队列深度IO大小IOPS平均响应时间磁盘利用率14K14360.6816498.32%24K14331.3795499.61%44K14422.7497999.75%84K14405.5386199.70%164K144411.0548099.74%324K144222.1668499.71%644K144444.3006799.75%1284K148786.0253899.73%2564K1493170.7100099.70%测试8：4KIO大小随机读IOPS测试，寻址空间为4000GB，LUN大小为4TB队列深度IO大小IOPS平均响应时间磁盘利用率14K1915.2000099.47%24K3735.3400099.64%44K7195.5400099.68%84K12846.2100099.68%164K21297.5000099.68%324K312510.2200099.69%644K315420.2800099.70%1284K357435.7900099.73%2564K365469.7500099.67%数据分析测试需要定性和定量，因此在对测试出来的数据进行分析时，也需要进行定性和定量的分析，这样才能得出可对比性的结论。通过如上测试数据，我们可以得出如下测试结论：在IOPS测试的寻址空间不变的情况下，增加测试的队列深度，我们对测试3和测试4数据进行分析，可以得出如下线性图表。测试3线性图表如上图所示，在对寻址空间保持不变的情况下，进行4KIO大小随机写IOPS测试时，增加IOPS测试的队列深度，不难发现随着队列深度线性增长，其IOPS并没有发生明显的变化。相反，其平均响应时间会随着队列深度线性增长而呈现相应的线性增长状态，主要原因是由于队列深度在为1时，其磁盘利用率已经达到饱和状态，因此，增加队列深度只会造成对IO的响应时间的延迟。97.50%98.00%98.50%99.00%99.50%100.00%100.50%17001750180018501900195020002050210012481632641282564KIO大小随机写IOPS测试，寻址空间为1000GB，LUN大小为1TBIOPS平均响应时间磁盘利用率测试4线性图表如上图所示，在对寻址空间保持不变的情况下，进行4KIO大小随机读IOPS测试时，增加IOPS测试的队列深度，随着队列深度线性的增长，其IOPS也会呈现线性增长的趋势。但是，这种随着队列深度线性增长，其IOPS呈现增长的趋势也是有具有局部性的。从上班当中，我们可以看出当队列深度达到32之后，其IOPS已基本处于饱和状态，再增加其队列深度，IOPS并没有发生明显的变化，反而其响应时间呈现线性增长的趋势，其原因主要是由于存储（15*600G15KRPMRAID5）之后，其处理读IO请求的并行度为15，已经基本达到其并行处理请求的能力。在IOPS测试的队列深度不变的情况下，增加IOPS测试的寻址空间，综合以上测试数据进行分析，可以得出如下数据表和线性图标。测试9：4KIO大小随机写IOPS测试，队列深度为16寻址空间IO大小队列深度IOPS平均响应时间磁盘利用率500GB4KB1620517.7854399.87%1000GB4KB1618748.5232899.84%2000GB4KB1616619.6089699.84%4000GB4KB16144411.0548099.74%0.0000010.0000020.0000030.0000040.0000050.0000060.00000050010001500200025003000350040004500500012481632641282564KIO大小随机读IOPS测试，寻址空间为1000GB，LUN大小为1TBIOPS磁盘利用率平均响应时间测试9线性图表由上图很明显可以看出，随着寻址空间的线性增长，IOPS呈现线性递减的状态，其平均响应时间随着寻址空间的线性增长而呈现线性增长的趋势，其主要原因是由于随着寻址空间的增大，磁头在磁盘上读写数据时需要移动的距离就会变大，因此每次IO请求的服务时间就会变大。测试10：4KIO大小随机读IOPS测试，队列深度为16寻址空间IOPS平均响应时间磁盘利用率500GB28355.6300099.90%1000GB25866.1700099.79%2000GB23736.7300099.76%4000GB21297.5000099.68%测试10线性图表由上图可知，队列深度为16，4KIO大小随机读IOPS以及其平均响应时间与在随机写模式下呈现相同的0.000002.000004.000006.000008.0000010.0000012.0000005001000150020002500500GB1000GB2000GB4000GB4KIO大小随机写IOPS测试，队列深度为16IOPS平均响应时间磁盘利用率0.000001.000002.000003.000004.000005.000006.000007.000008.00000050010001500200025003000500GB1000GB2000GB4000GB4KIO大小随机读IOPS测试，队列深度为16IOPS平均响应时间磁盘利用率趋势。测试结论从以上测试数据和线性图标可以看出，在对存储进行虚拟化存储卷的规划(Lunsizing)方面，LUN划分的大小直接关系到存储的性能。而对于中青旅项目而言，后续在扩容存储时，通过以上测试数据和线性图表的综合分析，建议利用1TB的空间对存储进行虚拟化存储卷的划分(Luns