Mycat26亿单表分片案例及性能测试

项目XXX大中小规模性能测试报告1测试结果1.1小规模测试结果1.1.1测试场景小规模数据存量情况下，测试场景如下：数据库存量：6.5亿数据库分表：通过Mycat分库，3台物理机，共100个数据库，每个库一张表单表存量：平均650万（350万~900万）数据库索引：extend0（通过sensorgid和samplingtime计算获得，long型）读写分离：无网关数：10000吞吐量：1500条/s查询用户：10个用户并发查询，分10台电脑，每个电脑开打开1个客户端浏览器登录查询查询条件：定时查询，前一条记录查询结束后过2s，自动查询下一条记录，并实时统计平均值查询字段：extend0(通过sensorgid和samplingtime计算获得，long型)查询数据量：10000~200001.1.2查询测试结果在以上测试场景下，查询测试结果如下所示：表6.5亿测试结果序号DAO层查询后端封装网络传输前端解析绘图渲染总时间测试人179969108103781364hechengdong231271120325701105lizhijun38386891294111437panni4119061116293511747zhouxinghua56685855263331140wangjie69316274203621449xutianitan733670172234001001xuyongwang884561113203721411qilangye981967582354221925lishaoli1012095577213331695lijiangwei平均值794.764.2150.824.5393.21427.4单位：ms各阶段响应时间分布如下：1.2中规模测试结果2.2.1测试场景中规模数据存量情况下，测试场景如下：数据库存量：10.3亿数据库分表：通过Mycat分库，3台物理机，共100个数据库，每个库一张表单表存量：平均1000万（700万~1300万）16服务器40个分表每个分表1300W数据121服务器30个分表每个分表1000W数据142服务器30个分表每个分表700W数据数据库索引：extend0（通过sensorgid和samplingtime计算获得，long型）读写分离：无网关数：10000吞吐量：1500条/s查询用户：10个用户并发查询，分10台电脑，每个电脑开打开1个客户端浏览器登录查询查询条件：定时查询，前一条记录查询结束后过2s，自动查询下一条记录，并实时统计平均值查询字段：extend0(通过sensorgid和samplingtime计算获得，long型)查询数据量：10000~200002.2.2测试结果10.3亿测试结果序号DAO层查询后端封装网络传输前端解析绘图渲染总时间测试人156969119104101177hechengdong35767094103961146panni46816895243671235zhouxinghua5458545922322915wangjie6184657020390729xutianitan718968321274701075xuyongwang841458418193551264qilangye917764452394491181lishaoli109986081273741540lijiangwei平均值471.864.0189.922.0392.61140.2单位:ms各阶段响应时间分布如下：1.3大规模测试结果1.3.1测试场景大规模数据存量情况下，测试场景如下：数据库存量：26.1亿数据库分表：通过Mycat分库，3台物理机，共100个数据库，每个库一张表单表存量：平均2610万（1400万~3300万）16服务器40个分表每个分表3000W数据121服务器30个分表每个分表1400W数据142服务器30个分表每个分表3300W数据数据库索引：extend0（通过sensorgid和samplingtime计算获得，long型）读写分离：无网关数：10000吞吐量：1000条/s查询用户：20个用户并发查询，分10台电脑，每个电脑开打开2个客户端浏览器登录查询查询条件：定时查询，前一条记录查询结束后过2s，自动查询下一条记录，并实时统计平均值查询字段：extend0(通过sensorgid和samplingtime计算获得，long型)查询数据量：10000~200001.3.2测试结果26亿测试结果大规模性能测试序号DAO层查询后端封装网络传输前端解析绘图渲染总时间测试人1887131208234821731Xutiantian2972128210244901824Xutiantian321996240435891187LiZhijun421888210345191069LiZhijun557983130282921112panni688990152113911533panni7698113343103811545hechengdong8804113328103801635hechengdong936287433213371240qilangye1021893518113981238xuyongwang1152975272103781264xuyongwang1296691200283801665zhouxinghua1370085197253471354zhouxinghua141125120173253511794lijiangwei1558875122212621068lijiangwei16572676926250984WangJie1765072147686051542WangJie平均值645.694.5232.524.6401.91399.1单位:ms各阶段响应时间分布如下：1.4改进前后性能对比场景接入设备数据库存量(亿)吞吐量(条/s)查询用户查询记录数响应时间(s)目标小规模25006.482501250010中规模500012.965001250012大规模1000025.9210001250020实测优化前5000.125001720186测试1100006.515001010000+1.4测试21000010.315001010000+1.1测试31000016.510002010000+1.3测试41000022.510002010000+1.6测试51000026.110002010000+1.42总结从测试结果可以看出，通过性能优化后，一万个网关同时插入数据，当数据库存量在10亿以内时，吞吐量为1500条/秒，10个用户并发查询1万条记录的时间为1.1s左右；当数据库存量扩展到26.1亿时，吞吐量降为1000条/秒，20个用户并发查询1万条记录的时间为1.4s左右，完全符合预计的目标。