第六批大数据产品能力评测介绍

第六批大数据产品能力评测介绍姜春宇中国信息通信研究院云大所大数据技术主管大数据发展促进委员会办公室主任大数据产品能力评测发展历程截止第六批评测，已经有41家企业的55产品通过评测，完成88个测试。第一批评测华为、移动、星环、中兴、Ucloud的5个产品通过了大数据基准测试第二、三批评测8个产品通过了Hadoop基础能力评测，5个产品通过了性能专项评测第四批评测14个产品通过了基础能力评测第五批评测10个产品通过了基础能力评测，10个产品通过了性能专项评测，总共完成20次测试第六批评测29款产品通过了第六批大数据产品能力测评，总共完成36次测试20156-820165-8月20173月20176-10月20183月大数据产品能力评测体系大数据产品能力评测基础能力指标导向•Hadoop平台•MPP数据库•数据集成工具•数据管理平台•数据挖掘平台•商业智能（BI）分析平台性能场景导向•Hadoop平台•MPP数据库类别名称目前版本基础平台产品大数据产品Hadoop平台第1部分：技术要求1.0大数据产品Hadoop平台第2部分：基础能力测试方法2.0大数据产品Hadoop平台第3部分：性能测试方法2.0大数据产品MPP数据库第1部分：技术要求1.0大数据产品MPP数据库第2部分：基础能力测试方法1.5大数据产品MPP数据库第3部分：性能测试方法1.0数据管理产品大数据产品数据集成工具第1部分：技术要求1.0大数据产品数据集成工具第2部分：基础能力测试方法1.0大数据产品数据管理平台第1部分：技术要求1.0大数据产品数据管理平台第2部分：基础能力测试方法1.0分析工具大数据产品商务智能（BI）分析工具第1部分：技术要求1.0大数据产品商务智能（BI）分析工具第2部分：基础能力测试方法1.0大数据产品数据挖掘平台第1部分：技术要求1.0大数据产品数据挖掘平台第2部分：基础能力测试方法1.0应用和解决方案大数据解决方案用户行为数据分析第1部分：技术框架和指标体系1.0从2014年6月到现在，数据中心联盟大数据产品能力评测形成了基础能力和性能专项两类评测，基础能力覆盖6大类产品，性能覆盖2类产品，形成评测标准15项。第六批大数据产品能力评测数据测试数量6大类测试,36个测试项目36最大基础能力集群华为评测了大规模Hadoop平台基础能力评测，1000物理机节点集群规模达到5001个5001节点性能测试规模华为通过了300节点物理机性能评测新华三通过了200节点物理机性能评测300节点在2017年11月到2018年3月底，21家企业的29款产品通过了第六批大数据产品能力测评，共完成36个测试项目。性能最大数据规模大规模性能测试的测试规模为100TB100TB第六批大数据产品能力评测项目分布大数据产品基础能力评测大数据产品性能评测Hadoop平台MPP数据库数据挖掘工具数据集成工具数据管理平台商务智能分析工具Hadoop平台MPP数据库博宇通达星环星环科技电信云公司中兴永洪博宇通达星环科技国网亿利巨杉数据库中兴通讯中兴中软国际腾讯云国网亿利石化盈科南大通用南大通用新华三东方金信石化盈科华为(5001节点)电信云公司星环Datablau华为(300节点)联通大数据新华三(200节点)烽火科技联通大数据联想铁科院星环电信云公司航天信息星环科技Hadoop基础能力测试方法可用性运维管理兼容性功能安全多租户易用性扩展性Namenode主节点失效恢复自动化部署ODBC兼容性数据导入认证租户管理工作流创建集群动态扩展Datenode节点失效恢复资源监控JDBC兼容性SQL任务能力授权资源管理工作流管理集群动态收缩HMaster节点失效恢复作业监控SQL支持度NoSQL数据库加密资源隔离工作流监控RegionServer节点失效恢复集群操作传统数据库同步机器学习审计资源监控ResouceManager节点失效恢复故障管理跨不同数据库表关联操作流处理能力HiveServer失效恢复日志管理异构硬件兼容性HDFS备份恢复配置管理操作系统兼容性HBase备份恢复权限管理双集群互备无宕机升级运维管理节点失效及恢复Hadoop平台基础能力包括八大项：功能、运维、多租户、可用性、安全、兼容性、易用性、扩展性，总共44项测试用例MPP数据库基础能力功能运维安全扩展性可用性兼容性数据类型安装部署身份认证动态扩展测试关闭进程访问接口兼容性操作符资源监控加密快速扩展测试网络故障CPU兼容性函数服务管理审计扩容不中断业务整机宕机大数据体系兼容性DML操作会话管理权限缩容表连接查询作业管理备份子查询故障管理集群灾备表空间锁管理临时表动态诊断事件索引缓存管理事务支持用户管理自定义函数节点组管理存储过程存储分配管理查询工具分布及分区管理导入导出工具资源负载管理系统表/视图支持升级外部表集群间Dblink数据副本自动均衡MPP数据库基础能力认证包括六大项：功能、运维、安全、扩展性、可用性、兼容性总共49项测试用例数据集成工具测试用例数据清洗/转换作业/任务管理数据源目标源安全性运维数据映射（可选）作业管理和调度关系型数据库数据加载到关系数据库认证安装部署条件过滤串行作业调度配置大数据平台体系数据加载到大数据平台权限用户管理去除重复字段作业一键暂停（可选）文件数据加载到本地文件（可选）数据传输安全（可选）计算器（可选）作业监控实时数据源（可选）数据（字段）替换作业超时预警（可选）网页网站数据（记录）合并（可选）日志管理数据（字段）拆分数据连接/多表联合（可选）自定义规则（可选）清洗比对（可选）数据管理平台测试用例数据源管理元数据管理数据质量管理数据标准管理数据安全管理兼容性安全性其他其他功能储备数据源分类（可选）元模型创建规则设置及管理（可选）标准分类管理划分信息等级（可选）操作系统兼容性（可选）统一认证/用户管理易用性（可选）数据模型管理模块数据源配置元数据分类展示（可选）任务管理标准创建脱敏加密管理（可选）浏览器兼容性（可选）日志审计高可用性（可选）主数据管理模块数据源修改元数据搜索查询任务监控标准修改硬件兼容性（可选）角色授权可扩展性（可选）数据生命周期管理模块数据源删除元数据采集配置质量报告生成（可选）标准删除（可选）租户隔离高可靠性（可选）资产目录管理模块数据源授权（可选）元数据导出问题数据管理（可选）标准搜索查询数据资产价值评估数据源连接测试（可选）元数据详情标准导入数据资产运营流通数据源搜索查询元数据历史信息管理（可选）标准导出血缘分析标准版本管理（可选）影响分析标准执行落地情况查询（可选）元数据其他分析管理（可选）商务智能（BI）分析工具数据源分析功能展示功能报告功能集成能力安全性关系型数据库可视化模型设计一般图表报表设计器第三方应用整合系统传输安全大数据平台数据处理分析（可选）特殊图表类Excel设计（可选）通过URL将图表/图集页面嵌入到宿主应用页面登录攻击防护文本文件度量函数表达式（可选）图表属性设置报表函数运算（可选）动态数据权限过滤参数系统操作日志批处理、流处理（可选）算法建模（可选）GIS组件超级链接（可选）资源访问安全统一模型设置功能（可选）多种图形组合模型自动化更新刷新实时、可联动的数据监控与预警评测流程评测流程：认证报名，提交材料企业准备测试环境，测试专家现场审核，给出测试结论企业互评，客户专家与学术专家评审颁发通过证书评审流程：邀请评审专家用户方专家+学术专家+企业专家测试专家通报本次测试综述企业答辩企业互评，评审专家给出评审结论审核流程检查软件版本•检查组件版本•是否使用测试工具•组件列表明。数据检查•数据大小•对于表检查行数、列数•数据内容•建表语句•副本数•执行脚本。执行过程•清除缓存•任务正常执行•集群的资源使用情况结果检查•记录测试时间•检查结果是否执行正确。文件留存•关键jar包•执行脚本•执行日志。Hadoop和MPP数据库基础能力评测情况企业参评服务地点完成数量博宇通达Hadoop基础能力评测北京32项+6项+1项可选部分通过国网亿利Hadoop基础能力评测福州32项+10项石化盈科Hadoop基础能力评测北京32项+12项华为Hadoop基础能力评测（5000）西安32项+12项联通大数据Hadoop基础能力评测北京32项+12项烽火科技Hadoop基础能力评测武汉32项+11项联想Hadoop基础能力评测（年检）北京32项+11项星环Hadoop基础能力评测（年检）上海32项+11项航天信息Hadoop基础能力评测（年检）北京32项+11项企业参评服务地点完成数量星环MPP数据库基础能力认证上海25项+8项巨杉MPP数据库基础能力认证广州25项+12项+1项可选部分通过南大通用MPP数据基础能力评测（年检）天津Hadoop基础能力详细情况企业集群无宕机升级多租户资源监控和统计双集群互备运维管理节点HASQL支持度跨数据库关联操作国产操作系统兼容性博宇通达未测试√未测试未测试√未测试未测试国网亿利未测试√√√√√未测试石化盈科√√√√√√√华为√√√√√√√联通大数据√√√√√√√烽火科技√√√√√√未测试联想√√√√√√未测试星环√√√√√√未测试航天信息√√√√√√未测试MPP数据库详细测试情况序号测试项目星环巨杉数据库功能表空间（可选）√利用HDFS配额实现未测试临时表√未测试自定义函数√未测试存储过程√√JavaScript实现导入导出工具√√本地csv、json文件外部表（可选）√未测试集群间Dblink（可选）√未测试数据副本自动均衡（可选）未测试部分通过，删除副本，集群自动恢复管理运维锁管理（可选）未测试未测试动态诊断事件（可选）未测试√缓存管理（可选）未测试未测试节点组管理（可选）未测试√存储分配管理（可选）未测试未测试分布及分区管理（可选）未测试√资源负载管理（可选）未测试未测试升级（可选）未测试√兼容性CPU兼容性（可选）未测试未测试大数据体系兼容性（可选）未测试√可靠性备份（可选）未测试√集群灾备（可选）未测试√整机宕机（可选）未测试√扩展性快速扩展测试（可选）未测试√缩容（可选）未测试未测试数据挖掘工具和商务智能完成情况企业参评服务地点完成数量星环科技数据挖掘工具基础能力评测上海32项通过南大通用数据挖掘工具基础能力评测天津31项通过中兴通讯数据挖掘工具基础能力评测南京32项通过电信云公司数据挖掘工具基础能力评测北京32项通过企业参评服务地点完成数量永洪商务智能（BI）分析工具北京24项通过腾讯云商务智能（BI）分析工具北京24项通过数据集成和数据管理完成情况企业参评服务地点完成数量电信云公司数据集成工具基础能力评测北京23项通过中兴通讯数据集成工具基础能力评测南京22项通过新华三数据集成工具基础能力评测郑州24项通过星环数据集成工具基础能力评测上海22项+1项部分通过企业参评服务地点完成数量中兴通讯数据管理平台基础能力评测南京42项+1项部分通过Datablau数据管理平台基础能力评测北京43项+1项部分通过东方金信数据管理平台基础能力评测北京40项+2项部分通过中软国际数据管理平台基础能力评测北京39项+1项通过性能用例分布Hadoop平台性能专项认证包括SQL任务、NoSQL任务、机器学习和批处理四类任务，总共15个测试用例•SQL测试覆盖30TB数据规模•NoSQL测试有20亿条数据的读写SQL任务NoSQL任务机器学习I/O密集型任务数据并发导入Kmeans无监督聚类CPU密集型95%的读，5%的写SVM报表任务50%的读和50%的写分析型任务交互式查询测试环境组件配置台数CPU2*英特尔至强 E5-2620 v3 2.4GHz,15M 缓存32内存8*16GB RDIMM, 2133 MT/s 32硬盘10*1.2TB 10K RPM SAS 6Gbps 2.5英寸 热插拔硬盘2210*1.2TB 10K RPM SAS 12Gbps 2.5英寸 热插拔硬盘10网卡单口万兆网卡32交换机锐捷RG-S6220-48XS4QXS 万兆交换机1性能评测情况序号负载描述节点数数据量1SQLQu