曙光XData大数据产品介绍_102137

曙光XData大数据产品介绍解决方案中心计算决定未来2大象•扩展性好•成本低•单机性能差•关系型数据库支持差铁人•一体化设备•扩展性差•价格昂贵计算决定未来3曙光自主代码开源实现在开源基础上改进商业产品XData-Hadoop管理组件分布式存储系统(HDFS-2.0/P200)非结构化数据库(Hbase-0.94)数据仓库(Hive-0.10)数据挖掘工具(Mahout-0.7)数据传导器(Sqoop-1.4)海量日志收集器(Flume-1.3)协同工作服务(Zookeeper-3.4)类SQL编译器(Pig-0.10)任务调度器(Mesos-0.13)开源关系数据库(PostgreSQL-0.92)商业关系数据库(Oracle-8i/9i/10g/11g)统一编程接口(XJDBC/JDBC/ODBC)类SQL编译器(SQL++)图形化任务流(UDF-1.0/Oozie-3.3)全文检索器(Katta/Lucene)并行处理框架(Map/Reduce)并行执行引擎XData大数据处理基础平台-v1.0多数据转换器(SETL)大数据专用数据服务器XData-Hadoop大数据软件计算决定未来4•高密度云存储节点(5U80盘)1.基于XEON处理器的存储服务器产品；2.机箱采用上开盖，竖插硬盘方式；3.整机深度800mm，可用于普通机柜；4.每U15块3.5”硬盘，业内密度最高的可热插拔服务器存储计算决定未来5应用程序XDataAPI接口（XJDBC）连接管理数据驱动日志模块预处理加载计数器连接池管理加载服务连接管理数据驱动日志模块类SQL分析分发执行连接池管理查询服务结果汇总连接管理数据驱动日志模块事务缓存管理连接池管理配置服务事务执行数据同步负载均衡服务管理日志管理认证管理系统监控安装部署系统管理HDFS数据节点/数据库节点HDFS数据节点/数据库节点HDFS数据节点/数据库节点HDFS数据节点/数据库节点元数据库存储划分参数设置索引管理模式定义分区管理对象管理元数据管理DIM管理工具管理API元数据库SQL++工具自定义请求计算决定未来6并行任务流执行控制计算定义和请求描述数据转换和迁移数据关联加载技术数据划分和存储组织•任务流执行同步控制技术•任务间数据划分和传输控制•大表关联和嵌套查询•数据划分到文件的映射•数据模式定义和解释•计算语义的预定义技术•SQL/MR作业的级联和关联•混合任务流描述和解析•结构化/非结构化数据转换技术•并行处理内部隐式数据转换•据导入导出和数据迁移技术•DB/Hadoop数据模式映射•多源关联数据导入HDFS*13245计算决定未来7•1.统一编程接口•ETL•SQL++•2.SQLonHadoop•3.数据仓库功能增强•元数据统一管理•并行执行控制•4.分布式存储系统•5.任务流控制•图形化任务流•6.Hadoop图形管理系统HDFS/HBase/Hive增强Hive增强替代HDFS替代Oozie替代AmbariHive/Pig增强计算决定未来8•直接面向用户，让用户方便地使用XData，提供标准接口，保持用户原有习惯Oracle/PGHDFSHBaseHive数据定义服务加载服务查询服务ICE中间件数据定义专用接口加载专用接口查询专用接口统一对外编程接口SQL++其他支撑工具计算决定未来9XData的命令行工具，XData平台的入口之一，类似于oracle的sqlplus为用户提供快捷方便的使用途径，不需要写代码，直接输入sql语句就可以执行方便地定制显示格式批量执行脚本中的命令结果可保存到本地文件计算决定未来10Oracle/PGHDFSHBaseHive抽取转换工具加载服务加载工具本地文件数据库、HDFS、Hbase、Hive的相互转换本地文件的快速加载计算决定未来11关键功能：预定义和自定义FUNCTION分区条件过滤限制数据量结构化与非结构化关联多任务级联计算决定未来12•并行执行控制计算决定未来13元数据模块并行查询执行框架加载服务元数据查询服务控制配置服务数据定义服务统一的客户端访问接口（类JDBC接口）统一的数据访问驱动数据库Hadoop其他类型数据服务管理负载均衡备份恢复容错管理系统图形化管理工具日志管理SQL*结果创建对象记录数据计算决定未来14元数据库:存储数据仓库里所有的各种表与分区的结构化信息通常存储在关系数据库(MySQL,Derby).计算决定未来15元数据:维护HDFS文件系统中文件和目录的信息。存储在文件系统中，由NameNode来维护。计算决定未来16计算决定未来17•图形化任务流处理技术（在研）计算决定未来18PAAS平台一体化集成平台统一调度平台应用开发平台运维设备监控服务监控运行监控统计报表告警管理调优诊断自维护软件部署服务管理配置管理节点管理运行数据查询数据转换任务流作业编写作业提交作业调度数据导入作业监控文件浏览文件上传文件下载文件编辑运用移动终端Portal数据可视化数据分析计算决定未来19一键式快速安装多维度系统监控全方位故障诊断集中式便捷管理XDataBSM产品套装为我们带来了什么？计算决定未来20软件部署服务管理节点管理向导式安装一键式安装一键式卸载服务启停高可用管理角色配置节点扩容删除节点节点服务监控节点设备监控服务运行监控第三方监控集成告警报表配置管理状态告警阈值告警邮件告警统计报表趋势报表对比报表参数配置配置同步配置备份调优诊断日志分析审计日志推荐参数计算决定未来21提供一键安装和向导安装两种方式，助您轻松完成复杂的安装过程：向导式安装：根据向导按步骤的定义相关配置，即可完成复杂系统的安装过程。一键式安装：只需上传xls文件，即可一键完成安装，让您的安装过程轻松自如计算决定未来22提供完善的管理功能，可以为大数据软件的各种组件提供图形化的：服务启停角色配置增删节点高可用设置复杂的操作、复杂的集群，通过轻点鼠标，即可快速完成计算决定未来23XData提供全面的监控功能，支持各个层次软硬件的监控：设备监控：提供各物理节点的状态、部件的基本信息监控。组件监控：提供大数据各组件HDFS、MapReduce、HBase、Hive等服务的监控集群监控：提供集群整体性能、状态监控监控全方位、多层次，让你对系统的运行一览无余。计算决定未来24Gridview告警引擎系统监控数据仓库告警策略数据库Gridview统一告警平台告警策略定义人员声光告警短信告警邮件告警短信发送设备发送策略定义告警关联管理业务人员管理消息模板管理声光显示条件邮件短信控制计算决定未来25可用性反应系统各层级设备、应用、软件的当前可用性、历史可用性、资源使用情况等评估预测单指标历史趋势和多指标融合对比，反应系统各个层面状态，预测系统问题挖掘基于应用特性分析，优化配置应用和资源计算决定未来26为用户提供易用的调参工具，针对不同的应用快速调整参数，以使得系统处于最佳运行状态。计算决定未来27为用户提供快速的日志定位查询功能，帮助用户准确定位故障的来源，迅速排除各组件的故障。计算决定未来28HDFS文件浏览、上传、下载、在线编辑Mapreduce作业/任务编写、提交、调度、监控Hbase/Hive表的增删管理、数据查询图形化任务流工具数据导入、数据导出等批量图形化工具数据抽取转换等ETL工具计算决定未来29XData提供全面的基于WEB的文件管理功能，可以轻松实现基于WEB对文件进行上传、下载、浏览、查询、编辑等功能。计算决定未来30XData提供基于WEB的MapReduce作业提交、调度、作业级任务级监控功能。祝您轻松完成Hadoop作业管理。计算决定未来31XData提供基于WEB的Hbase/Hive表、数据的创建、删除、修改，查询功能，所有操作借助图形界面轻松完成。计算决定未来32XData提供了Hadoop各组件的设计、浏览、管理、监控等WEB图形化工具，让开发人员使用运行Hadoop轻松惬意。计算决定未来33一体化的运维、运行、运用功能插件式的一体化软件集成平台应用开发平台统一调度平台一体化集成平台应用模板应用PortalIDE插件MPI和Hadoop统一调度计算决定未来34Q3’13Q4’13Q1’14Q2’14Q3’14Q4’14789101112123456789101112Hdfs-2.0.01.自动分级存储2.元数据集群（节点数可达128台，可存储400亿以上文件）3.元数据HA（两两互备，30秒内可完成切换，业务不中断）4.N+M数据布局（利用率可达80%-94%）5.存储浏览功能Hbase-0.94.21.支持对处理结构化数据2.UDF引擎支持结构化数据处理3.SQL92大部分支持1Co-processor改进，提高数据持续写入性能2多线程flush优化，异步flush优化，3应用级分区+regionserver预分配策略1.支持数据表跨数据中心2.表内容直接浏览功能Hive-0.10.01.自定义业务流提交和执行2.多组件联合的数据处理综合业务流3.表内容直接浏览功能Flume-1.3.0Mahout-0.7Sqoop-1.4.2Zookeeper-3.4.5Pig-0.10.0定期与社区保持同步Hadoop管理系统-1.0MapReduce1.JobtrackerHA实现1.数据传输和迁移功能增强2.模式转换功能1.基于WEB界面的上传下载功能2.MR作业提交、任务监控3.Hbase/Hive表浏览及查询、增删4.应用portalHadoop管理系统-2.01.图形化任务流2.数据访问监控3.数据访问工具集4.数据可视化计算决定未来352013Q42014Q12014Q22014Q32014Q42015Q12015Q2101112123456789101112123456V4.2:通用结构化/非结构化数据存储和处理中间件ZHX应用定制，形成专门日志分析应用版：研发日志抓取、格式化、加载、统计、展示、用户行为分析等工具。面向日志分析和用户行为分析类应用XHS项目定制，形成新媒体行业专用版：关键词、标签、分类聚类等新闻话题内容处理工具集，面向内容检索和舆情分析类应用GJY广电项目定制，形成广电行业专用版：含用户日志和行为分析，图像特征化提取工具，图像和视频存储和检索工具包，面向广电行业多种应用类型V4.3:系统HA增强，性能优化，集成各类数据（文本、图片、音视频）分析挖掘工具包，应用迁移转换ETL工具增强，集成可视化工具包，支持更多组件服务于服务于服务于通用一体机完善计算决定未来36XData高性能易使用高可靠易维护成本低可定制通讯地址：北京市海淀区东北旺西路8号中关村软件园36号邮政编码：100094联系电话：[phone]微博：:[e-mail]网站(web)：