企业级大数据平台的需求

企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区企业级大数据平台实践第1课企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区炼数成金逆向收费式网络课程Dataguru（炼数成金）是专业数据分析网站，提供教育，媒体，内容，社区，出版，数据分析业务等服务。我们的课程采用新兴的互联网教育形式，独创地发展了逆向收费式网络培训课程模式。既继承传统教育重学习氛围，重竞争压力的特点，同时又发挥互联网的威力打破时空限制，把天南地北志同道合的朋友组织在一起交流学习，使到原先孤立的学习个体组合成有组织的探索力量。并且把原先动辄成千上万的学习成本，直线下降至百元范围，造福大众。我们的目标是：低成本传播高价值知识，构架中国第一的网上知识流转阵地。关于逆向收费式网络的详情，请看我们的培训网站专业数据分析社区课程介绍课程内容–本课程从平台管理、数据访问、数据可视化、数据安全等企业级数据平台视角全面审视大数据平台–以IBM商用大数据产品BigInsights为基础深入剖析商用大数据平台的企业级特性和应用实践课程提纲–第1课企业级大数据平台需求概览;BigInsights发展史与功能介绍–第2课企业级大数据分析平台架构专题:什么样的需求决定什么样的平台架构；BigInsights集群搭建–第3课如何构建安全的企业级大数据平台–第4课数据探索数据可视化专题：BigSheet–第5课成熟稳定的数据访问接口：BigSQL–第6课分布式机器学习算法库和运算框架：BigR–第7课解析自然语义的文本分析组件：TextAnalytics–第8课企业级大数据平台数据治理专题–第9课企业级大数据平台的平台管理：多租户与扩展文件系统–第10课企业级大数据平台设计实例:可解析自然语义的企业级舆情分析系统注意事项企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区第一课企业级大数据平台提纲企业级大数据平台需求概览–企业视角中的大数据–重点需求介绍IBM企业级大数据平台介绍–发展历史–BigInsights介绍企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区什么是大数据？什么是Hadoop？非企业用户视角：多种开源子项目组成的一系列新技术集合。企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区企业视角中的大数据平台传统数据仓库大数据基础平台集成的混合管理和访问平台集成的大数据基础平台应用层市场发展分析省级业务分析网络质量分析渠道分析行业应用分析客户体验分析手机应用分析社交网络分析情感分析互联网业务分析客户偏好分析智能终端分析CRMBOSSVGOPOSSDPI探针ERPCDRsSGSN/GGSN互联网WAP网关BSC／RNC…大数据交互平台实时数据流加载和分析平台批量数据加载工具并行批量数据加载平台集成的数据加载和预处理平台WLAN日志网络日志留存系统既有系统数据安全管理平台企业对大数据平台的定位1.对既有系统的补充−补充而非替换−集成：互联互通−功能扩展2.各种新技术的应用−分布式文件系统−分布式计算−NOSQL数据库−…3.拓展新应用领域−客户形象刻画−舆情分析系统−趋势分析−……企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区企业大数据分析平台的数据流向大数据平台功能•大数据存储•实时分析•大数据仓库&大数据集市•数据分析海量数据源高级数据分析全新应用领域认知运算自主学习规范化流程质量控制预测将要发生什么?统计分析统计结果数据导航数据资产流数据文本数据应用日志时间序列地理位置信息结构化数据社交网络数据视频、图像自动化生产流程智能事件管理高级分析应用商业智能云服务服务提供商应用实时预警企业级大数据平台企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区企业级大数据平台架构举例企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区企业级大数据平台需要什么？大数据基础平台的开放性,任何第三方的ISV都能基于标准Apache标准API进行应用开发和移植，保证应用的灵活性，避免长期的规划和建设被应用开发绑定基础平台的性能，高可靠性，提高运行的效率，减少运维的成本和日常维护工作。满足大数据时代的大数据量对于基础设施的性能的挑战基础平台与现有设施的集成融合性，开发的便利性。充分利用现有的投资，防止重复建设和降低成本。提供完整的标准的开发环境，方便ISV的开发基础平台的企业级高可用，安全性，保证数据的安全与合规，防止隐私数据的泄漏，进行有效的审计追溯企业级大数据平台企业级大数据平台的经营是一个规划中全新、但是实践需要一步一步稳步推进的长期的过程，总体方针为眼光长远，脚踏实地。需要考虑的包括以下重要事项:企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区Hadoop可以满足多数企业目前的需求•可靠性•高弹性•安全性•可包容各种数据源•可承载多种类型的应用•多用户共享资源平台•批量数据处理•在线历史数据查询•实时流数据处理高扩展非功能需求支撑多负载企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区Hadoop也可以满足企业对未来的期待•非内存计算框架•应用需要多次往磁盘写数据，IO操作非常频繁高性能内存计算部署的便捷性多工作负载•支持多种开发语言，包括Python,Scala,Java等•更多功能丰富的API(包括数据处理、机器学习、图计算等)•高性能分布式内存计算框架•管道操作、执行路径优化等多种方式优化性能•支持多种类型的工作负载，包括：批作业、交互作业、迭代算法、流数据处理等•需强大的JAVA开发支持•缺少数据分析可以直接使用的接口和功能•仅仅适用于批量作业•工作模式比较单一MapReduceSpark企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区小结企业客户看待大数据:–不仅仅是一些列新技术的集合，也包括如何与现有系统的应用与融合技术–Hadoop技术的应用带来新应用领域的拓展，数据可以产生新的价值企业客户对大数据的需求：–不仅仅是功能性需求，也强调可靠性、安全性等非功能性需求企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区第一课企业级大数据平台提纲企业级大数据平台需求概览–企业视角中的大数据–重点需求介绍IBM企业级大数据平台介绍–发展历史–BigInsights介绍企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区操作型数据数据仓库部门级的数据分析全新的数据分析任务数据处理、分析能力高高低数据辅助决策阶段•全量数据分析•非关系型数据处理•360度企业数据•数据探索和发现数据仓库阶段•数据湖泊•数据卸载•ETL工作流•历史数据归档和查询信息化初级阶段•数据处理成本低商业智能阶段•创建新的商业模式•预知业务风险•实时产品质量控制•提升操作分析效率•获客、客户挽留，精准营销等价值不同信息化阶段中数据分析的价值曲线图企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区BigInsights演进史Google发布MapReduce论文Apache创立MapReduce&HDFS项目发布CHD3发布BigInsightsHadoop起源于互联网，最初用于处理海量互联网数据。2004年2006年2010年2011年…发布BigInsightsV42015年商业化大数据产品必将推动Hadoop在企业中广泛应用！企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区IBM在推进Hadoop商业化的努力之一：ODPOpenDataPlatform的目标通过向目标受众提供一个定义明确的核心平台来加速BigData解决方案的交付。为兼容版的精选BigData开源项目定义、整合一个标准的“ODP核心”，并进行测试和认证。提供一个稳定基准，让BigData解决方案提供商能够对照基准证明解决方案合格。制作一套工具和方法，使成员可以基于ODP核心来创造和测试差异化的产品。强化ApacheSoftwareFoundation(ASF)在发展和监管上游项目中的作用。按照ASF流程和知识产权方针，推进ASF项目发展。支持社区发展和延伸活动，以便加快推出利用ApacheHadoop的现代数据架构。有助于将产业内存在的工作分散和重复的现象减至最少。OpenDataPlatformInitiative(ODP)是整个行业共同进行的一项行动，侧重推广和发展面向企业的ApacheHadoop和BigData技术。ODP：OpenDataPlatformInitiative企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区ODP联盟的创始成员企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区ODP内容介绍IBM参与理由？基于其对开源和发展共有核心的承诺确保与时俱进解决不同厂商提供的解决方案间的应用程序兼容问题OpenDataPlatform(ODP)与ApacheSoftwareFoundation(ASF)ODP支持实现ASF使命ASF提供开源软件开发的监管模式ODP旨在为Apache组件提供由厂商主导的统一封装模式标准的ApacheHadoop开源组件HDFSYARNMapReduceAmbariHBaseSparkFlumeHivePigSqoopHCatalogSolr/Lucene企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区IBM大数据分析平台功能集合IBM大数据分析平台功能集合基于IBMODP(IOP)的内核数据仓库能力PureDataforAnalytics,OperationalAnalytics平台集成和管理数据安全及合规Optim,Guardium数据集成和数据治理InformationServer企业级搜索引擎WatsonExplorer数据实时分析Streams数据统计和预测建模分析SPSS,BigR及机器学习算法包数据可视化、数据分析WatsonAnalytics,Cognos,BigSheets基于ANSISQL2011标准的数据访问引擎BigSQL企业级文件系统GPFS-FPO资源管理和工作负载管理多负载多租户文本分析能力海量文本数据处理企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区BigInsights功能要点–可视化与探索BigSheet20BigSheet可视化与探索•基于web的可视化与探索工具•支持直接访问BigInsights中的各类数据•通过内置文本分析功能自动由非结构化数据中抽取关键数据•支持对数据进行过滤、关联、汇总、公式计算等统计分析处理•支持对不同数据源的数据进行关联•统计分析结果可以通过表格、图形等方式进行可视化•支持将分析路径以工作流方式展示•支持将分析结果固化下来，形成长期运行的作业企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区BigInsights功能要点–SQL标准访问引擎BigSQL21BigSQL功能特点：•基于SQL2011标准的数据访问接口，支持子查询、汇聚(aggregates)等•支持通过SQL直接访问BigInsights中的各类数据：HDFS、HBASE、HIVE等•内置JDBC/ODBC驱动•完美的集成方案，充分利用原有技术的优势（Hive分区；HBaseRowKey，secondary索引等）•利用M/R的并行性，或保证数据访问低延迟性基于SQL的应用BigSQL引擎数据存储BigSQL客户端SQLMPP运行环境HDFSBigInsights企业级大数据平台实践第一版讲师廖安舟DATAGURU专业数据分析社区BigInsights功能要点–建模分析工具BigR在Hadoop上使用人们熟悉的R语言–运行本机R功能–现有R资产（密码和CRAN）在H