最全的大数据解决方案105

1©Cloudera,Inc.Allrightsreserved.ClouderaEnterpriseIntroduction--FromHadooptoEnterpriseDataHubPresenter’sName|Position2©Cloudera,Inc.Allrightsreserved.提纲•数据正在驱动行业的发展•以Hadoop为核心的大数据平台•企业数据平台（EnterpriseDataHub）•ClouderaEnterprise•CDH•ClouderaSecurity•ClouderaManager•ClouderaDirector•ClouderaSupport•总结3©Cloudera,Inc.Allrightsreserved.物联网及智能终端数据用户交互行为数据企业运营数据无所不在的数据数据正成为企业的核心资产，数据可以帮助企业实现商业价值。4©Cloudera,Inc.Allrightsreserved.数据价值挖掘体量大速度快多样性价值密度低日志社交数据用户行为机器数据图片音频视频传感器运营数据…Value更好地理解并服务客户精细化运营管理个性化医疗健康服务公共事业服务安全和合规性检查用户标签行为分析文本分析情感分析图片分析音频分析轨迹分析…5©Cloudera,Inc.Allrightsreserved.DataSourcesDataSystemsDataAccessBusinessAnalyticsCustomApplicationsExistingDataDatabases/WarehouseOperationalApplicationsNewDataLimitedDataNotefficienttokeepexistingdata,letalonehandlenewdatasources.Timeconsumingtotransformdataforanalysisinexistingsystems.LimitedInsightsPowerusersstrugglewithdata.Manyusershavenodata.ComplianceandPrivacyMoredata,moreusers,andmoretoolscreatecomplexity.Needtobalancebusinessagilitywithsecurityandgovernance.传统架构的劣势6©Cloudera,Inc.Allrightsreserved.DataSourcesDataSystemsDataAccessBusinessAnalyticsCustomApplicationsExistingDataDatabasesOperationalApplicationsNewDataKeepUnlimitedDataFromdisparateandlimitedviews,tounlimitedinformationaccess.UnlockValuefromDataFromanalyticsforsome,toinsightsforall.ManageComplianceFromriskduetoregulationsandcustomerprivacyconcerns,totrustinasecureandcompliantplatform.EnterpriseDataHubSecurityandAdministrationUnlimitedStorageProcessDiscoverModelServe亟需新的数据平台架构7©Cloudera,Inc.Allrightsreserved.Cloudera创立成立于2008，企业级Hadoop产品提供商员工数量超过900名全球支持24x7全球支持创新的主动支持和预测支持项目客户群全行业客户(金融、电信、零售、能源、互联网、媒体等）各行业的顶尖企业都有ClouderaEnterprise部署强大的产业链数百个生态链合作伙伴;ClouderaConnectProgram(CCP)培训和认证超过80,000管理员、开发者等受训；最有价值的大数据证书开源领导者Hadoop及其相关生态项目的绝对领导者，和Intel合作加速企业数据中心的革新Cloudera中国2014年9月成立，上海是大中华区总部，负责产品培训、专业技术服务和产品支持，在北京和广州有本地支持8©Cloudera,Inc.Allrightsreserved.Cloudera和Hadoop生态•Cloudera是Hadoop项目的最大贡献者，同时也是No.1的Hadoop发行版提供商•Hadoop平台标准化的领导者•数据采集–Flume,Sqoop•数据存储–HDFS,HBase,Avro,Parquet•数据处理–MapReduce,Spark,Hive•数据分析–Impala,SolrJIRAContributions,Source:ApacheJIRAJanuary2012–February201552%HortonworksIBMMapRMicrosoftPivotalDatabricksProjectsIncluded:AccumuloAvroBigtopCrunchFlumeHadoopCoreHBaseHiveKafkaMahoutOoziePigSolrSparkSqoopTezZooKeeper9©Cloudera,Inc.Allrightsreserved.Cloudera产品和服务•ClouderaEnterpriseCloudera提供了100%开源的，开放标准的ApacheHadoop发行版（CDH）让Hadoop真正进入企业级应用的ClouderaManager和ClouderaNavigator提供虚拟化和云化大数据方案的ClouderaDirector•业内最权威的Hadoop技能培训和认证•深耕于开源社区的专业技术支持团队和产品支持团队ClouderaEnterprise按年订阅Hadoop认证培训专业技术咨询与服务产品支持10©Cloudera,Inc.Allrightsreserved.ClouderaEnterpriseSystemandDataManagementProcessIngestSqoop,Flume,KafkaTransformMapReduce,Hive,Pig,SparkDiscoverAnalyticDatabaseImpalaSearchSolrModelMachineLearningR,SparkMllib,MahoutServeNoSQLDatabaseHBaseStreamingSparkStreamingUnlimitedStorageHDFS,HBaseYARN,ClouderaManagerClouderaNavigatorDeploymentFlexibilityOn-PremisesAppliancesEngineeredSystemsPublicCloudPrivateCloudHybridCloud完善的企业安全策略•身份认证，授权，审计，数据安全•数据可管理性开放标准•100%开源Hadoop及其相关组件•3rd标准的软件集成•开放API•标准云服务集成统一平台•数据导入导出•可扩展存储•多样化的处理引擎•安全•资源管理•元数据管理11©Cloudera,Inc.Allrightsreserved.企业级数据平台•稳定性严格的测试被客户和开发者证明开源的模式•易用性标准的API（Java,SQL,Python,Rest）标准的工具集成（MS,Qlikview,Tableau,Teradata,Netezza,Quest…）一站式管理解决方案•安全性企业安全标准集成统一的访问安全控制全面的数据保护，密钥管理•可管理性部署、管理、监控、警告•可治理性数据溯源数据发现数据生命周期管理•灵活性不同的问题可以有不同的技术选择•性能高吞吐的NoSQL存储原生的大规模数据处理引擎内存计算为X86平台做的原生优化12©Cloudera,Inc.Allrightsreserved.TheOpenSourcePlatform-CDH13©Cloudera,Inc.Allrightsreserved.最具创新的开源核心CDH–ClouderaDistributionforApacheHadoop•100%开源且开放标准的Hadoop核心数据采集多样化的可扩展存储资源（负载）管理框架灵活多样的处理引擎全面的安全技术体系易用的Hadoop交互界面WorkloadManagementProcessIngestSqoop,Flume，KafkaTransformMapReduce,Hive,Pig,SparkDiscoverAnalyticDatabaseImpalaSearchSolrModelMachineLearningR,SparkMlib,MahoutServeNoSQLDatabaseHBaseStreamingSparkStreamingUnlimitedStorageHDFS,HBaseYARNSentry14©Cloudera,Inc.Allrightsreserved.CDH•CDH全球最流行的Hadoop发行版最完整且稳定的版本，经过严格的行业检验具有最快的更新，更多新的功能方便开发者和集成商使用Hadoop•和其他一些Hadoop发行版提供商对比Cloudera做Hadoop开发的，其他厂商仅是做Hadoop集成或CDH集成和Hadooptrunk最快的同步，能保证业务的前向兼容性；其他厂商在Hadoop上做的定制优化或修复，无法保证兼容性所有组件的开发和专业支持能力，其他厂商也仅仅跟随Cloudera包含的版本进行集成，缺乏问题修复和专业支持能力15©Cloudera,Inc.Allrightsreserved.HDFS分布式文件系统灵活性多样化数据的统一存储可扩展性良好的线性可扩展性高容错性设计之初就考虑了高容错性开放性存储的数据格式和内容完全可见适合大文件的顺序读写,写一次读多次EnterpriseDataHubSecurityandAdministrationProcessUnlimitedStorageDiscoverModelServe16©Cloudera,Inc.Allrightsreserved.ApacheHBase构建在分布式存储上的NoSQL数据库和HDFS紧密结合，适合高并发随机读写具有分布式存储的所有优点灵活性多样化数据的统一存储可扩展性良好的线性可扩展性开放性存储的数据格式和内容完全可见+在线数据服务EnterpriseDataHubSecurityandAdministrationUnlimitedStorageProcessDiscoverModelServe17©Cloudera,Inc.Allrightsreserved.ApacheKafka•每个节点称为Broker•数据以Topics方式写入Kafka•每一个Topic都可以被分片•分片分布在Broker上•分片可以有多个副本，其中一个为Leader•Producer,Consumer都与partition直接进行数据交换Broker1Broker2Broker3Partition1(Leader)Partition2Partition3Partition2(Leader)Partition1Partition3Partition3(Leader)Partition1Partition2ProducerProducerConsumerConsumerKafkaCluster18©Cloudera,Inc.Allrightsreserved.Kafka+ApacheFlume•Kafka可以被配置为Flume的C