大数据解决方案探讨

大数据解决方案探讨张瑞刚Oracle议题常见的数据挑战大数据平台探讨Oracle相关技术简介案例与参考病人分析新市场分析业务/疗效/绩效风险管理!!!!!!收集和组织所有数据数据孤岛缺乏数据技能陈旧数据被电子表格淹没分析决策获取组织获取和组织信息的新型基础设施处理分析大数据如何推动您的业务将大数据集成到业务运营中架构方法能力要求将业务流程变更应用于更多细分群体和场景将新的数据源与分析平台集成快速应对不断变化的市场环境识别并利用客户的购买欲望带有预警功能的分析仪表盘社交媒体集成虚拟办公环境高管人员的快速反应与运营系统集成的移动BI平台改善企业决策信息及时提供随时、随地、任意设备实时数据复制业务驱动因素移动BI应用系统企业数据治理架构Oracle业务分析战略Oracle商务智能解决方案Oracle服务Oracle参考架构完整的分析能力一体化的分析应用所有数据所有数据源内部部署、基于云、支持移动应用大数据平台综合解决方案决策获取Exalytics大数据机Exadata决策分析组织获取HadoopNoSQL数据库混合列压缩高级分析分析应用内存中处理议题常见的数据挑战大数据平台探讨Oracle相关技术简介案例与参考大数据平台总体架构-概念视图企业数据中心(大数据)PeopleITSystem非/半结构化结构化实时应用离线应用开放平台正在发生什么？我应该怎么做？已经发生了什么？为什么会发生？未来可能发生什么？当前把信息与能力开放出去（平台化）PeopleDeviceITSystem非/半结构化结构化实时应用离线应用开放平台元数据等其他管理数据流数据新型大数据传统结构化数据大数据平台总体架构-概念视图数据中心管理存储/组织处理获取分析决定大数据平台总体架构–概念视图数据源实时流处理数据集成数据管理离线应用开放平台分布式大数据平台实时应用传统数据仓库平台基础设施（服务器、存储、网络）大数据平台总体架构–逻辑功能视图实时流处理数据集成分布式大数据平台抽取清洗转换加载搜集事件流处理（EventProcessing）引擎专家系统（ExpertSystem）（实时决策引擎）大数据存储与管理基础数据区xxxxxxxxxxxx访问与性能区汇总加工区传统数据仓库平台管理元数据数据质量管理任务调度与管理信息安全信息生命周期基础设施（服务器、存储、网络）分布式处理库内处理与分析离线分布式分析集成集成集成数据源家庭医院公共卫生设备/传感器HISLISPACSEMR/EHR社交/公共网站搜索/位置数据开放门户数据产品数据服务数据目录欺诈控制精准营销业务监控分析门户远程医疗报告与查询统计分析多维分析预测/挖掘仪表盘/预警搜索/探索可视化面向大数据的架构演进–挑战与应对•需求的不确定性•业务与IT的对齐•业务价值的度量业务•新技术的成熟度•新旧技术的融合•关联系统的升级改造技术•多样数据源的就绪•部门间的信息壁垒•数据的质量与安全数据•人员的技能储备与升级•制度、流程、预算、管理工具•合作伙伴与供应商能力其他分阶段、迭代式的架构演进与能力交付•GAP分析•优先级设定•演进路径与项目规划有效的架构治理与能力优化组织•确保架构演进；业务与IT的一致•规范化流程、框架、模型、技术、最佳实践•大数据能力使能与卓越中心•监控与度量传统IT系统面向大数据的IT系统建设业务需求数据模型架构设计开发集成测试运行维护变更请求选择数据源探索结果识别模式优化模型新问题一个问题假设区别于传统的IT模式也决定了无法一蹴而就的跳跃式演进需求驱动数据驱动当前架构与未来架构差距分析演进路径与项目规划优先级分析与设定中间状态中间状态PROJECTS&WBSPhaseI(2010)PhaseII(2011)PROJECTAPROJECTBPROJECTC实施内容与计划…演进方案其他输入与设定•公司战略•架构蓝图•架构原则•参考实现•治理原则分阶段的架构演进路径分析方法面向大数据的BI竞争力中心（BICC）一种面向BI优化的治理实践–独立的BI竞争力中心（BICC）业务部门IT部门&供应商竞争力中心（优化与服务）治理人员治理(需求到交付组织架构定义）流程治理（定义、计划、执行、监控）技术治理（标准化/架构、升级、供应商）数据治理（元数据、模型、数据质量、安全）培训、认证、知识共享、技术研究流程资产、流程优化、可充用组件等技术卓越中心（标准、最佳实践、评估、技术创新）数据架构设计、优化、配置管理•明确与制定企业BI战略和执行路线图•标准化BI活动从概念到执行的过程•整合最佳实践与各类基准测试•合理化和标准化技术采用•企业范围内共享BI基础设施和服务•整合、开发、巩固新的业务竞争力•技术跟踪与卓越中心•BI业务需求的一站式中心•IT部门与业务部门更好的协作•知识管理BICC：跨部门的联合实践团队，指导、优化、促进与治理企业范围内的BI活动，以提升BI的业务效用与价值。BI战略与路线图BI竞争力中心（BICC）组建框架–需要考虑的三个方面数据与基础设施DataandInfrastructureBI应用BIFoundation，PMApps使用、治理、BI能力中心Use，Governance，BICC管理优化ManagementProcesses运营优化OperationalProcesses业务战略BusinessStrategyGovernance（治理结构）Process（流程）People（人员）•领导/赞助者•目标、章程、制度定义•组织结构•资金来源•角色（领导、PM、培训、沟通）•技能（业务、技术、分析）•职责•绩效评估（KPI、奖惩等）•服务（标准定义、最佳实践、部署规范、质量、培训）•度量评估（业务/管理)•内部项目管理•沟通BI竞争力中心（BICC）组建框架–关于人员技能与组织模型CIOIT1BICCIT2IT3财务市场ITBICC业务技能分析技能IT技能公司战略需求与优先级业务流程统计与分析发现与探索实现变更与需求数据集成标识数据抽取数据建立需求监控结果分析需求应用优化解释分析结果数据科学BICC作为CIO领导的一个独立分支部门BICC作为虚拟的跨组织团队议题常见的数据挑战大数据平台探讨Oracle相关技术简介案例与参考Oracle集成解决方案获取OracleNoSQLDatabaseHDFSEnterpriseApplications组织Hadoop(MapReduce)OracleLoaderforHadoopOracleDataIntegrator决定AnalyticApplications分析In-DatabaseAdancedAnalyticsDataWarehouseOracle技术平台解决方案决策获取Exalytics大数据机Exadata决策分析组织获取HadoopNoSQL数据库混合列压缩高级分析极限性能分析应用内存中处理•18SunX4270M2Servers–48GBmemorypernode=864GBmemory–12Intelcorespernode=216cores–24TBstoragepernode=432TBstorage•40Gbp/secInfiniBand•10Gbp/secEthernetOracleBigData一体机–硬件配置•OracleLinux•JavaHotspotVM•ApacheHadoopDistribution•RDistribution•OracleNoSQLDatabase•OracleDataIntegratorforHadoop•OracleLoaderforHadoopOracleBigData–预装软件最大化企业大数据的价值•大数据软硬一体化解决方案•集成所有企业数据–结构化和非结构化数据–SQL和NoSQL•快速系统部署和上线StatisticsAdvancedAnalyticsData&TextMiningPredictiveAnalyticsOracle库内高级分析一体化分析平台OracleREnterprise•应用最广泛的统计语言和工具•集成数据库提升扩展能力•支持强大丰富的分析能力•R可以被内嵌在企业应用和OracleBIEE•探索性数据分析•更丰富的图形支持•支持所有开源R软件包•通过Oraclehadoopconnector可以与Hadoop集成Oracle数据挖掘•数据库内的自动化知识发现•12种库内挖掘算法•支持文本挖掘•预测性应用开发支持•ODMmodels的打分（scoring)在Exadata优化支持提升最大性能•易用图形化界面R数据库内分析的优势R传统分析Hours,DaysorWeeksDataExtractionDataPrep&TransformationDataMiningModelBuildingDataMiningModel“Scoring”DataPreparationandTransformationDataImportSourceDataDatasets/WorkAreaAnalyticalProcessingProcessOutputTargetSecs,MinsorHoursModel“Scoring”EmbeddedDataPrepDataPreparationModelBuildingOracle分析技术好处：•更快从“数据”获取“洞察力”•更低的费用-减少•数据移动•数据复制•数据安全性支持第三方数据挖掘模型的导入导出S节省OracleREnterprise计算引擎•R-SQL转换层把R功能转换成数据库内执行，充分利用数据库扩展能力•标准R的使用体验保持一致•扩展到扩展能力更大的引擎•轻松访问其他的多种数据源•利用数据库的SQL并行处理能力REngineOtherRpackagesOracleREnterprisepackages在桌面上使用REngine•数据库可以启动多个R引擎实现并•在OracleDB和R之间高速的数据传输1UsertablesOracleDatabaseSQLResults数据库计算引擎2REngineOtherRpackagesOracleREnterprisepackagesOracleDB调用用R引擎RResults3?xROpenSource架构和性能Seconds议题常见的数据挑战大数据平台探讨Oracle相关技术简介案例与参考案例：东南亚某国卫生部背景目标:通过引入天气变化模式，社交媒体等新数据来源，综合现有疾病控制信息等改进传染病预防工作。解决方案:在整体方案中利用大数据整合历史传染病数据，天气数据（来源于传感器）和社交媒体数据进行传染病暴发的提前检测和主动预防大数据@公共卫生速度容量类型价值101100101001001001101010101011100101010100100101历史案例数据社交网络传感器数据方案说明获取组织决定分析M/RCUSTOMERCUSTOMERNUMBERCUSTOMERNAMECUSTOMERCITYCUSTOMERPOSTCUSTOMERSTCUSTOMERADDRCUSTOMERPHONECUSTOMERFAXORDERORDERNUMBERORDERDATESTATUSORDERITEMBACKORDEREDQUANTITYITEMITEMNUMBERQUANTITYDESCRIPTIONORDERITEMSHIPPEDQUANTITYSHIPDATE企业大数据仓库库内数据分析利用R语义分析DecisionMaker1687历史传染病数据HDFSODI2345社交媒体数据传感器数据①将社交网络数据，传感器数据和历史数据加载到hdfs②使用M/R程序预处理数据，传送到edw③使用Hive(类sql)简化M/R程序④使用ODI将Hive数据同步至edw⑤OAA,使用R分析数据⑥OBIEE展示决策数据BigData在行动-公共卫生获取•历史暴发数据•从环境部获得天气传感器数据•通过关键词从社交媒体获得相关数据(例如洪水，高烧，登革热，蚊子