中国邮政大数据平台SAP方案v0

中国邮政大数据平台SAP方案建议SAP中国©2015SAPSE.Allrightsreserved.2议程邮政大数据平台业务需求以及SAP理解SAP大数据解决方案数据交换平台数据仓库平台数据管控平台数据的展现与可视化项目实施整体规划SAP大数据平台的相关案例邮政大数据平台业务需求以及SAP理解©2015SAPSE.Allrightsreserved.4企业数据成熟度分析，每提高一个成熟度，将带来巨大的业务价值无知不具备大数据功能应对只有部分关键绩效历史数据分析，无统一标准了解监测现有业务的整体运行状况，一定的业务预警功能管理具备一定的预测洞察能力，对特定业务领域提出改善业务绩效的行动建议创新大数据技术与业务运营融合，利用大数据预测成果自动优化和提升业务业务场景成熟度大数据发挥的业务价值最难跨越的阶段目前阶段©2015SAPSE.Allrightsreserved.5中国邮政大数据平台建设的总体要求云计算落地应用企业数据归集全企业数据支撑推动企业数据治理支撑数据分析提高数据利用率实现大数据、云计算等新技术的落地应用，为其他系统建设探索经验，开启邮政云时代建立企业级数据中心，实现企业数据统一归集，促进企业数据共享，成为企业唯一真实数据来源促进企业数据共享机制建立，为生产、经营、管理、决策提供数据服务5构建企业数据管控体系，实现邮政数据安全、标准和质量的集中管理，固化数据管控流程，推动企业数据治理。统一整合企业内外部结构化、半/非结构化数据资源，提高企业数据利用率。推动大数据分析，挖掘邮政数据潜在价值，为企业战略决策、业务协同、风险管控等提供有力支撑。©2015SAPSE.Allrightsreserved.6提高数据成熟度，发挥大数据价值，应从五个方面入手大数据场景人员、技能和文化数据治理信息和应用架构标准和流程建立数据场景或KPI体系组织架构创新，以适应大数据发展需要进行数据质量、元数据治理建立统一的可扩展大数据分析平台数据流程和制度标准化©2015SAPSE.Allrightsreserved.7邮务数据源速递、物流数据源金融数据源ERP数据源邮政外部数据源非结构化数据源其它系统数据源流数据(ESP)数据复制(SRS)ETL(DataServices)ESB(PI)数据管控平台主数据治理(MDG)元数据管理(信息管家)数据质量管理(DataQuality)数据标准管理数据安全管理企业级数据仓库平台A-CRM数据源SAPHANA分析SAPBusinessObjectsBI探索,仪表盘,报表,图表,可视化SAPLumira数据分析与可视化SAP移动平台(BIMobile,MobileApplication)SAPPredictiveAnalysis预测分析中国邮政大数据平台建议架构数据交换平台历史数据、非机构化数据Hadoop分布式文件系统HivePigSpark扩展数据层（冷存储）结构化历史数据扩展表磁盘数据结构化实时数据热表扩展存储(定义)SDAvUDFVoraODS、EDW＆DataMart温存储（动态分层）热存储（内存计算）数据老化自动搬移DLM量收数据©2015SAPSE.Allrightsreserved.8SAP建议数据平台的主要特点广度良好的产品覆盖度深度以内存计算为核心，打造实时型企业开放与集成与开源产品紧密集成，具有良好延展性HANARDS(快速实施服务)●SAP产品能够覆盖邮政大数据平台的几大功能模块●SAPHANA－同时满足企业数据仓库的ODS、EDW和DataMart的需求●部署方式灵活：企业预置型与云部署●SAP在全球有大量的实施案例●以内存计算为核心的大数据处理平台●基于HANA简化企业EDW的复杂度●SAP在内存计算领域排名第一●大数据领域软件供应商的领导者●理念领先，互联网+与工业4.0的主要倡导者●能够提供基于产品的快速部署和开发服务●遵循业界通用的接口与开发标准●支持开源的数据处理技术，如Hadoop●能够与Hadoop/Spark等进行深度的技术j集成●可结合开源产品实现邮政集团数据生命周期管理借助SAP提供的全面解决方案，中国邮政可构建敏捷、高效能的大数据平台，从而消除业务复杂度，提升企业整体洞察力数据交换平台©2015SAPSE.Allrightsreserved.10邮政大数据平台整合给类型数据源数据抽取数据清洗数据合并数据排重等操作金融板块数据源速递物流板块数据源邮政板块数据源ERP数据源邮政外部数据源各类非结构化数据源结构化数据非结构化数据非结构化数据读取解析邮政企业级数据仓库©2015SAPSE.Allrightsreserved.11SAP的数据服务方案全面考虑数据集成,数据质量管理,数据切面及非结构化数据获取问题支持访问全部关键业务数据(任意数据源,类型和领域),一体化平台全面解决数据的清洗、排重、归并、衍生、合并、统计、汇总等一系列数据加工问题结构数据非结构数据一个运行时架构及一系列服务业务界面统一的元数据技术界面数据服务解决方案包数据抽取数据质量数据切面文本分析统一的管理环境(调度,安全,用户管理)一套源/目标各类型数据库：OracleDB2SybaseASESybaseIQSQLServerInformixMySQLTeradataHPNeoViewNetezzaODBCSAPHANA全面接口支持各类型技术接口：TextdelimitedTextfixedwidthEBCDICXMLCobolExcelHTTPJMSSOAP(WebServices)JSON©2015SAPSE.Allrightsreserved.12SAPBusinessObjectsDataService——性能强劲的执行引擎使用便捷的开发工具所有的任务在统一的图形界面开发易于使用，拖拽界面内带数据预览、结构分析、清洗和调试交付可信赖的信息集成数据质量管理跨越BI环境的元数据管理端到端冲突分析简化变动管理性能强劲的执行引擎通过高性能并行架构支持网格计算最好的企业应用连接性实时和批处理数据整合Designer(Windows)Administrator(Web)Request-ResponseAccessServerReal-timeServicesJobServerandEngineHeterogeneousDataSourcesHeterogeneousDataTargetsWebApplicationsLocalRepositoryCentralRepositoryDataIntegrator©2015SAPSE.Allrightsreserved.13SAPSRS（SAPReplicationServer）复制数据HANAODBC•SAPSybaseASE•Oracle•MSSQL•IBMDB2/UDBSAPSybaseReplicationServerforHANADBDBDBHANALANWANHANAHANASAPSybaseReplicationServerforHANA数据仓库平台整体框架©2015SAPSE.Allrightsreserved.15真正实现“实时”，业务洞察力SAPHANA实时，可信的数据实时业务实时应用内存数据库SAP商务套件ERP/CRM等等…HadoopHDFS其他信息系统基于（DB2SybaseOracleSQL-Server）实时复制实时分析BI客户端工具第三方查询工具SQLMDXBICS数据抽取实时复制/数据抽取什么是SAPHANA？SAPHANA™是一个先进的平台，使用内存计算技术来实现企业应用数据驱动业务，在大数据下实现实时处理简化IT的系统部署，可通过云方式交付SAPHANA为企业带来的好处创新平台，并且在应用中不会中断原有系统应用，实现大量数据的高速处理提供实时访问，实时复制服务和数据集成功能完整和即时的洞察力与灵活的数据计算引擎，提供预置的报告和分析模型简化IT架构，多用途的内存计算平台减少数据处理层次©2015SAPSE.Allrightsreserved.16ON-PREMISE|CLOUD|HYBRIDSAPHANA平台基于HANA的大数据平台SpatialGraphPredictiveSearchTextAnalyticsPlanningDataEnrichmentSeriesDataFunctionLibraries处理服务WebServerJavaScriptFiori用户界面GraphicModeler应用服务ALMApplicationLifecycleManagement列存储内存数据库OLTP+OLAP多核大规模并行计算高级压缩多租户动态分层存储数据库服务高可用性和灾难恢复开放的标准数据模型DataVirtualizationELT&Replication集成服务HadoopIntegrationStreaming(CEP)RemoteDataSync©2015SAPSE.Allrightsreserved.17现状:大数据平台数据规模庞大，数据增长速度快，且数据类型多样（结构化、非结构化）。今后可能会集成更多的外部数据050010001500200025003000初始201520162017中国邮政大数据平台数据量增长趋势DataVolume(TB)大数据平台的数据温度管理策略数据管理策略（由业务应用主导定义）SAPHANA热数据实时数据HANA动态分层温数据＆历史数据数据仓库＆分析型业务应用:•更高效地管理海量数据，降低整体拥有成本•HANA与温数据层、扩展数据层深度集成，提升系统性能•一体化的数据管理品台，降低系统复杂度•高度可扩展的架构Hadoop&Spark扩展数据•频繁访问数据•实时计算数据•历史数据•相对复杂的计算与查询•非活跃数据•海量非结构化数据•非复杂的分析计算热数据SAPHANA温数据HANA动态分层扩展数据HadoopSpark数据移动DataLifecyclemanager©2015SAPSE.Allrightsreserved.18HANA大数据平台的数据存储层如何有效区别各数据层次内存管理操作类型日常运行的业务应用，分析操作和统计报表实时分析复杂的分析、预测等密集型计算数据特征当前活跃数据信息单位价值高的业务数据管理数据量管理数据规模在几十个TB量级Hadoop企业级海量数据存储低成本的数据存储、通用硬件高度灵活、可扩展架构数据特征大量非结构化/半结构化数据，社交媒体和邮政外部数据非活跃，批量处理数据信息单位价值相对不高的业务数据数据移动（同前）管理数据量管理数据规模可达到PB级动态分层HANA的磁盘级处理引擎数据特征历史数据为主近实时的分析场景信息单位价值较高的业务数据数据移动（DataLifecycleMgt.）定义数据分割/分区策略按照规则在内存和硬盘引擎间移动数据管理数据量管理数据规模在几百个TB以内SAPHANASAPHANAHANARAMDT数据的温度是随时间动态变化的，而且并不是同类型数据只存在一个存储空间，要看具体的业务场景和数据价值，比如实时数据不只是在温存储中，也可以在HANA内存中，HANA也有处理时间序列的功能。©2015SAPSE.Allrightsreserved.19在高度集成的系统内，提供高性能的数据管理，支持可扩展架构能力基于表级别定义数据管理层：内存处理(热数据)或磁盘处理(温数据)利用磁盘级的列存储技术，提高数据分析访问性能可支持高达PB级的数据规模提供集成的安全策略与备份恢复能力动态分层处理引擎列式处理引擎的先驱与领导者久经考验的数据处理引擎（大量政府、金融、电信等行业）在TPC-H基准的领先者优势库内集成，高性能单一系统，消除了数据冗余统一访问接口，降低复杂度邮政可根据需要定义数据管理策略动态分层支持海量数据管理HANA动态数据分层©2015SAPSE.Allrightsreserved.20支持丰富的Ha