SAP-HANA高性能计算平台解决方案

SAPHANA高性能内存计算平台©2011SAPAG.Allrightsreserved.2议程安排SAPHANA内存计算概览SAPHANA的数据中心技术规范SAPHANA数据库云中心架构SAPHANA应用设计开发特点介绍农行POC结果介绍、第三方应用支持情况讨论时间SAPHANA内存计算概览©2011SAPAG.Allrightsreserved.4SAP的内存数据管理创新提供实时应用平台在一个数据库中同时实现OLTP和OLAP的高性能，使用内存列式数据库技术。AcommonDatabaseApproachforOLTPandOLAPUsinganIn-MemoryColumnDatabaseHassoPlattner以客户为中心的创新交易分析加速交易和分析直接在内存计算完成VS.©2011SAPAG.Allrightsreserved.5离散改变游戏规则，打破数据库格局传统数据库硬件多核处理器架构(每台刀片8x8核CPU)64bit地址空间–单台可扩展到4TB,(理论达4EB)100GB/s数据传输多台服务器并行运行每台服务器的价格低廉价格迅速下降，性能迅速提升缓存磁盘行+列存储压缩5-20倍分区：大量数据，复杂计算动态聚集增量数据处理内存技术+++++内存SAPHANA主存磁盘集成保证数据一致©2011SAPAG.Allrightsreserved.6SAPHANA的硬件和性能指标认证的硬件系统单机从128GB~4TB内存，数据中心方案更多的硬件供应商超过60种规格的认证硬件服务器基于AWS的云部署认证的同步，异步的集群容灾备份恢复方案BI认证和ETL，备份工具的认证以5年SD模块的销售数据为例-1000亿条数据记录-16个HANA服务器节点-19倍压缩率-100TB-3.7TB月度销售与分销报告。1个月，0.3秒6个月，0.7秒12个月，1.04秒前100位客户的YOY趋势报告超过2年，1.5秒超过5年，3.8秒可小，可大的平台内存容量：128GB~50TB~500TB计算能力：16核~10000核从单节点到100个节点的集群©2011SAPAG.Allrightsreserved.7支持HANA的硬件列表经过认证的8家硬件合作伙伴，6种配置规格，70多种不同机器配置可供选择具体配置机型请查阅：©2011SAPAG.Allrightsreserved.8SAPHANA-内存计算最简单的理解内存（数据）闪存-Flash（日志）数据来自任何DB来自任何系统客户端访问I/O都在内存硬盘SAPHANA硬件服务器写入11数据总是直接写进内存同步写入22更新内存数据的同时写入日志异步33数据定期写入磁盘并创建保存点重启之后44数据恢复时从磁盘和日志区读取记录©2011SAPAG.Allrightsreserved.9HANA特点一数据压缩再加速内存极速访问姓名城市性别张山北京男李四上海女李梦上海女李梦上海女传统关系型数据库表HANA列式存储数据字典压缩张山李四李梦李梦北京上海上海上海男女女女0:张山1:李四2:李梦0:北京1:上海0:男1:女HANA列式存储运行长度压缩1x01x12x21x03x11x03x10:张山1:李四2:李梦0:北京1:上海0:男1:女1x0表示1个张山*后面的数字表示实际的值模拟内存中的数据©2011SAPAG.Allrightsreserved.10HANA特点二数据分而治之数据内存本地化，把大数据量和计算量分散到不同处理器任务并行处理，不同的服务器之间也共享同一组数据高可用性，单一的服务器的DOWN机将不影响任何计算MPP模式，Share-Nothing的体系架构，最大化的减少资源竞争，更适合高性能、高并发场景©2011SAPAG.Allrightsreserved.11HANA特点三最小化数据传输传统的方式数据计算数据库层面信息系统应用层模式转变SAPHANA信息系统应用层数据计算内存计算引擎内存数据库©2011SAPAG.Allrightsreserved.12内存计算技术的“革新”行存储与列存储的混合应用数据压缩数据分析数据库内并行计算不需要聚集表不需要物化视图实时数据复制仅插入增量数据5倍的压缩率1TB的数据，约使用200GB的内存列式存储=更快的查询更利于分析大数据块更复杂的计算场景更灵活的建模不需要数据冗余更快、更具时效性的数据加载更好的利用多核CPU的优势更大的内存参与数据分析强大的计算能力一百万倍快于磁盘数据库1TB内存的服务器,大于80个处理器SAPHANA更多的把计算推动到软件技术以完成性能的优化©2011SAPAG.Allrightsreserved.13使用HANAStudio进行数据建模HANAStudio基于Eclipse实现可视化开发©2011SAPAG.Allrightsreserved.14使用HANAStudio监控数据库服务状态©2011SAPAG.Allrightsreserved.15提供多种数据上载方法，考虑性能和实时性多种方法加载数据到SAPHANA数据库数据加载的方法还在不断增强中©2011SAPAG.Allrightsreserved.16R语言的集成，更多的预测函数库提供R统计函数库与HANA的集成可实现更多的高级分析和财务预测功能发现隐藏的收入机会，保留高价值客户，提供最相关的和及时的信息，增加交叉销售和向上销售的有效性，发现欺诈行为，并改善与客户的互动......R与HANA的集成可使用R的开放环境，提供多余3500个函数库用于内存计算R的函数通过高性能的内存计算来并行处理R的脚本可嵌入SQL语句共同完成HANA的数据模型增强的预测函数库提供额外的预测算法库内存处理提供更强更快的结果快速实现YXZ©2011SAPAG.Allrightsreserved.17SAPHANA如何应用？“肩并肩”的场景HANARDS(快速实施服务)●CRM客户细分●COPA●Finance&controlling●BWpoweredbyHANA●Businessplanning&consolidation(BPC)onHANA●BusinessSuiteonHANA●HANAnewanalytics●SAPHANADB●数据集市及相关应用●BOBJBI●SAPPA●文本&预测分析●针对零售的销售分析●流动性风险管理●ERP运营报表●社交情感分析●销售管道分析●……●BusinessOneonHANA●SAPBusinessOneAnalyticsonHANA●HANAnewanalytics●BIonDemand●销售&运营计划●供应商信息网络●基于AmazonWebServices(AWS)开发环境●智能电表分析●精确零售●现金预测●来自合作伙伴的独立应用还有更多的来自SAP,ISVs和快速启动计划项目的解决方案HANA加速器HANAplatform(数据集市)HANAappsforSuite(包括：报表&分析)CloudonHANAAnyDBClientSAPBusinessSuiteHANADBAnyDBHANADBClientOD/SFsolutionsAnyDBHANADBSAPBusinessSuite&anyappDatamartSAPBOBJBI,VIAnyDBHANADBAppsSAPBusinessSuite实时分析BusinessSuiteonHANABusinessOneonHANA集成的场景HANADBCRMSCMSRMPLMERPVDLSAPBusinessSuiteBWAppsHANADBSAPBusinessOneMSSQLBWonHANAAnyDBHANADBBWSAPBusinessSuite实时应用HANAnewappsHANADB新应用新领域实时平台123SAPHANA的数据中心技术规范©2011SAPAG.Allrightsreserved.19SAPHANA数据库中心准备就绪：简介及概览设备方法论（安装和升级）永久化存储备份及恢复（系统备份）高可用性容灾能力监控和管理安全和审计©2011SAPAG.Allrightsreserved.20SAPHANA数据库中心准备就绪：简介及概览设备方法论（安装和升级）永久化存储备份及恢复（系统备份）高可用性容灾能力监控和管理安全和审计©2011SAPAG.Allrightsreserved.21SAPHANA设备SAPHANA技术合作伙伴SAPHANA特色产品SAPHANAEnterpriseEditionSAPHANAPlatformEdition-包括数据准备工具(SLT、DS)SAPHANAforruntimeDB-仅提供SAP应用的数据库SAPHANA硬件合作伙伴©2011SAPAG.Allrightsreserved.22从安装的角度看SAPHANA设备软件：允许工厂预安装及现场配置SAPHANA的安装以下是SAP设备发布模型–硬件提供商在工厂预先安装硬件，操作系统和SAP软件–硬件提供商可以加入特定的最佳实践和SAPHANA软件的配置–硬件提供商完成包括现场安装和配置HANA组件在内的最终安装*–客户建立SAPHANA和数据源以及BI客户端的复制/连接**向客户发布硬件HANA系统安装HANA场景运行工厂预装现场服务现场安装组装硬件和操作系统安装SAP软件工厂冒烟测试现场安装技术配置现场冒烟测试建立复制业务配置这是计划的当前状态，SAP随时可能修改。©2011SAPAG.Allrightsreserved.23SAPHANASP升级–流程描述SAPHANA设备软件SAPHANA数据库和客户端SAPHANAStudio目录SAPHANA加载控制器SUMforSAPHANASAPHANAstudio(Eclipse)LMperspectiveMaintenanceOptimizerServiceMarketplaceAllremoteconnectionsaredoneviasecurewebservices.1.SAPHANA可以通过SoftwareUpdateManager自动升级2.通过SAPHANAlandscape检测到组件3.从SMP获得最新的升级包(SPstack)4.下载所需的升级模块5.在SAPHANA系统上升级互联网本地补丁目录©2011SAPAG.Allrightsreserved.24SAPHANA数据库中心准备就绪：简介及概览设备方法论（安装和升级）永久化存储备份及恢复（系统备份）高可用性容灾能力监控和管理安全和审计©2011SAPAG.Allrightsreserved.25HANASAPHANA存储：定期将内存数据存储到硬盘数据:SQL数据和undo日志信息额外HANA信息，如建模数据留在内存已保证最好的性能异步的写入进程日志:数据变化的信息（redo日志）当事务提交时直接存储到永久化存储介质循环擦写(仅当备份过后)存储点:变化的数据和undo日志从内存写入永久化存储介质自动至少每5分钟一次(可配置)内存数据永久化存储介质定期自动的存储点数据变化的信息日志卷数据卷©2011SAPAG.Allrightsreserved.26内存运算是安全的SAP的内存数据库在内存中保留大量数据以获取最好的性能，但是仍旧需要永久化存储介质以保证系统失败时候的低效运行。日志（这里指redo日志）通过记录数据库事务捕捉了所有的变化。数据和undo日志信息（也是数据的一部分）会在固定的存储点自动存入硬盘。日志（也就是redo日志）在每个数据库事务提交后会同步地存到硬盘中（等待直到磁盘写入结束）。这样断电发生时，数据库就可以象一个磁盘存储的数据库一样重启了：系统正常重启(延迟加载数据表可以缩短重启时间)系统恢复到最后的稳定状态(通过执行最后一个存储点之后的所有redo日志)SAPHANA的永久化：定