POWER大数据解决方案介绍及案例分享50

POWER大数据解决方案介绍及案例分享许栋IBMPower资深系统架构师Agenda•Power，为大数据而设计•Power大数据方案介绍•应用场景和案例分享3现实世界中的数据量呈爆炸式增长46亿移动电话用户13亿RFID标签in200530亿RFID标签by201020亿Internet用户by2011Twitter每天处理7terabytes数据Facebook每天处理10terabytes世界气象数据中心220Terabytes网页数据9Petabytes其他数据资产市场数据量增长1,750%,2003-064数据爆炸的时代，赢得数据才能赢得世界数据是新的自然资源基于数据的决策更加复杂更加重要数据的爆炸式增长超出系统能力大数据计算需要什么样的硬件平台？•OLAPDWBigData•SQLNoSQLNewSQL•RDBMSHadoopSpark•批处理交互分析流计算更大容量更低成本更快的处理速度支持多样化的计算类型•横向扩展的能力•更大更多的磁盘•更少机器更少空间和耗电•更低的造价游戏Map-ReduceHPC图像渲染云存储工业仿真计算密集消重/归档风险分析IO密集流计算实时分析/交互分析•更快的CPU•更多的线程并行•更大的内存容量和带宽•更大的IO带宽•Flash加速大数据处理技术的发展，对硬件提出了更高的要求…•灵活的硬件配比支持从计算密集到IO密集多种计算类型•灵活定制硬件创新，CPU、GPU和混合计算•多种计算负载的混合调度6认知计算能力持续数据加载性能海量IO带宽低延迟极端Flash性能加速网格扩展存储私有云公有云TraditionalIT混合云为BigData而设计软件定义+云化开放和协作创新Power8基于云的实时、敏捷、高效和开放的架构才能满足新计算时代的需求Power8----迄今最快的CPUPower更强大的计算能力意味着更快的数据洞察•查询报告•预测分析•认知计算大数据和分布式并行计算场景，仍然需要更强大的CPUPower8性能对比测试testmachineCPUMemory(GB)CoreNumberTPSPercoreperformance(TPS)PKDL380pE5-2650@2.2Ghz642*6=12corephysicalbox19001581Power8282-22APower8@3.93GHz16dedicated1coreLPAR7907905.0xSPECjEnterprise2010benchmark,1.76xcoretocoreadvantagethanSPARCT5OracleSiebelCRM8.1.1.xbenchmark,6.7xcoretocoreadvantagethanSPARCT51.76x6.7xPower8—业界最高的8并发超线程Power8更多的超线程意味着更高的并发性•更多用户•更多活动作业00.511.522.533.54P7SMT1P8SMT1P8SMT2P8SMT4P8SMT8SMT8技术允许在同一个物理CPU核心上同时运行8个独立的指令或线程，比Power7的SMT4高了一倍，是Intel上的超线程技术的4倍可以按需在不同模式见动态转换：SMT1/SMT2/SMT4/SMT8Power8更大的内存，更宽的内存带宽，更快的内容读写意味着更适合内存计算场景和计算密集型场景•更大的内存数据库•更大的OLAP多维立方体•更快的内存思想性分析•更高效的实时数据分析Power8—超大内存带宽较POWER7内存带宽提升2.3倍，是x86的4倍每处理器支持1TB内存，高达192GB/sec内存带宽单台Power8服务器最多可支持230.4GB/sec内存带宽史无前例的片上96MBL3cache创新内存缓存芯片，进一步提高内存读写速度Power8—更大的I/O带宽更快的I/O读取意味着更适合数据密集型场景•更低的数据读写延迟•更高的数据读写速度•创新I/O协处理硬件，软件功能硬件加速较POWER7,内存带宽提升2.3倍内置PCIeGen3支持•直接处理器集成•取代专属GX/桥接•低延时•Gen3x16带宽(32GB/s)PCIeGen3x16x8x16x8050100150200POWER6POWER7POWER7+POWER8Power8I/O带宽测试Power灵活配比方案，支持更多计算类型SmallPODMediumPODLargePOD–ALargePOD–BDriveType2.5”10KRPM1.2TBSFFSAS2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSASNumberofDrives123660LFF+12SFF60LFF+24SFFAvailableStorage14.4TB43.2TB254.4TB268.8TBSmallPOD1P8S822Lw/InternalDrivesMediumPOD1P8S822Lw/EXP24SLargePOD–B2P8S822Lw/1DCS3700LargePOD–A1P8S822Lw/1DCS3700Power大数据最佳实践从计算密集型到数据密集型都有灵活的配比方案性能、容量和成本的最佳平衡ComputeDenseStorageDensePower8无处不在的RAS•处理器指令重试•备用处理器恢复•可选择动态固件更新•Chipkill内存•ECC二级缓存、三级缓存•带故障监控功能的服务处理器•热插拔磁盘托架•热插拔并发维护PCIe插槽•热插拔冗余电源和散热风扇•动态处理器重新分配•PCI插槽上的扩展错误处理Power8远超x86的高可靠设计CustomHardwareApplicationPOWER8CAPPCoherenceBusPSLFPGAorASIC可自定义的硬件应用程序加速器•特定的系统软件、中间件或用户应用程序•写入PSL提供的持久接口POWER8PCIeGen3TransportforencapsulatedmessagesProcessorServiceLayer(PSL)•向应用程序提供成熟的、稳定的接口•降低CAPP的复杂性和工作负载虚拟寻址•加速器可以与处理器一样直接对内存进行寻址•与处理器运行程序一样使用指针•消除操作系统和设备驱动程序的额外开销Power8创新CAPI接口，开放定制硬件加速硬件管理的缓存一致性•使得加速器能作为正常线程参与“Locks”，降低IO通信模型中的延迟基于Power8CAPI加速接口，为大数据进行硬件创新Agenda•Power，为大数据而设计•Power大数据方案介绍•应用场景和案例分享企业级市场的大数据应用机会KeyIndustryOpportunityandTrendsTelecom,BankingandGovernmentcontributethelargestincrementalBigData&Analyticsmarketsizefrom2013to2017inGCG•Morerationalthanlastyear,notonlyfocusingonHadoopplatform•Telecom,Banking,Gov’tsectorswillhavemoredemandsforadvancedBD&Asolutions•HelpcustomersbegintheirBigDataJourney•Bigdataasservicesbegantoemergeinthemarket大数据的主要应用类型实时性高实时性低简单查询复杂分析内存数据库内存分析NoSQL实时查询流式计算M-R批量分析MPP数据仓库多应用混合大数据平台海量数据存储海量数据存储IBM基于Power的大数据方案实时性高实时性低简单查询复杂分析内存数据库内存分析NoSQL实时查询流式计算M-R批量分析MPP数据仓库多应用混合大数据平台Power+CAPI+Flash+NoSQLPower+StreamPower+DB2BLUPower+DB2DPFPower+GBasePower+HadoopPower+SequoiaDBPower+Symphony/GFSP+HadoopSpectrumStoragePower+GPFSTheMarket:Explosivegrowthofnewmobile,socialappsrequiringlighteningfastresponseathighvolume–Enabledbyin-memoryNoSQL,KeyValueStoreslikeRedis–Ordered(key,value)pairsprovidetypeofin-memory,lighteningfastdistributedhashtable–Playsanimportantroleinmanylargewebsites•GitHub,Amazon,Facebook,Twitter&more…TheIssue:x86memorylimitedbymaxRAM•Scale-outx86serverslimitedmemorysize•Resultsincostly,complexinfrastructureLoadBalancer500GBCacheNodeWWW500GBCacheNode500GBCacheNode500GBCacheNode1Ux86server(24)512GBmemoryThePOWER8+CAPIFlashasRAMAdvantage:•NewFLASHasRAMforRedisin-memoryapps•ProvidesmeansforlargeFLASHexploitation•Lowercostmemory,greaterworkloaddensity•Dramaticallyreducecoststodeliverservices•Canbeofferedasacloud-basedserviceorasanon-premisesolutionforenterprises24:1serverconsolidation3Upto3xlowerTCA24UPowerS822L/S812LUbuntu14.10FlashSystem8402TBto40TBFlashWWW4UTheSolution:POWER8+CAPIFLASHasRAM-Upto40TBin4U19Power8+CAPI+Flash，NoSQL内存数据库方案LoadBalancer500GBCacheNode10GbUplinkPOWER8ServerFlashArrayw/upto40TBDifferentiatedNoSQL(POWER8+CAPIFlash)NewmemorytierforPOWER8server-Upto40TBforNoSQLbasedapplications-ClustersolutioninaboxInfrastructureAttributes-192threadsin2UServerdrawer-40TBofmemorybasedFlashper2UDrawer-SharedMemory&Cachefordynamictuning-EliminationofI/OandNetworkOverheadToday’sNoSQLinmemory(x86)InfrastructureRequirements-LargeDistributed(Scaleout)-LargeMemorypernode-NetworkingBandwidthNeeds-LoadBalancingPowerCAPI-attachedFlashmodelforNoSQLregainsinfrastructurecontrolandreignsinthecosttodelive