Oracle Exadata 技术架构和主要特点

EXADATA技术架构和主要特点高扩展高可靠OLTP智能存储ShareDisk和ShareNothing架构分析•ShareDisk和ShareNothing是两种主要的数据库架构•Exadata提供一种混合式的数据库架构,能够有效解决两者的冲突,吸取两种架构长处;既可以满足OLTP的高并发、高可用特点；又可以满足OLAP的大数据量处理要求；ShareDisk把数据传输到应用代码端ShareNothing把应用代码移到数据端运行当应用代码量很大（高并发）、相关数据量比较小时，ShareDisk更加适合这种典型的OLTP应用；主要特点：高并发、高可用性（由于数据共享，当节点故障可以透明切换到其他数据库节点运行作业）当相关数据量很大、而应用代码并发量很小时，ShareNothing更加适合这种典型的OLAP应用；主要特点：大数据量处理、低并发、低可用性（由于数据非共享，当节点故障，其他节点要接管故障节点数据）主要指标架构优势Exadata架构概述ExadataCellInfiniBand交换网络单节点数据库RAC多节点数据库ExadataCellExadataCell智能存储层(ShareNothing)数据库处理层(ShareDisk)超高速并发网络层…….高扩展高可靠OLTP智能存储主要指标架构优势全新的技术架构–ShareNothing与ShareDisk的结合•Exadata智能存储服务器（ShareNothingArchitecture）-在存储部件中实现数据密集型处理-进行表及索引扫描，过滤查询无关数据•数据库服务器承担计算密集型处理（ShareDiskArchitecture）-求和,统计,数据转换,等.数据密集型处理智能存储池计算密集型处理数据库服务池Infiniband高速互联的数据交换全双工系统架构,完全消除单点故障高扩展高可靠OLTP智能存储主要指标架构优势EXADATA概述-为所有的数据管理系统提供超级的性能•适用于数据仓库应用的最好的数据库服务器（BestforDataWarehousing）•基于10x压缩表的Smartscan•基于内存数据的并行查询•整体上比11.1版本快5倍•适用于OLTP系统的最好的数据库服务器（BestforOLTP）•唯一基于网格技术扩展的数据库•Smartflashcache可达到20x（1MIOPS）快的IOPS,或者节省20x的磁盘•对于归档数据可达到50x的压缩率•安全,容错•适用于混合负载的最好的数据库服务器（BestforConsolidation）•唯一的支持所有负载类型的databasemachine•多个数据库,多个应用,多个用户环境都能提供可预测的响应时间高扩展高可靠OLTP智能存储主要指标架构优势Exadata数据库一体机•网格技术之大成•高性能,低成本,冗余,线性扩展•超级性能&开箱即用Exadata智能存储服务器网格•14x高性能低成本存储服务器•100TBrawSAS盘or336TBrawSATA盘•5TB+闪存(flashstorage)!RACDB数据库服务器网格•8x高性能低成本DB服务器•每个服务器包括2x4核Xeons/72GBRAMInfiniBand网络•每路40Gb/sec的高可用网络高扩展高可靠OLTP智能存储架构优势主要指标Exadata数据库一体机Exadata智能存储服务器网格•21GB/sec磁盘数据扫描•50GB/sec内存数据扫描•1百万+随机I/Os/sec,8KDB块数据库服务器网格•几百万级事务处理能力/每分钟•几千万级查询能力/每分钟•几十亿级记录扫描能力/每分钟InfiniBand网络•880Gb/sec累计IO带宽ExtremePerformance超级性能高扩展高可靠OLTP智能存储架构优势主要指标Exadata产品能力SingleServerQuarterRackHalfRackFullRackRawDisk1SAS7.2TB21TB50TB100TBSATA24TB72TB168TB336TBRawFlash1384GB1.1TB2.6TB5.3TBUserData2(assumingnocompression)SAS2TB6TB14TB28TBSATA7TB21TB50TB100TB1–Rawcapacitycalculatedusing1GB=1000x1000x1000bytesand1TB=1000x1000x1000x1000bytes.2-UserData:Actualspaceforend-userdata,computedaftersinglemirroring(ASMnormalredundancy)andafterallowingspacefordatabasestructuressuchastemp,logs,undo,andindexes.Actualuserdatacapacityvariesbyapplication.UserDatacapacitycalculatedusing1TB=1024*1024*1024*1024bytes.Ref:高扩展高可靠OLTP智能存储架构优势主要指标Exadata存储服务器硬件构成•做为MPP网格的单元部件，每个2U单元提供-高达1.5GB/sec原始数据带宽(withDisk)-高达75,000IOPS(withFlash)-高达3.6GB/sec原始数据带宽(withFlash)•智能存储服务器构成-2x4核Xeon®E5540处理器(Nehalem架构)-24GBRAM-双口4xQDR(40Gb/s)InfiniBand接口卡-磁盘选项-12x600GBSAS盘(合计7.2TB)-12x2TBSATA盘(合计24TB)-4x96GBSunFlashPCIeCards(合计384GB)•软件预装-OracleExadata智能存储服务器软件-OracleEnterpriseLinux-Drivers,Utilities•来源于Oralce的统一支持服务-3year,24x7,4HrOn-siteresponse高扩展高可靠OLTP智能存储架构优势主要指标ExadataSmartStorage智能存储服务器突破数据处理带宽瓶颈及随机IO瓶颈•Exadata以三种途径解决数据处理带宽瓶颈•大规模智能存储网格并发计算MPP•数据处理带宽与数据量成正比•存储层负责数据密集型处理SmartScan•数据库SQL负荷被分布到存储层实现，利用大量存在的存储层CPU处理本存储节点内的数据•混合型列压缩HCC，数据量降低10倍以上•HCC在降低存储成本的同时，增加了查询性能•通过ExadataSmartFlashCache解决随机IO瓶颈•随机I/Os速度提升20倍以上ExadataStorageCells高扩展高可靠OLTP架构优势主要指标智能存储Exadata的存储端数据库处理逻辑•ExadataStorageServer在存储端进行数据密集型处理-智能扫描SmartScan-ROW使用“where”谓词筛选行-COLUMN列筛选-JOIN联接筛选-增量备份筛选-混合型列压缩技术-自动透明的存储索引-扫描加密数据•通常可将发送到数据库服务器的数据减少10倍•无需更改应用程序-处理是自动和透明的-即使在查询期间单元或磁盘发生故障高扩展高可靠OLTP架构优势主要指标智能存储传统数据库扫描处理技术•基于传统存储技术，全部的数据库智能存在于数据库主机。•来源于存储的数据大部分被数据库主机所丢弃。•大量的废弃数据占用了宝贵的数据库主机资源（IO、内存和CPU），严重影响其它任务执行，处理缓慢。I/Os执行:返回1TB数据DB主机筛选1TB数据，得到1000行客户要求的数据，计算并返回给客户端返回数据行SELECTcustomer_nameFROMcallsWHEREamount200;DB主机确定表的存储分区发起I/Os请求高扩展高可靠OLTP架构优势主要指标智能存储Oracle数据库网格SmartScan处理技术Exadata为什么快10-100x倍?问题：昨天的销售业绩如何？Exadata智能存储层SUMSelectsum(sales)whereDate=’24-Sept’…SmartScan在TB级数据中扫描匹配请求的数据构建并发SmartScan请求仅仅返回满足条件的数据高扩展高可靠OLTP架构优势主要指标智能存储Exadata混合列压缩•数据按列存储，然后压缩•针对数据仓库的查询模式•–为提高速度进行了优化•–通常压缩比可达10倍•–扫描成比例增长•针对不常访问数据的归档模式•–为减小空间进行了优化•–通常可达15倍压缩•–对某些数据可达50倍压缩高扩展高可靠OLTP架构优势主要指标智能存储压缩的行混合列Row1SymbolTableRow2Row3DatabaseBlock•很好的随机行访问特性•OK表访问•2x-5x压缩Column1Column2Column3列数据库•很差的随机行访问特性•非常好的TableScan•5x-40x压缩CompressionUnit1Column1Column2Column3CompressionUnit2C1C2C3•很好的随机行访问特性•非常好的TableScan•5x-40x压缩行压缩vs列数据库vs混合列压缩高扩展高可靠OLTP架构优势主要指标智能存储10101011161919192021294305101520253035404550SizeReductionFactorbyTableOLTPCompression(avg=3.3)QueryCompression(avg=14.6)ArchiveCompression(avg=22.6)实际环境压缩比OracleProductionE-BusinessSuiteTables•压缩比率：•Query=14.6X•Archive=22.6X•Varybyapplicationandtable52高扩展高可靠OLTP架构优势主要指标智能存储Exadata存储索引无需任何开销即可透明地消除I/O•Exadata存储索引在内存中保存表数据的汇总信息•存储列的MIN和MAX值•通常每MB磁盘空间建立一个索引项•如果MIN和MAX值不匹配查询的“where”子句，则不访问磁盘I/O•完全地自动化和透明ABCD135583MinB=1MaxB=5TableIndexMinB=3MaxB=8Select*fromTablewhereB2-仅第一组记录匹配高扩展高可靠OLTP架构优势主要指标智能存储Exadata存储索引示例表SALES–•对常用列自动收集的摘要•存储在ExadataStorageServer的内存03-NOV-200919-OCT-200901-OCT-200907-OCT-200905-SEP-200919-SEP-2009Ship_dateOrder_dateCust_IDProd_IDAmount03-SEP-2009100753293210,000.0003-SEP-2009200982009820,000.0003-SEP-2009100892001015,000.0003-SEP-2009201001000035,000.0003-SEP-2009803003000010,000.0003-SEP-200910000203040,000.0003-NOV-200901-