Oracle 数据库一体机 ― Exadata

在此处插入图片极限性能数据平台----使用OracleExadata提供极限性能袁京声资深咨询顾问，华东区技术咨询部制造业[e-mail]-C记录需要76个机柜SunTPC-C记录需要只需要9个机柜只要9台Sun+Oracle=新的世界纪录!面向未来的体系架构大规模并行网格(MPG)最快的数据仓库最快的OLTP最强的混合系统关键点•全球第一个OLTP系统的DatabaseMachine•为数据管理提供超级的性能–OLTP,数据仓库,混合系统的最优选择•Sun’sFlashFire技术的引入是系统的关键–Oracle是第一个闪存优化的数据库©2009OracleCorporation-Confidential6Exadata产品ExadataStorageServer&DatabaseMachine•ExadataStorageServer–为Oracle数据库优化的存储产品–提供极限I/O和SQL执行性能–软硬件一体化•ExadataStorageServerSoftware11gR2•SunOracleDatabaseMachine–预配置，提供高性能–平衡的系统–无限扩展性能，容量、带宽和处理能力•ExadataStorageServerSoftware11gR2•OracleDatabase11gR2Exadata的商业价值•超级的性能表现:10-100倍的数据仓库性能提升.20倍的OLTP应用性能提升.•线形扩展:随着数据量的增加,可以通过增加StorageServer或Machine使性能线性增长.•适用于企业级客户：包含并预配置完整系统所必需的所有软件和硬件,快速部署和上线.由Oracle提供单一的软件和硬件支持.•标准化:与现有的应用透明衔接,数据库和应用的管理维护保持一致.InsertPictureHereExadata产品概述SunOracleDatabaseMachineExadataStorageServerGrid•14个高性价比存储机•100TBSAS磁盘存储或336TBSATA磁盘存储•5TB+闪存存储!RACDatabaseServerGrid•8个高性价比服务器•每台机器配2个Intelquad-coreXeonsProcessors(2.53GHz)InfiniBandNetwork•40Gb/秒Infiniband链路•网格就是未来•高性能,低成本,冗余,线性扩展•SunOracleDatabaseMachine为所有数据管理需求交付第一个也是唯一一个完整的网格架构SunOracleDatabaseMachineExadataStorageServerGrid•21GB/秒磁盘带宽•50GB/秒闪存带宽•每秒1百万I/OsRACDatabaseServerGrid•支持每分钟百万级事务处理•支持每分钟千万级查询处理•支持每分钟访问十亿条记录InfiniBandNetwork•880Gb/秒累积吞吐量极限性彻底简化部署•DatabaseMachine消除了数据库系统部署的复杂度–极大降低配置、诊断、调优的时间•DatabaseMachine随付即用–预先打包的、严格测试的、标准化的、可支持的配置–已经存在的应用无需任何改变•超级的性能数月到数天使用组件从头开始构实施前系统调整购买组件安装与配置测试和验证数月收到OracleDatabaseMachineOracleDatabaseMachine交付后1周内部署更快且风险更小Exadata系统扩展—由小到大整个机架半个机架四分之一机架基本系统2115更低的成本Vs常规硬件•同样性能•同样I/O容量•同样存储容量•DBM有容错功能•IBM贵4倍2DatabaseMachineIBM’sfastestcomputer8IBMDS8300Turbo©2009OracleCorporation–ProprietaryandConfidentialInsertPictureHereExadata架构和特性传统的服务器和存储设备技术架构高端存储阵列网络交换存储交换Exadata架构概述ExadataCellInfiniBand交换网络单节点数据库RAC数据库ExadataCellExadataCell智能存储数据库处理超高速并发网络基础技术–分布式计算•Exadata智能存储服务器–在存储部件中实现数据密集型处理•进行表及索引扫描，过滤查询无关数据•数据库服务器承担计算密集型处理（同传统结构）–求和,统计,数据转换,等.•Exadata存储单元只是智能存储，并非数据库节点数据密集型处理计算密集型处理ExadataSoftware的特性•ExadataSmartScans–提交到数据库服务器的数据量减少10X或更多•ExadataStorageIndexes–消除不必要的磁盘I/O•HybridColumnarCompression(HCC)–高效的压缩增加了有效的存储容量，并且增加了10倍的用户数据扫描带宽•ExadataSmartFlashCache–通过增加IOPs解决随机的I/O瓶颈，扫描速度提升20X•I/OResourceManager(IORM)–控制I/O的优先级，解决可预测的性能问题Exadata的存储端数据库处理•ExadataStorageServer在存储端进行数据密集型处理–使用“where”谓词筛选行–列筛选–联接筛选–增量备份筛选–存储索引–扫描加密数据–数据挖掘模型评价•通常可将发送到数据库服务器的数据减少10倍•无需更改应用程序–处理是自动和透明的–即使在查询期间单元或磁盘发生故障比较–传统扫描处理技术•基于传统存储技术，全部的数据库智能存在于数据库主机•来源于存储的数据大部分被数据库主机所丢弃•大量的废弃数据占用宝贵的数据库主机资源（IO、内存和CPU），严重影响其它任务执行，导致处理缓慢[I/Os执行:返回1TB数据\DB主机筛选1TB数据，得到1000行客户要求的数据，计算并返回给客户端]返回数据行XSELECTcustomer_idFROMcallsWHEREamount200;YDB主机确定表的存储分区Z发起I/Os请求比较–Exadata的智能扫描技术•仅查询相关的字段–customer_id和符合条件的行–whereamount200被返回给数据库服务器•通过把扫描处理从数据库中剥离，减少了数据库服务器的CPU负担，同时极大降低了无效的信息传输–仅仅传输需要的、有价值的信息[返回2MB数据到数据库服务器]返回数据行Y构造SmartScan并发送到存储单元ZSmartScan在TB的表中识别出符合查询需求的行和字段\汇聚各存储单元的返回结果到结果集XSELECTcustomer_idFROMcallswhereamount200;SmartScan透明•Smartscans对应用是透明的–无需修改应用或SQL–返回的数据是完全一致的和事务级的–如果在做smartscan的CELL出现故障，未完成的部分可以透明地路由到包含数据副本的其他CELL继续执行•SmartScans可以正确处理以下复杂事务–未提交的数据和锁住的记录–链式记录–压缩的表–自然语言处理–日期计算–正则表达式搜索–分区表高吞吐,低开销,无需复杂调优Exadata存储索引无需任何开销即可透明地消除I/O•Exadata存储索引在内存中保存表数据的汇总信息–存储列的MIN和MAX值–通常每MB磁盘空间建立一个索引项•如果MIN和MAX值不匹配查询的“where”子句，则不访问磁盘I/O•完全地自动化和透明ABCD135583MinB=1MaxB=5Table索引MinB=3MaxB=8Select*fromTablewhereB2—仅第一组记录匹配50倍高达Exadata混合列压缩•数据以字段形式存储并压缩•针对数据仓库的查询模式–为提高速度进行了优化–通常压缩比可达10倍–扫描成比例增长•针对不常访问数据的归档模式–为减小空间进行了优化–通常可达15倍压缩–对某些数据可达50倍压缩ExadataHybridColumnarCompression•表被组织成数千行记录的集合，称为压缩单元(CUs)•在压缩单元，数据按列组织并压缩–按列组织使相似数据靠在一起，增强了压缩比率•对批量数据加载和查询非常有效–对更新操作效果不大ReducesTableSize4xto40x4xto50xReductionCompressionUnitColumn1Column2Column3ExadataSmartFlashCache•将热点数据透明地缓存在4个闪存卡上•使用基于PCIExpress的闪存卡提供更大的吞吐量和IOPs，避免磁盘控制器的限制•SmartCaching–比基于LRU的算法更加聪明–知道何时跳过缓存对象，以避免污染或清除缓存•允许应用程序明确地优化缓存11gR24x96GBFlashCardsExadataSmartFlashCache极限性能DatabaseMachine实现:•20x以上的随机I/O–每秒超过100万•2x以上顺序查询I/O–50GB/秒•10x以上的I/O响应时间–毫秒之内•大大降低成本–同样的IOPS,10x以上I/O磁盘减少–低功耗5XMoreI/Osthan1000DiskEnterpriseStorageArrayOracle是第一个闪存优化的数据库系统11gR2闪存•闪存可将扫描吞吐量提高一倍多–50GB/秒•与列压缩相结合–闪存中有超过50TB的数据–对压缩数据的查询提高到500GB/秒211011.47.50102030405060查询吞吐量使用闪存后的查询吞吐量50HITACHIUSPVTERADATA2550NETEZZATwinFin12SUNORACLEDatabaseMachine未压缩数据的查询吞吐量好处倍增1TB（压缩）10TB的用户数据需要10TB的IO100GB（分区修剪）20GB（存储索引）内存或闪存上的5GB智能扫描数据减少10倍，扫描加快2000倍在DatabaseMachine上实现亚秒级InsertPictureHere总结33SunOracleDatabaseMachine•为关键数据仓库而优化•在大量数据上的机动查询•只有Oracle提供了21GB/秒/机架的IO带宽,以及高达50GB/秒的Flash•为操作性数据库而优化•短查询与操作过程集成•只有Oracle提供1MIOPS•为real-world数据加载而优化•只有Oracle提供了一致读,以5TB/hr加载•为高级分析而优化•只有Oracle提供了集成OLAP,数据挖掘,Spatial和统计功能DatabaseMachine成功案例•DatabaseMachine在全世界的各行各业中都战胜了所有竞争对手HaierExadataPostioning海尔BI建设路线图©2009OracleCorporation-forHaier37海尔ExadataPoC测试方法•系统对比测试9HaierBCC测试系统–模拟BCC生产系统9Exadata系统–真实的Exadata系统•分场景对比测试9串行测试9并行测试¾相同SQL并行¾混合SQL并行9扩展性测试©2009OracleCorporation-forHaier38整体结论及分析•Exadata系统表现好于BCC测试系统，尤其在并行测试场景中•对于大量IO的操作，Exadata可以说绝对占优，并且SmartScan能力可以发挥作用•Exadata的CPU利用更趋合理•Exadata可以提供线性的扩展能力（RAC、ASM和SmartScan）•因此可以说，系统数据量越大、负载越复杂的环境Exadata越能胜任。如需了解更多的信息•Oracle.com：•OracleExadata技术门户(OTN)：