Oracle数据库和数据仓库

在此处插入图片使用Oracle11g数据库和数据仓库技术构建企业新一代数据服务平台当前世界的数据增长量EB一年需要管理390408047GB/秒新建数据EB当前已经存储%/年平均新增数据%需要永久归档保存30当前数据仓库应用所面临的挑战©2006，2007WinterCorporation。WalthamMA保留所有权利。200400600800100019982000200220042006200820102012实际计划TB级的数据•每18个月CPU的速度将翻倍•然而，磁盘速度滞后……昀大数据仓库的大小Oracle帮助用户达成目标数据管理目标高性能低成本易管理OracleDatabase30年持续的创新DatabaseVaultDatabaseVaultGridComputingGridComputingInIn--MemoryDatabaseCacheMemoryDatabaseCacheAutomaticStorageMgmtAutomaticStorageMgmtSelfManagingDatabaseSelfManagingDatabaseXMLDatabaseXMLDatabaseOracleDataGuardOracleDataGuardRealApplicationClustersRealApplicationClustersFlashbackQueryFlashbackQueryVirtualPrivateDatabaseVirtualPrivateDatabaseBuiltinJavaVMBuiltinJavaVMPaPartitioningSupportrtitioningSupportBuiltiBuiltinMessagingnMessagingObjectRelationalObjectRelationalSupportSupportMultimediaSupportMultimediaSupportDataWarehousingOptimizationsDataWarehousingOptimizationsParallelOperationsParallelOperationsDistributedSQL&TransactionDistributedSQL&TransactionSupportSupportClusterandMPPSupportClusterandMPPSupportMultiMulti--versionReadConsistencyversionReadConsistencyClient/ServerSupportClient/ServerSupportPlatformPortabilityPlatformPortabilityCommercialSQLImplementationCommercialSQLImplementationOracle2Oracle9iOracle5Oracle6Oracle7Oracle8Oracle8iOracle10gOracleDatabase11g全新一代数据服务的平台可扩展的数据管理自动存储管理数据分区并行操作数据生命周期管理RAC集成的分析OLAP时间序列预测统计数据挖掘ELT&数据质量管理数据集成数据建模元数据管理数据特征SOA数据管理目标高性能低成本易管理OracleDatabase11g提供高性能、均衡地大数据管理能力高性能需要均衡的配置系统•“昀薄弱环节”限定吞吐量•每个构建块均为一个平衡单位•要考虑的组件：•CPU：数量和速度•HBA（主机总线适配器）：数量和速度•切换速度•控制器：数量和速度•磁盘：数量和速度FC交换机1FC交换机2磁盘阵列1磁盘阵列2磁盘阵列3磁盘阵列4磁盘阵列5磁盘阵列6磁盘阵列7磁盘阵列8HBA1HBA2HBA1HBA2HBA1HBA2HBA1HBA2典型的、非均衡的客户配置示例FC交换机1FC交换机2FC交换机1FC交换机24xP69032CPU24x2GbHBA4xEMCDMX20006x昀大IO吞吐量：25GB/秒昀大IO吞吐量：18GB/秒72%容量，25%性能降低昀大IO吞吐量：5–6GB/秒容量的20-24%，76–80%性能降低OracleWHITETheHP-OracleDatabaseMachine超级的性能Oracle包含软硬件的全新产品打造超级性能专门针对Oracle优化的存储产品和服务器网格•Oracle与HP合作推出的品牌硬件设备•针对Oracle数据库的智能存储服务器HPOracleExadataStorageServer•HPOracleExadataMachine数据库一体机，提供大数据量的超级I/O和SQL处理性能•比普通的数据仓库性能快10到100倍•无限的扩展性，容量、带宽和处理能力OracleExadata–一种新的架构打破数据带宽瓶颈•Exadata减少信道运送数据量–查询处理被移到存储端，显著的减少了发送到服务器的数据，从而减轻了服务器CPUs负荷。•Exadata拥有更多信道–由组件存储“单元（Cell）”buildingblocks(结构块)可以组成大规模并行网格–带宽随容量可以扩展•Exadata拥有更宽信道–InfiniBand互连传输数据比FibreChannel快5xExadataMovesaLotLessDataaLotFasterLGR’s220TBCDR呼叫详细记录数据库HPSuperdomeHitachiXP24000存储阵列现存系统1/2ExadataDB主机平均20倍的性能提升“CallDataRecord查询以前需要运行超过30分钟，now现在只需要1分钟OracleExadata提供超级的性能.”•GrantSalmon•ChiefExecutiveOfficer•LGRTelecommunicationsOracle分区对应用程序透明大型表难以管理分区分而治之更易于管理提高性能组合分区更高的性能更灵活地满足业务需求ORDERSORDERSJanFebORDERSJanFebEuropeUSAOracle分区11g的增强间隔分区系统自动创建间隔虚拟字段分区虚拟字段不需要存储开销参照分区继承分区策略ORDERSORDERSLineItemsPickListsStockHoldsBackOrdersORDER_IDORDER_DATE---------------------9834-US-1412-JAN-20078300-EU-9714-FEB-20073886-EU-0216-JAN-20072566-US-9419-JAN-20073699-US-6302-FEB-2007JANFEBMARAPRORDERS高级数据压缩•可以压缩表和索引–可以在每个分区的基础上指定–典型压缩率3:1•需要更多CPU来加载数据–解压缩几乎不消耗资源–压缩所有DML操作•磁盘上数据较少–所需读取时间较短•完全透明4X达到真实的数据压缩案例10昀大的ERP数据库表3xSavingMB数据存储表扫描Time(seconds)2.5xFasterDML性能Time(seconds)3%Overhead“我们部署的一个大型的OracleRAC系统有16-node数据库服务器和6个存储节点….如果采用非压缩方式数据将接近PB数量级.而采用Oracle压缩技术存储是200TB.”DavidApgarBusinessContinuityPlanningHighAvailabilityEngineerYahoo集成业务智能的数据库直接分析数据，而不是带数据去分析•客户的业务数据量持续地增长，并且•依赖信息的决策需要快速地反应•Oracle多年以前已经认识到这个问题.•Solution:在数据库引擎中嵌入业务分析能力，保证数据的稳定及一致性•数据的二次搬迁是需要代价的，包括移动的复杂度、风险，多个数据引擎的数据管理和安全.•Oracle则利用核心数据库的能力实现StatisticsDataMiningOLAPOracleDatabaseDataMiningOption利用核心数据库的能力实现•嵌入在数据库内先进的数据挖掘算法•单一数据存储•单一安全模式•单一管理工具•支持网格架构•可以通过任一SQL-base的工具实现挖掘分析DataMiningInsertPictureHere“因为数据挖掘算法和数据是和Oracle数据库集成在一起的,我们不需要必须移动大量的数据集到外部的应用服务器去运行数据挖掘应用……事实是比其它的挖掘工具降低大约75%的成本.”TracyEThieretPhD,PrincipalScentistXeroxInnovationGroupImaging&SolutionsOracleDatabaseOLAPOption立方体组织的物化视图物化视图MVRegionDateProductChannelBI工具查询重写自动刷新OLAPCubeSQLBNPParibas先进的实时时间序列分析•大型欧洲财务公司•为交易商提供分析服务，降低市场的敏感度和波动•替换FAMETimeSeriesDatabase–Forecasting,AnalysisandModelingEnvironment•超过30亿条记录,RAC系统•每2秒更新一次数据•1500并发访问用户InsertPictureHere“OracleOLAP具有易于管理和使用、可扩展和可靠性高、处理性能好以及支持行业标准的分析查询应用的优势，这些很自然地作为我们替换现有系统的依据.”CyrusKapadiaBNPParibas数据管理目标高性能低成本易管理OracleDatabase11g有效降低IT成本•每个部分按照昀大负载配置–ETL服务器必须处理昀大ETL负载–数据库服务器必须处理昀大数据库负载–昀终用户服务器必须处理昀大昀终用户负载•没有利用系统的空余能力•周期性负载会造成极大的负载变化DBEndusertoolETLOracle网格数据库技术传统独立的数据库服务器部署•采用昀大的总负载进行系统配置–负载昀大总值Σ每部分昀大负载•所有负载在任何时间均匀地分布所有节点上ETL+DB+EndusertoolOracle网格数据库技术OracleRAC+ASM部署降低采购和维护成本、随用随付CPUs24(6x4)CPUspeed1.9GHzMemory96GB(6x16GB)0100020003000节点Users0100020003000123456Users$1,198,595$240,4806个月12个月大型主机:一次投入过高的成本OracleRAC网格数据库:可随业务增长而灵活扩充24个月CPUs4to24CPUspeed3.06GHzMemory16GBto96GB$237,888Oracle网格数据库技术OracleRAC提供高性能低成本的解决方案数据信息生命周期管理传统的数据部署方式•Active•LessActive•Historical•Archive•DataLifecycle•Active•LessActive•Historical•Archive•数据生命周期•高性能存储•离线归档数据信息生命周期管理多层存储管理存储层次单一层次多个层次单一层次(3,000GB)£360,000Tier1多层(600GB)£72,000Tier2多层(1,200GB)£16,500£1,560£90,060Tier3多层(1,200GB)合计£360,000Source:Costs(approximations)fromLeadingStorageVendor,January2007•Tier1–‘Normal’diskstorage–高端高性能e.g.SAN–£10/Gb–250MBusablespacewould(possibly)consume4,000MBofrawdisk•Tier2–中端e.g.FibreChanneloriSCSI–£5-6