234_11g Oracle信息集成 (30 页)

DisclaimerThefollowingisintendedtooutlineourgeneralproductdirection.Itisintendedforinformationpurposesonly,andmaynotbeincorporatedintoanycontract.Itisnotacommitmenttodeliveranymaterial,code,orfunctionality,andshouldnotberelieduponinmakingpurchasingdecisions.Thedevelopment,release,andtimingofanyfeaturesorfunctionalitydescribedforOracle’sproductsremainsatthesolediscretionofOracle.InsertPictureHereOracle11g中的信息集成信息集成•信息集成的业务收益:在合适的时间把正确的信息准确地提交给需要信息的人•Oracle11g可以解决您信息集成问题中的挑战•多种集成技术•拖曳式的设计方式•统一的元数据存储数据集成技术路线图数据迁移技术数据联合技术•对多个分布式系统实现实时的透明访问•把多个数据存储集看作一个单一的Oracle数据库•解决方案:数据库透明网关•在多个远程数据库里的表看起来就像本地表•自动两阶段提交•SQL语法转换•数据类型转换•数据字典转换•支持远程存储过程调用SQL数据库网关:产品列表Oracle10gOracle11gGenericConnectivityDatabaseGatewayforODBCOpenSystemsGatewaysDatabaseGatewayforSybaseDatabaseGatewayforSQLServerDatabaseGatewayforInformixDatabaseGatewayforTeradataMainframeIntegrationGatewaysDatabaseGatewayforDB2Z/OSEnterpriseIntegrationGatewaysDatabaseGatewayforDRDADatabaseGatewayforAPPCDatabaseGatewayforWebSphereMQDatabaseGatewayforDB2/400AccessManagerforAS400DatabaseGatewayforVSAMDatabaseGatewayforIMSDatabaseGatewayforAdabas新增数据复制技术•低负载的数据迁移•解决方案:Oracle流技术•整合的平台:•复制•消息队列•事件管理和通知•应用升级•其他…应用捕获流技术:体系架构RedoLogs•捕获:低负载基于日志的捕获•传播:基于消息•应用:并行，冲突解决•所有站点都是活动并且可更新的•灵活的配置方式–多路,hub&spoke,…•数据库运行平台/版本/schema结构都可以不同传播目标数据库源数据库ELT技术•批量的数据传输和移动抽取ExternalTablesSQL*LoaderDataPumpTransportableTablespacesMulti-TableInsertMERGETableFunctions装载转换插入数据集成技术路线图什么是OWB?•一个内置于Oracle数据库内部的业界领先的数据集成和数据质量管理工具•从各种异构数据源整合数据•高效率(ELT&ETL架构)，专为Oracle进行的优化•支持RAC，所以具有极强的扩展性•可定义的，高效率的拖曳式设计方式•预定义ERP/CRM连接(EBS,Siebel,SAPandPeopleSoft)•提高企业数据质量•姓名与地址的清洗•模糊匹配与合并•数据质量分析与审计•支持在质量分析和ETL过程中定义业务规则•支持Oracle的数据建模•关系型建模(tables,views,MVs,UDT,etc.)•多维建模(缓慢变化维,OLAP支持,etc.)•企业级元数据管理•端到端的属性级别的数据衍生分析和影响性分析•可扩展的元数据存储仓以保存更多的元数据OWB–优势分析提供当今用户所需要的能力•支持Oracle数据库的可扩展的数据整合工具•完整的数据管理(质量分析,访问,修改,审计)•完全文档化，可审计的，集成的元数据•可以作为Oracle11g的一部分安装所有特性都在一个工具的同一个界面内完成OWB市场定位ETL:映射•图形化，可模块化定义的数据流模型•从源到目标的映射•与数据质量管理整合•姓名地址标准化•匹配/合并•质量检查•生成SQL与PL/SQL代码•Merge,transportabletablespaces,datapump,sqlloader,xmldatatypes,BLOBS/CLOBS,…•可重用客户自定义数据转换程序•可定义为可重用的逻辑映射块ETL:进程流•图形化，直观的流程与工作流定义•协同执行数据映射与其它数据库活动•创建复杂转换•发送邮件,FTP源/目标文件,调用外部进程,SQLPlus,通知等•生成结果为OracleWorkflow,OracleScheduler&XPDLOWB中的数据质量管理•数据质量管理功能被整合在整个ETL过程当中•以严格的方式保证数据质量，而不是事后补救•数据质量模块与其它的数据转换模块一样是模块化，可执行并且可审计的•包含•数据质量检测•姓名与地址清洗•匹配-合并数据质量检测•允许用户对数据进行分析•浏览数据结构•捕获数据定义•识别异常与特殊数据•自动生成业务规则，并可在映射中进行数据清洗•生成数据质量指数(如6-sigma)•以一种持续的模式监控和审计数据质量•被整合于整个ETL过程当中ColumnsPatternFormatFormat%CompliantUniqueHdateYYYY-MM-DDDate82%SSN9(3)-9(2)-9(4)USSocialSecurityNumber3%Phone9(3)-9(3)-9(4)USPhoneNumber16%Id9(5)NotFoundN/[e-mail]99%No数据质量检测数据清洗•数据解析•数据标准化•数据修正•缺失数据填充InputDataCorrectedDataName:JosephineRandomName:Ms.JosephineRandomTitle:SeniorManagerTitle:Sr.Mgr.CompanyName:OracleCompanyName:OracleCorp.Address:500oracleparkayAddress:500OraclePkwyLine1:redwood,az94065City:RedwoodCityState:CAPostalCode:94065-1675Line2:USACountry:USAPhone:5067000Phone:[phone]E-mail:[e-mail]-mail:[e-mail]:F匹配-合并•匹配是指通过业务规则来判定是否多条不同的记录实际上属于同样的纪录•合并是指通过业务规则把多条匹配的结果集变成一条完整的纪录•支持多种算法•匹配-合并常用于•消除重复纪录•家族关系•纪录关联数据对象设计–统一编辑器•在一个界面内完成创建，配置。验证，代码生成，影响性分析，部署以及数据察看•维,立方体,表,视图,复合对象,…•支持星型,雪花型,缺失层,计算度量值,…•支持业务级定义对象编辑器元数据服务•数据依赖性管理•数据演变•影响性分析•元数据快照•变更管理(比较,合并与冲突解决)•安全访问(角色设定)•支持多种语言(MLSviaXLIFF)•可扩展性–用户定义属性,对象,以及关联•报告(基于浏览器)•APIs(Scripting,SQL,PL/SQL)•元数据交换(导入/导出)影响性分析OWB与流的技术路线图•用户选择技术的原则:•从业务需求的角度而不是纯技术的角度选择•是否需要捕获变化数据?•数据频度？什么对象需要传输•为流和CDC提供向导式的定义方法•统一的ETL设计•对批量数据的ETL或者ELT采用Pull模式•EAI或者流适用于Push模式为OracleStreams提供一个完整的设计与部署的平台:•统一的元数据存储仓•设计所有相关流程(捕获，应用等.)•管理所有运行时活动(部署,运行,管理)DEMO数据集成技术路线图