Informatica数据集成

®技术交流数据集成产品介绍Informatica中国区产品专家杨晓东12挑战是什么？市场趋势加速数据分散状况•TDWI调查：•不好的数据质量导致美国商业市场每年花费6千亿美金•超过55%公司必须投资高水平的人员与预算来进行数据集成工作•VentanaResearch•超过60%的IT预算花费在“集成”工作上•为了集成而集成•Gartner：•“缺乏全面性的策略…”使得“集成”所付出的成本相当高3数据类项目的工作重心来源OLTP系统s数据集市•需求•设计•映射•提取•转换•改造•加载•检索•汇总•复制•数据分发•访问和分析•资源规划和发布元数据统一系统和用户管理DataWarehouse4数据集成之主流技术论述Case'Y’col2=col2*10-2ifcol3=2thencol4=lkp(col1,col2)elsecol4=0endifCase‘N’col2=10col4=lkp(col3,col5)脚本级驱动以元数据为驱动、引擎式的工具,Informatica为代表5数据整合之主流技术论述以元数据为驱动、引擎式的工具,Informatica为代表6企业一般的数据整合工作和技术主机端ControlM+JCL+Cobol开放系统端PL-SQLJAVAShell….HandCoding!!人工编写7图形化工具平台vs人工编写程序采用工具和人工编写程序的成本，在一定的时间后，成本产生了反转的结果初期成本：•软件费用•培训•硬件维护费用•因商业需求的变化导致复杂度的上升•程序的继续维护的费用•重新构建的费用采用工具:•ETL人工编写程序：•Hand-codedETL•Home-grownEII,EAI•Low-endreplication时间成本Source:ForresterResearch分析师说：数据整合的成本只在于付出的时间点而已8Informatica公司简介•成立于:1993•总部:RedwoodCity,California•员工:1,300+•公司分布:NorthandSouthAmerica,Europe,AsiaPacific,中国•收入:$367million(2006)•市占率第一(GartnerDataquest)•Customers:3,000+•金融100大中79家公司•80%道琼斯工业指标上市公司•全球超过20个国家的政府部门公司使命Helpenterprisecustomersimplementadataservicesarchitecturetogainthemostbusinessvaluefromtheirdataassets帮助客户建立统一数据服务平台架构并从数据资产中获得最大的商业价值公司目标DataIntegrationProductsandServices数据集成产品及服务9Informatica解决方案产品构成MetadataManagerRemoteDataReal-timedataBAM,Real-timeBICorporatedataTraditionalBI,CPMITdataMetadata,quality,profilingMainframeReal-timeFileFormatsDatabasesDataAnalyzerPowerCenterPowerExchange元数据报表工具核心产品：数据集成平台企业级元数据管理用于连接主机数据/AS400、Oracle、DB2、SQL数据源的CDC、RealTime;ERP（SAP等）、EAI（MQ、WebService等）DataQuality数据质量管理®数据集成平台PowerCenter介绍1011InformaticaPowerCenter体系结构UNIX(AIX,HPUX,Solaris,Linux)Windows12DataProfilingDataQuality监督,观察,报告确保数据一致,提供影响分析与持续的数据质量监控PowerCenterPowerExchange访问Anysysteminbatchorreal-time分发集成Providerightdata,attherighttime,intherightformatTransformandreconcilealldatatypes清洗探查Validate,correctandstandardizealldatatypesSearchandprofileanydatafromanysourceInformatica产品平台及贯穿整个数据生命周期的完整方法论开发与管理以开放的元数据储存库与共享元数据为协同开发的基础13PowerCenter图形化界面完全图形化操作、易使用、易开发、易维护14WebServicesMQSeriesJMSTIBCOwebMethodsSAPNetWeaverXIEncyryptedstreamPeoplesoftOracleAppsSiebelSAS…SAPNetWeaverSAPIDOCSAPBCISAPDMISAPBWOracleDB2UDBDB2/400SQLServerSybaseInformixTeradataODBCFlatFilesWebLogs…XMLIndustryFormatsFlatFilesFTPComplexFilesTapeFormats…Informatica数据集成连接性ERPDatabasesXMLFlatfilesMainframeUnstructuredDataMessagesADABASDatacomDB2IDMSIMSVSAMC-ISAMTapeFormats.PDF.DOC.XLSEmail广泛的数据源支持，包括结构化、半结构化、非结构化数据15企业范围的部署•HighAvailability•网格计算•动态分区•Push-down••CDC•完全开放的中立体系架构元数据管理影响分析目录级浏览数据库管理统计模型工具管理统计自定义CWM元模型Informatica企业数据集成平台价值可重用的数据服务•元数据的可复用性•基于组件的体系结构•内置dataprofiling,dataquality&datagovernance,包括审计、跟踪•开放式标准的数据交付广泛的数据源支持•所有数据源：主机、RDBMS、XML、文本•所有数据格式:：结构化、半结构化&非结构化•所有数据访问方式：批量、实时、联邦、CDC高生产力•“无脚本”图形化开发•跨整个生命周期的团队协同开发•易维护•Mapping模板16丰富的ETL功能异构数据源，异构目标实现多种缓慢变化维全局变量及参数，支持参数文件局部变量，前后记录比较条件汇总异构数据源关联行/列转换静态、动态Lookup支持ETL事务处理自定义SQLPreSQL和PostSQL复用组件复用Mapping调用存储过程调用外部用户自定义过程可视化Debug强大的函数支持、功能丰富的转换语言……数据源为文件列表SessionRecovery基于多目标表约束装载错误数量控制FTP源和FTP目标ETL任务分区增量汇总测试装载BulkLoadingExternalLoader(Oracle、DB2、SYBASE…)复用Workflow功能丰富的Workflow控制任务串行、并行控制基于时间、事件和指示文件触发任务Workflow中调用操作系统外部命令Workflow中调用Email多ETLServer协同工作…….17数据有效性、完整性、准确性A区源结构B区判断无效数据区见需求文档1.1.2.1中第3、4点，生成flag_invalid标识位，当flag_invalid=1,为无效数据当flag_invalid=0,为有效数据C区将数据进行分组D区无效数据写入目标表UNT_ATMTXN此表结构与源的唯一差别：最后多了一个字段error_desc.并将B区中生成的error_desc字段，写入此表最后字段。E区分组后的有效数据，按需求文档1.1.2.1第4点，处理流过的sArr[5],sArr[24]sArr[30]，并在exp_11中，实现根据清算日期生成字段”tab_no_out”算出应该指向的目标表。F区主要针对自主清算表四个区的字段，作转换对照。Exp_1:基本键值区;Exp_basic:基本数据区Exp_qs:清算区;Exp_other:其他关键数据区G区根据tab_no_out字段分组，将不同的组数据自动指向相应的目标表中18PowerCenter扩展功能MetadataExchange（元数据交换）扩展功能DataFederation(数据联邦)扩展功能DataProfiling（数据质量探查）扩展功能Team-basedDevelopment（团队开发）扩展功能Partitioning（分区）扩展功能UnstructuredData（非结构化数据）扩展功能Pushdown扩展功能EnterpriseGrid扩展功能Visio模板(Mapping生成器)扩展功能Real-Time（实时）扩展功能19MetadataExchange（元数据交换）扩展功能ODBC、Erwin、PowerDesigner、OracleDesigner、XML和Informatica的Repository同步元数据使用SDK开发提供与第三方元数据交换的接口元数据比对、同步功能20MetadataExchange（元数据交换）扩展功能AdaptiveRepositoryFoundationBusinessObjectsDataIntegratorBusinessObjectsDesignerCAAllFusionERwinDataModeler4.xCAAllFusionGenCAERwin3.x(ERX)andCAERwin3.5x(exportonly)CognosImpromptu(importonly)CognosReportNetFrameworkManagerEmbarcaderoER/StudioHyperionApplicationBuilderHyperionEssbaseIntegrationServicesSybasePowerDesignerIBMDB2CubeViewsIBMDB2WarehouseManagerIBMRationalRoseMicrosoftVisioDatabaseMicroStrategyOMGCWMOracleDesignerOracleWarehouseBuilderPopkinSystemArchitectSASETLStudioSelectSESilverrun-RDM21DataFederation(数据联邦)扩展功能InformaticaEnterpriseDataIntegrationPlatformPowerCenterStandardEditionPowerCenterAdvancedEditionPowerExchangePowerCenterOptionsDataFederationOption22DataFederation(数据联邦)扩展功能23DataFederation(数据联邦)扩展功能提供EII功能,包括数据联邦访问建立虚拟的数据视图发布视图到客户端应用软件扩展了核心的PowerCenter企业数据集成能力快速、直接的数据访问当前数据广泛的客户端访问快速开发扩展用户使用角度24DataProfiling（数据质量探查）扩展功能数据质量控制的前期工作数据源或目标的自动或自定义数据探查图形化报表完全集成在informatica一个客户端内，统一的工具和用户界面提供第三方BI工具的访问接口25PowerCenterDataProfiling（数据质量探查）体系架构DBMSReal-Tim