InformaticaPowerCenter培训

12013-102PowerCenter选件丰富的ETL功能Real-Time实时功能Partitioning分区功能HighAvailability高可靠性功能Pushdown功能EnterpriseGrid网格功能Team-basedDevelopment团队开发功能MetadataExchange元数据交换功能UnstructuredData非结构化数据功能Visio模板Mapping生成器功能DataFederation数据联邦功能DataProfiling数据质量探查功能异构数据源，异构目标实现多种缓慢变化维全局变量及参数，参数文件局部变量，前后记录比较条件汇总异构数据源关联行/列转换静态、动态Lookup支持ETL事务处理自定义SQLPreSQL和PostSQL复用组件复用Mapping调用存储过程调用外部用户自定义过程可视化Debug强大函数支持、丰富转换语言数据源为文件列表SessionRecovery基于多目标表约束装载错误数量控制FTP源和FTP目标ETL任务分区增量汇总测试装载BulkLoadingExternalLoader(Oracle、DB2.)复用Workflow功能丰富的Workflow控制任务串行、并行控制基于时间、事件和指示文件触发任务Workflow中调用OS外部命令Workflow中调用Email多ETLServer协同工作……Informatica9INFA9系列产品功能情况•第一部分：产品体系介绍3Informatica客户端数据源ODBCNATIVE目标ODBCNATIVEDomainAdministratorConsoleUNIX(AIX,HPUX,Solaris,Linux)WindowsIntegrationServiceRepositoryService----------------------------RepositoryAgentPowerCenter服务端TCP/IPNATIVENATIVE4数据源源数据目标已转换数据资料库PowerCenterServer来自元数据的指令PowerCenterServer、资料库、源和目标之间的处理路径5•服务端组件•客户端组件InformaticaService：PowerCenter服务引擎IntegrationService：数据抽取、转换、装载服务引擎RepositoryService：知识库Service，管理ETL过程中产生的元数据AdministratortionConsole：用于知识库的建立与维护RepositoryManager：知识库管理，包括安全性管理等Desinger：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射WorkflowManager：合理地实现复杂的ETL工作流，基于时间、事件的作业调度WorkflowMonitor：监控Workflow和Session运行情况，生成日志和报告6•产品安装•服务器安装•客户端安装•详见安装手册G:\STUDY\powercenter\InformaticaV9.x安装手册.doc7•InformaticaServer管理••DomainManager•NodeManager•RepositoryServiceManager•IntegrationServiceManager•LicenseManager•资料库内容管理•RepositoryManager•FolderManager•PrivilegeManager•……第三部分：系统管理介绍8①S③②T④ST⑤WF⑥M①定义源②定义目标③创建映射④定义任务⑤创建工作流⑥工作流调度监控具体操作讲解：G:\STUDY\powercenter\个人总结\powercenter客户端-开发操作总汇.docxDesigner:①~③WorkflowManager:④~⑤WorkflowMonitor:⑥第四部分：开发六大步骤9引入源的类型•Relationaldatabase•Flatfile•COBOLfile•XMLobject•Application源分析器InformaticaServiceODBCMappedDriveNFSMountingLocalDirectorySaveMetaDataofSources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_……10引入目标的类型•Relationaldatabase•Flatfile•COBOLfile•XMLobject•Application目标分析器SaveMetaDataofTargets:OPB_TARGOPB_TARG_OPB_TARG_FLDOPB_TARG_FLD_……ODBCMappedDriveNFSMountingLocalDirectoryInformaticaService11目标源转换组件12SessionTask工作目录Task工作区131415目标装载情况经过每个调试的数据流FlashingyellowSQLindicatorDebugger模式SolidyellowarrowCurrentTransformationindicator调试日志16组件介绍Expression组件Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件第二章节17SourceQualifier:从数据源读取数据Expression:行级转换Filter:数据过滤Sorter:数据排序Aggregator:聚合Joiner:异构数据关接连接Lookup:查询连接UpdateStrategy:对目标编辑insert,update,delete,rejectRouter:条件分发SequenceGenerator:序列号生成器18Normalizer:记录规范化Rank:对记录进行TOPxUnion:数据合并TransactionControl:对装载数据按条件进行事务控制StoredProcedure:存储过程组件Custom:用户自定义组件HTTP:组件Java:Java自编程组件其它应用组件19Passive组件◦流入流出组件的行数不发生变化◦例如：Expression、Lookup、HTTP组件Active组件◦流入流出组件的行数会发生变化◦例如：Aggregator、Router、Filter组件×PA√20聚合函数字符串函数转换函数数据清洗函数日期函数编码函数财务函数数值函数数学函数特有函数判断函数用户自定义函数2122组件介绍Expression组件SourceQualifier、Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件23组件功能◦基于行级的数据项赋值、修改、计算◦在同行记录中可新增、减少数据项组件类型◦Passive组件应用范围◦数据类型转换，例如Expression：to_date(Port1,’yyyymmdd’)◦数据项计算，例如Expression：(Port1+Port2)/Port3◦新增变量，例如Expression：i=i+124当数据项为空时的默认值流入组件的数据项流出组件的数据项组件中定义的变量25组件介绍Expression组件SourceQualifier、Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件26组件功能◦对流入组件中的记录数据进行过滤◦类似于关系型数据库Where应用◦与SourceQualifier的过滤功能区别在执行位置上组件类型◦Active组件应用范围◦数据过滤27流入组件的数据项在日志中显示详细级别SourceQualifier组件中的过滤条件设置注意：在SourceQualifier中的UserDefinedJoin、SourceFilter、NumberofSortedPorts中定义了SQL条件，那么，在SqlQuery中就不要在重写相关的SQL条件，否则，将不会生效。28组件功能◦对流入组件中的记录数据按照条件进行分发◦类似于Java语言中的Switch语句组件类型◦Active组件应用范围◦数据分发29流入组件的数据项30组件介绍Expression组件SourceQualifier、Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件31组件功能◦对异构数据进行关联（同构关联用SourceQualify组件）◦类似于SQL中的Join语句组件类型◦Active组件应用范围◦2个异构数据类型的表关联32同构Joins•同种结构数据•SourceQualify组件•从源直接Joins•n个源可用1个SQ组件•在源中先定义连接关系异构Joins•不同DB或Flat与Flat之间•Joiner组件•在PowerCenter中Joins•n-1个Joiner组件•在Joiner中定义连接条件33MasterDetailMasterSourceDetailSourceJoinerJoinResultsJoin条件：Master.ProductID=Detail.ProductIDJoin条件34流入组件的数据项MasterDetail=+MasterDetail=MasterDetail+=MasterDetail++35组件功能◦对FlatFile或数据库根据关联的条件进行查询◦返回符合条件的值，否则为空◦连接关联与非连接关联◦类似于SQL中的Join语句组件类型◦Passive组件应用范围◦查询文本文件的关联数据◦查询数据库的关联数据36Lookup源Lookup组件查询条件：ITEM_ID=IN_ITEM_IDPRICE=IN_PRICE流入值查询输出值流入值查询到的值Lookup组件组件查询条件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_no),customer_id)是否查询Y返回查询到的值37查询的数据项，返回关联的值返回值38组件介绍Expression组件SourceQualifier、Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件39组件功能◦对数据集进行聚合◦聚合分有SUM、AVG、Count、Max、Min……组件类型◦Active组件应用范围◦分组汇总◦平均值、最大值40GroupBy选项变量和流出数据项的表达式41注意区别：SUM(IN_count,IIF(ID20,IN_count))－－将不符合条件的值默认赋值为nullIIF(ID20,SUM(IN_count))－－将不符合条件的值默认赋值为042参与GroupBy的字段是否经过排序参与聚集汇总的变量和输出数据项的表达式所占内存参与GroupBy的字段所占用的内存43IDNAMEQUANTITY1北京1002上海803北京904江苏905北京120IDNAMEQUANTITY1北京1003北京905北京1202上海904江苏90按北京分组指针按北京分组指针不对流入到Aggregator组件的数据进行排序对流入到Aggregator组件的数据进行排序44组件介绍Expression组件SourceQualifier、Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件45组件功能◦对流过组件的每一条记录赋一个操作标志◦根据操作标志