PowerCenter学习文档+说明+手册.ppt

InformaticaPowerCenter培训 李婧2010 04 13811408263MSN xiche 第一天 产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试 INFA产品线 INFA支持情况 PowerCenter选件 丰富的ETL功能 Real Time实时功能Partitioning分区功能HighAvailability高可靠性功能Pushdown功能EnterpriseGrid网格功能Team basedDevelopment团队开发功能MetadataExchange元数据交换功能UnstructuredData非结构化数据功能Visio模板Mapping生成器功能DataFederation数据联邦功能DataProfiling数据质量探查功能 异构数据源 异构目标实现多种缓慢变化维全局变量及参数 参数文件局部变量 前后记录比较条件汇总异构数据源关联行 列转换静态 动态Lookup支持ETL事务处理自定义SQLPreSQL和PostSQL复用组件复用Mapping调用存储过程调用外部用户自定义过程可视化Debug强大函数支持 丰富转换语言 数据源为文件列表SessionRecovery基于多目标表约束装载错误数量控制FTP源和FTP目标ETL任务分区增量汇总测试装载BulkLoadingExternalLoader Oracle DB2 复用Workflow功能丰富的Workflow控制任务串行 并行控制基于时间 事件和指示文件触发任务Workflow中调用OS外部命令Workflow中调用Email多ETLServer协同工作 InformaticaPowerCenter应用架构 PowerCenterServer和数据移动 PowerCenterServer 资料库 源和目标之间的处理路径 PowerCenter产品组件 服务端组件客户端组件 第一天 产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试 产品安装与样例安装 产品安装服务器安装客户端安装详见安装手册样例安装数据库准备RDBU 资料库数据库 SDBU 样例源数据库 TDBU 样例目标数据库 BDBU 样例参考数据库 样例数据准备样例参考导入 第一天 产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试 系统管理 InformaticaServer管理http localhost 6001DomainManagerNodeManagerRepositoryServiceManagerIntegrationServiceManagerLicenseManager资料库内容管理RepositoryManagerFolderManagerPrivilegeManager 第一天 产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试 开发六大步骤示意图 定义源定义目标创建映射定义任务创建工作流工作流调度监控 Designer WorkflowManager WorkflowMonitor 第一步 定义源 引入源的类型RelationaldatabaseFlatfileCOBOLfileXMLobjectApplication 源分析器 InformaticaService ODBCMappedDriveNFSMountingLocalDirectory SaveMetaDataofSources OPB SRCOPB SRC OPB SRC FLDOPB SRC FLD 第二步 定义目标 引入目标的类型RelationaldatabaseFlatfileCOBOLfileXMLobjectApplication 目标分析器 SaveMetaDataofTargets OPB TARGOPB TARG OPB TARG FLDOPB TARG FLD 第三步 创建映射 第四步 定义任务 第五步 定义工作流 第六步 工作流调度监控 第一天 产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试 数据转换调试 组件介绍Expression组件Filter与RouterJoiner与LookupAggregator组件 第二天 组件列表 SourceQualifier 从数据源读取数据Expression 行级转换Filter 数据过滤Sorter 数据排序Aggregator 聚合Joiner 异构数据关接连接Lookup 查询连接UpdateStrategy 对目标编辑insert update delete rejectRouter 条件分发SequenceGenerator 序列号生成器 组件列表 Normalizer 记录规范化Rank 对记录进行TOPxUnion 数据合并TransactionControl 对装载数据按条件进行事务控制StoredProcedure 存储过程组件Custom 用户自定义组件HTTP WWW组件Java Java自编程组件 其它应用组件 组件类型 Passive组件流入流出组件的行数不发生变化例如 Expression Lookup HTTP组件Active组件流入流出组件的行数会发生变化例如 Aggregator Router Filter组件 P A 函数分类 聚合函数字符串函数转换函数数据清洗函数日期函数编码函数财务函数数值函数数学函数特有函数判断函数用户自定义函数 函数列表 组件介绍Expression组件SourceQualifier Filter与RouterJoiner与LookupAggregator组件 第二天 Expression组件 组件功能基于行级的数据项赋值 修改 计算在同行记录中可新增 减少数据项组件类型Passive组件应用范围数据类型转换 例如Expression to date Port1 yyyymmdd 数据项计算 例如Expression Port1 Port2 Port3新增变量 例如Expression i i 1 Expression组件 练习一 Expression组件 描述将原始客户信息记录转换成合格标准的数据导入到暂存区 源表 customer east txtcustomer west txtcustomer central txt目标 TDBU STG CUSTOMERS要点姓与名合并为姓名 号码转换成易读格式的号码 如 466 766 283 性别转换 将F转换成FEMALE M转换成MALE 其它转换成UNK 年龄分段 20岁以下 20 29 30 39 40 49 50 60 60岁以上 解决方案详见m LAB 01 组件介绍Expression组件SourceQualifier Filter与RouterJoiner与LookupAggregator组件 第二天 SourceQualifier Filter组件 组件功能对流入组件中的记录数据进行过滤类似于关系型数据库Where应用与SourceQualifier的过滤功能区别在执行位置上组件类型Active组件应用范围数据过滤 SourceQualifier Filter组件 注意 在SourceQualifier中的UserDefinedJoin SourceFilter NumberofSortedPorts中定义了SQL条件 那么 在SqlQuery中就不要在重写相关的SQL条件 否则 将不会生效 Router组件 组件功能对流入组件中的记录数据按照条件进行分发类似于Java语言中的Switch语句组件类型Active组件应用范围数据分发 Router组件 练习二 描述将暂存区的客户信息按照性别分别导入到男 女 性别不明三张表内 源表 TDBU STG CUSTOMERS目标 TDBU STG CUSTOMERS FEMALETDBU STG CUSTOMERS MALETDBU STG CUSTOMERS UNK要点偿试用Filter组件多种方法对目标进行装载解决方案详见m LAB 02 练习三 描述将暂存区的客户信息按照性别分别导入到男 女 性别不明三张表内 源表 TDBU STG CUSTOMERS目标 TDBU STG CUSTOMERS FEMALETDBU STG CUSTOMERS MALETDBU STG CUSTOMERS UNK要点使用Router组件对数据进行分发比较Filter与Router各种方法的应用特点 性能解决方案详见m LAB 03 组件介绍Expression组件SourceQualifier Filter与RouterJoiner与LookupAggregator组件 第二天 Joiner组件 组件功能对异构数据进行关联 同构关联用SourceQualify组件 类似于SQL中的Join语句组件类型Active组件应用范围2个异构数据类型的表关联 同构Joins与异构Joins 同构Joins 同种结构数据SourceQualify组件从源直接Joinsn个源可用1个SQ组件在源中先定义连接关系 异构Joins 不同DB或Flat与Flat之间Joiner组件在PowerCenter中Joinsn 1个Joiner组件在Joiner中定义连接条件 Joiner组件 Join类型 练习四 描述将员工信息与员工工资2个异构表关联后 将关联结果数据倒入到暂存区 源表 Employees layout结构Employees list txt文件目录Employees east txtEmployees west txtEmployees central txtSalary txt目标 TDBU STG EMPLOYEES要点用Joiner组件进行Mapping设计注意Master与Detail的设置选择 关联时建议将数据量少的设置为Master 解决方案详见m LAB 04 练习五 描述将员工信息与员工工资2个同构表关联后 将关联结果数据倒入到暂存区 源表 SDBU EMPLOYEESSDBU SALARY目标 TDBU STG EMPLOYEES要点用SourceQualify组件进行Mapping设计注意关联关系设置建议N个同构数据源只需用1个SourceQualifier组件关联 关联时建议将在Source设计区将需要关联的源表手工用连线关联起来 在Mapping设计区删除各个源所带的SourceQualifier组件 用一个新的SourceQualifier组件包含所有源的字段内容 解决方案详见m LAB 05 Lookup组件 组件功能对FlatFile或数据库根据关联的条件进行查询返回符合条件的值 否则为空连接关联与非连接关联类似于SQL中的Join语句组件类型Passive组件应用范围查询文本文件的关联数据查询数据库的关联数据 连接Lookup与非连接Lookup Lookup源 Lookup组件 查询条件 ITEM ID IN ITEM IDPRICE IN PRICE 流入值 查询输出值 流入值 查询到的值 Lookup组件 组件 查询条件 IIF ISNULL customer id lkp MYLOOKUP order no customer id 是否查询Y 返回查询到的值 Lookup组件 练习六 描述将员工信息去员工工资文本文件查询员工工资信息 未查到的工资默认为0 最后将结果数据倒入到暂存区 源表 Employees layout结构Employees list txt文件目录Employees east txtEmployees west txtEmployees central txtSalary txt目标 TDBU STG EMPLOYEES要点用连接Lookup组件进行Mapping设计注意Salary FlatFile 的设置解决方案详见m LAB 06 练习七 描述将合格的员工信息去员工工资文本文件查询员工工资信息 未查到的工资默认为0 最后将。