Kettle使用手册及测试案例

1、kettle】window 安装与配置1、下载 kettle 包，并解压 http:/ .打开我的电脑-属性-高级-环境变量b) .新建系统变量JAVA_HOME和CLASSPATH变量名：JAVA_HOME变量值：C:Program FilesJavajdkl.7.0具体路径以自己本机安装目录为准 变量名： CLASSPATH变量值： .;%JAVA_HOME%libdt.jar;%JAVA_HOME%libtools.jar;c) .选择“系统变量”中变量名为“Path”的环境变量，双击该变量，把JDK安 装路径中bin目录的绝对路径，添加到Path变量的值中，并使用半角的分号和已 有的路径进行分隔。变量名： Path 变量值： %JAVA_HOME%bin;%JAVA_HOME%jrebin;3、配置 kettle 环境在系统的环境变量中添加KETTLE_HOME变量，目录指向kettle的安装目录： D:kettledata-integration 4、启动 spoonWindows直接双击批处理文件Spoon.bat具体路径为:kettledata-integrationSp

2、oon.batLinux则是执行spoon.sh，具体路径为:/kettle/data-integration/spoon.sh二、使用Kettle同步数据同步数据常见的应用场景包括以下 4 个种类型只增加、无更新、无删除只更新、无增加、无删除增加+更新、无删除增加+更新+删除只增加、无更新、无删除对于这种只增加数据的情况，可细分为以下 2 种类型1) 基表存在更新字段。通过获取目标表上最大的更新时间或最大ID,在“表输入”步骤中加入条件限制只读取新增的数据。茯取最犬ID表输人表输出2) 基表不存在更新字段。通过“插入/更新”步骤进行插入。测试表输入2插入更新插入/更新步骤选项：只更新、无增加、无删除通过“更新”步骤进行更新。测试表输入32更新更新选项：增加+更新、无删除通过“插入/更新”步骤进行插入。测试表输？ 2插入,，更新区别是“插入/更新步骤”中的选项，去掉“不执行任何更新”的勾选:增加+更新+删除这种数据同步情况，可细分为以下 2 种情况1) 源库有表保存删除、更新和新增的信息。通过条件判断，分别进行“插入/更新”和“删除”即可，如下图所示。Switch /删除插入：更新2测

3、试表输入4空操作(什么也不做2) 源库没有保存增删改信息Kettle 提供了一种对比增量更新的机制处理这种情况，可通过“合并记录”步 骤实现，该步骤的输入是新旧两个数据源，通过关键字进行数据值比对，对比结 果分为以下4 种类型：“Identical”: 关键字在新旧数据源中都存在，域值相同“changed”: 关键字在新旧数据源中都存在，但域值不同“new”: 旧数据源中没有找到关键字“deleted”: 新数据源中没有找到关键字 两个数据源的数据都进入下一步骤，上述 4 种结果类型作为输出表的标志字 段进行保存。以下为示例：源数据库测试脚本create table k1 (f1 varchar2(200),f2 varchar2(200) truncate table k1;insertinto k1(f1,f2) values(1,11);insert into k1(f1,f2) values(2,22);insert into k1(f1,f2) values(5,5);commit;目标数据库测试脚本create table k1 (f1 varchar2(200),f2 v

4、archar2(200) truncate table k1;insert into k1(f1,f2) values(1,1);insert into k1(f1,f2) values(2,2);insert into k1(f1,f2) values(3,3);insert into k1(f1,f2) values(4,4); commit;合并过程如下：其中“合并记录”步骤的选项：FlF2BZ111changed222changed33deleted斗斗deleted55nev执行后，查询 K1_TEST 结果如下：可以看到，该结果表的BZ字段保存了更新、删除、新增的记录信息，通过 条件分支即可分别对这些记录进行相应的处理。“条件”选项：小结Kettle提供了可视化的设计工具，基本上可通过拖拉配置的方式实现以上4 种类型的数据同步，操作上相对较为简单。数据同步的性能与源数据库、目标数据库以及执行Kettle转换操作的主机相 关，在笔者的测试环境上（源数据库和目标数据库部署在双核CPU/4G内存的PC 机上、执行 Kettle 转换操作的主机配置为双核 CPUx2/4G 内存，

5、JVM 内存堆栈 为256M）、最后一种类型的数据同步，15w的数据，在3分钟内可以完成。执行结果回画Q执行历史心 日志Step Metrics 远性能圉A4 #蜩名称复制的记录行数读写揃出詮拒樂剧勸舌时间範銅却）1合并记录030843115421600000已就2mn 57s1,7412TMP.DWJBXX01542161542160154216000已就2mn 59s8513Switch / Case015421615421600000已就2mn 57s86S4删除01100100已議2mn 59s05證作（什么幘甑015421415421400000已就2mn 57s8686赵/更新01110100已就2mn 59s07TB.DWJBXX001542151542150000已就2mn 56s8728IDX_DWJBXX001542161542160000已就2mn 53s8S7三、案例1, 把 172.17.100.189 中的 ca_fwdj.tpf_txqdjb 数据同步到 172.16.1.199 中的 bank.tpf_txqdjb中。6w级数据/与射更爭ca_fwdj_

6、lxjqdjb76394Q6394063WDSwitch / Czise063MD63940000&000C-&0曲旳53939000 &11140二膜Pri/in/oul09.157.MX)-0巳题AMS-0Imn 8s-0Imn 8sK9-0Iron 12&1,758-QBctfiSImn 15eB4T-0険Imn 15sB47-0GSfiEImn 15s0-QBsfiSimn 15e547-0已就Imr 0-2, 把 172.17.100.189 中的 ca_fwdj.tpf_jcdjb 数据同步到 172.16.1.199 中的 bank.tpf_jcdjb 中。 14w级数据*运弓ffiA捧出更岳拒is欄世爱張翩FrylrVoirti-B_Fwdjj-:djb0014005114ML310DD18.7s7.&0-22.bank_jcdjb0&1400J1UM3L00D0BAheImn 29&1,5613SaurreD141M311400J1000Q02mn j*5s岡4Target014OT51D0DD02mn 25902502B0062140051D0DD02mn 32?1,5336banlfjcdjbnew0140D31UQDJ1D14D0310D02mn JSe7Sftch /014OAJ1140031Q0CfD02imn 2t-S00000PP2mn 3別0 -g010OD2114OD21D00Dn2nnEB4讪01014IDQ讪a42mn 3Ssi血-3, 连接异构数据库，读取MySql数据保存到Oracle数据库中；如果数据转换过程中有异常， 可以记录异常信息（可以记录到文件或者数据中，通过二次开发，可以实时以短信的形式 提醒）4,异常日志：和SourceD -55B74L104010DQ0已令上4w 2Lh沖0 5轴歸0JPacDac己忙4*m 21p6BankjgisFwTipwDG000D0&Hatingdirr 2Ls0晒7Eivibch / C jm

《Kettle使用手册及测试案例》由会员汽***分享，可在线阅读，更多相关《Kettle使用手册及测试案例》请在金锄头文库上搜索。