Kettle产品详细介绍--精选文档

1、2017-12-9晴天云 Kettle产品详细介绍目录Kettle产品详细介绍0Kettle产品详细介绍21.Kettle简介22.Kettle 的安装23.Kettle 的详细介绍33.1Kettle 资源库管理33.1.1新建资源库43.1.1新建资源库43.1.2更新资源库73.1.3资源库登陆和用户管理83.1.4资源库登录和没有资源库登录的区别93.2菜单栏介绍113.2.1文件113.2.2 编辑142.2.3 视图202.2.4 资源库213.2.5 转换233.2.6 作业293.2.7 向导323.2.8 帮助343.3工具栏介绍353.3.1 transformation的工具栏353.3.2 Jobs工具栏363.4主对象树介绍373.4.1Transformation的主对象树373.4.2Jobs主对象树523.5核心对象介绍593.5.1Transformation核心对象593.5.2Jobs核心对象2203.6 transformation功能2813.7 Jobs功能2824 Kettle 优点2825 Kettle 缺点282Kettle产品详细介绍

2、1.Kettle简介简单地说，Kettle 就是国外一个开源的ETL工具。其主要功能就是对源数据进行抽取、转换、装入和加载数据。也就是将源数据整合为目标数据。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。Spoon 是一个图形用户界面，它允许运行转换或者任务，其中转换是用pan工具来运行，任务是用Kitchen来运行。Pan 是一个数据转换引擎，它可以执行很多功能。例如从不同的数据源读取、操作和写入数据。Kitchen 是一个可以运行利用xml或数据资源库描述的任务，通常任务是在规定的时间间隔内用批处理的模式自动运行。Kettle主要包括以下三大块：一、Spoon转换/工作(transform/job)设计工具 (GUI方式)；二、Kitchen工作(job)执行器 (命令行方式) ；三、Span转换(trasform)执行器 (命令行方式)。2.Kettle 的安装首先，必须先安装Sun 公司的JAVA 运行环境1.4以上的版本（包括1.4），并配置好环境变量；然后，将下载的Ket

3、tle软件解压到目标目录，就可以看到Kettle的启动文件Kettle.exe或Spoon.bat；最后，运行启动文件。Windows 平台的启动：双击spoon.bat。Linux 平台的启动：双击Spoon.sh。3.Kettle 的详细介绍3.1Kettle 资源库管理登陆时可以选择”没有资源库”即可进入Kettle，此时所定义的转换和工作将只能存储在本地磁盘上，以.ktr文件和.kjb文件的方式。若使用资源库登录，则所有定义的转换和工作将会存储到资源库里。实际上，资源库就是一个数据库，比如SQL SERVER数据库，里面存储了Kettle定义的元素的相关元数据，简单而言，就是元数据库。如果资源库创建完毕，则资源库的相关信息将存储在文件 “reposityries.xml”中，它位于你的缺省home 目录的隐藏目录“.kettle”中。如果是windows 系统，这个路径就是 c:Documents andSettings.kettle。3.1.1新建资源库第一步：点击登录时弹出界面的中的“新建”按钮，即会弹出以下界面：3.1.1新建资源库第一步：点击登录时弹出界面的中的“新建”

4、按钮，即会弹出以下界面：第二步：再继续点击第一步中界面的“新建”按钮，即可弹出一下界面：第二步：再继续点击第一步中界面的“新建”按钮，即可弹出一下界面：第三步：填写完以上对话框后，点击“Test”按钮，如果出现下图中的提示的“正确连接到数据库”，及创建成功，然后点击“OK”即可进入下一步。第四步：完善资源库信息后，点击“确定”即可完成资源库信息创建。3.1.2更新资源库创建了资源库后我们可以更新资源库，点击首页的“编辑” 、 “新建”按钮均可以进入到创建资源库界面。当数据库连接选择后，就可以开始创建资源库了，单击“创建或更新”按钮可以创建新资源库或者更新原来已有的资源库，弹出：选择“是”，弹出：输入 Admin用户 的密码（资源库登陆和用户管理中描述） ，确定，更新资源库的步骤类似创建资源库，不同的是它是创建索引。3.1.3资源库登陆和用户管理R_User 和 R_Profile 两个表存储了资源库的用户信息，包括登录名、密码和用户权限。展开两个表分别做以下说明： R_Profile 表它说明有 3 种权限的用户： 1）Administrator 权限超级管理员，可以管理其它用户 ；2

5、）User 权限普通用户，可以使用所有工具；3）Read-only只读用户，理解为只可读不可写，即可以使用工具，但是不能保存信息。后面再进一步研究R_User 表：LOGIN 是登录名，PASSWORD 是密码（注意密码是经过加密的，所以在此才会以 16 进制显示，在这里我们不研究加密算法），ENABLED 表示用户是否可用，Y 是可用，N 是不可用，在工具里体现为： 我们从表中可以看出密码是经过加密的， 由于我们不知道他的加密算法， 我们不知道原密码。但是我们想通过资源库登录 Kettle，如果用 admin（具有超级管理员权限）能登陆，则可以创建其它权限的用户，从而不再需要这些初始化的用户信息。3.1.4资源库登录和没有资源库登录的区别使用资源库登录后在 Kettle 中定义的转换和 Job 均存储到资源库的相关表中， 若没有资源库登录，则会以.ktr 和.kjb 格式存储在硬盘上。此外两者登录后菜单栏显示的将不同，并且有些选项功能也不一样。 1）菜单栏显示不同 没有资源库：有资源库：2）文件菜单栏相关选项功能不同l 没有资源库： “打开”、“从 url 文件打开”均是打开硬盘目录

6、下的 .kjb 和 .ktr 文件。 “保存”和“另存为”是把转换和工作以 .ktr 和 .kjb 文件存储到硬盘上。 l 资源库登录： “打开”是打开存储在资源库里的转换和工作 。“从 url 文件打开”是打开硬盘目录下的 .kjb 和 .ktr 文件。 “保存”是把相关转换存储到资源库。 “另存为”是把转换和工作以 .kjb 和 .ktr 文件存储到硬盘上。 把本地的转换和工作存储到资源库只用先打开本地的转换和工作， 点击保存即可以保存到资源库中。第五步：填写登录密码后点击“确定”，即可进入主界面：3.2菜单栏介绍3.2.1文件新建：新建包括新建转换和新建作业，如下图所示： 点击上图中的转换或作业，都可以弹出新建转换或新建作业的窗口。打开：打开已经存在的转换或作业。l 在连接资源后点击打开，是选择打开资源库中已经存在的对象。 例如：l 在不连接资源库的情况下点击打开时，是选择存放在硬盘上的转换或作业打开。例如：从URL打开文件：从URL地址打开已经存在硬盘上的转换或作业。例如：导出到 XML 文件：将定义的转换和 Job 导出到 xml 文件：从 XML 文件导入：从导出的 xml

7、 文件中导入定义的转换或 Jobs。 Export all linked resources to XML:导出所有相关的资源保存为.Zip文件。目前解压后再次导入时报错。保存：保存当前的转换或作业（Jobs）。另存为（VFS） ：VFS 的作用就是采用标准的 Unix 系统调用读写位于不同物理介质上的不同文件系统。关闭：关闭当前转换或当前作业。打印：打印当前转换或当前作业。退出：退出应用程序，即闭Kettle的运行程序。3.2.2 编辑l 撤销：撤销前一步操作 。l 搜索元数据：搜索当前转换或 Jobs 的相关元数据，可以过滤，可以查看所有，资源库实际上就是元数据库。这个选项将在可用的字段、连接器、注释以及所有加载的任务和转换中搜索，并展示搜索的结果。l 设置环境变量： 添加设置环境变量的功能，使动态的测试转换变为可能。通常变量被一个任务中不同的转换设置。不管怎么样，在开发或者测试期间，你可能需要手动的设置变量。可以通过“编辑/Set Environment variables”或者CTRL+J来使用这个特性。当运行一个未定义的变量时将出现这个窗口，可以在执行的时候去定义它。变量最先

8、的使用是设置环境变量。例如很容易指定临时文件的位置，可以使用变量： $java.io.tepdir，这个变量在/Unix/Linux/OSX 机器上的位置是：directory/tmp，在 Windows 机器上的目录是： c: Documents and SettingsLocal Settings Temp。 l 显示环境变量：见变量叙述 。l 显示参数： l 清除选择： 清除所选的转换或作业等的步骤，即取消选择的步骤。l 选择所有的步骤：全选定义的转换或 jobs 的所有步骤。 l 复制所选的步骤到剪贴板：复制当前所选择的转换步骤到剪切板。 l 从剪贴板复制步骤：相当于粘贴步骤。 l 浏览数据库：单击浏览数据库，弹出选择对话框选中一个连接，确定，查看数据库表和视图等。数据库浏览器允许你浏览你连接的数据库。在这个时候，它仅仅显示可用的表、目录或者表模式。可以利用右边的按钮最低限度的展示表或者视图。你可以选择下面的选项： Preview first 100 rows of the table（显示表最开始的100行） Preview first rows of the table（根

9、据你输入的行数展示表） Number of rows of the table（显示表的行数） Show layout out of the table（显示表结构） Generate the DDL（生成该表的DDL语句） Generate the DDL for another connection（在其它的数据库连接中生成该表的DDL语句） Open for SQLthe table(in SQL Editor)（在SQL编辑器中生成读取该表的SQL语法） Truncate table （生成“Truncate table”的语句）l 一般项：Kettle的一般属性配置选择，可以改变很多选项来增强图形用户界面的个性化。l 观感：Kettle界面外观的设置，例如设置窗体字体大小、颜色以及背景颜色等等。此选项在 编辑选项观感中设置。2.2.3 视图工作区大小设定，如下图所示：放大(I)：放大工作区。缩小(O)：缩小工作区。等比例(P)：回到最开始的工作区。2.2.4 资源库l 连接资源库：进入登录首页连接资源库。 输入资源库名称、登录的用户、密码等信息后，点击“确定”按钮进行登录，如果点击“取消”，则退出连

《Kettle产品详细介绍--精选文档》由会员cn****1分享，可在线阅读，更多相关《Kettle产品详细介绍--精选文档》请在金锄头文库上搜索。