KETTLE基本知识培训课件
55页1、KETTLE基本知识讲义,2,内容,KETTLE介绍 KETTLE的要求环境(JDK版本)、安装、基本操作。 KETTLE的组件的类型基本说明(作业与转换) 案例 JAVASCRIPT的基本应用 KETTLE输出日志说明 启动脚本说明。,3,简介,Kettle是一款国外开源的etl工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。 ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程。,4,ETL实现方式,手工编码,编写脚本,Java,Python 商业ETL 工具软件 Informatica IBM DataStage Microsoft SSIS Oracle ODI 开源ETL 工具软件 Kettle Talend CloverETL Ketl,Octopus ,5,Kettle 基本情况,源代码下载地址: svn:/source.pentaho.org/svnkettleroot/Kettle/trunk 官方文档: Bug报告地址: 官方论坛: http:/foru
2、ms.pentaho.org/forumdisplay.php?f=135 中文论坛: 当前版本:Version 5.2 原作者: Matt License: 4.3 以前 LGPL ,4.3 以后改为Apache 2,6,Kettle 历史,2006年 Kettle 2.2, Kettle 2.3 (Kettle 开源,License 为 LGPL) 2007年 Kettle 2.4, Kettle 2.5(被Pentaho 公司收购,更名为 PDI) 2008年 Kettle 3.0 ,Kettle 3.1 2009年 Kettle 3.2 (一个使用时间较长的稳定版本) 2010年 Kettle 4.0 ,Kettle 4.1 2011年 Kettle 4.2 2012年 Kettle 4.3 ,Kettle 4.4 (License 变更为 Apache 2,支持大数据) 2013年 Kettle 5.0 2014年 Kettle 5.1、5.2,7,KETTLE 学习资料,1. 2. 3.Kettle Cook Book 4.Pentaho 3.2 Data Integrat
3、ion Beginners Guide5.Kettle Solution 6.Kettle 源代码,8,KETTLE的安装运行,KETTLE要求先安装JDK1.5版本或以上 下载地址:http:/sourceforge.jp/projects/sfnet_pentaho/releases/ 无需安装下载后直接运行spoon.bat即可,9,Kettle 资源库-元数据,元数据的通用概念: “描述性数据”或“数据的数据” ETL 的元数据: 描述 ETL 要执行的任务 在Kettle里元数据的存储方式: 资源库 资源库包括文件资源库、数据库资源库 Kettle 4.0 以后资源库类型可以插件扩展 XML 文件 ktr 转换文件的XML的根节点必须是 kjb 作业XML的根节点是,10,KETTLE的组件的类型基本说明(作业与转换),Kettle中有两种脚本文件,transformation(转换,后缀为.ktr)和job(作业, 后缀为.kjb),transformation完成针对数据的基础转换,好比工厂里的生产流水线,每个组件相当于一个员工;job则完成整个工作流的控制,好比工厂里的
4、管理。 如果用记事本打开文件可发现转换和作业都是xml类型文件。,11,Kettle 的几个子程序,Spoon.bat: 图形界面方式启动作业和转换设计器。 Pan.bat: 命令行方式执行转换。 Kitchen.bat: 命令行方式执行作业。 Carte.bat: 启动web服务,用于 Kettle 的远程运行或集群运行。 Encr.bat: 密码加密,12,KETTLE的组件的类型基本说明(作业与转换),作业:分串行执行和并行执行,串行执行是先执行完其中一条线再执行另一条线,并行是两条线同时执行,同一条线上的两个步聚会先执行前面的再执行后面的,每个步骤执行结果分两种:true(成功)/false(失败),根据返回结果可以控制流程走向。,13,转换和作业,Kettle 的 Spoon 设计器用来设计转换(Transformation)和作业(Job)。 转换主要是针对数据的各种处理,一个转换里可以包含多个步骤(Step)。 作业是比转换更高一级的处理流程,一个作业里包括多个作业项(Job Entry),一个作业项代表了一项工作,转换也是一个作业项。 用户通过 Spoon 创建的转换、
《KETTLE基本知识培训课件》由会员我***分享,可在线阅读,更多相关《KETTLE基本知识培训课件》请在金锄头文库上搜索。
2020届中考英语备考复习-作文课件
2019年中考英语复习-专题十五-交际运用(试卷部分)课件
2019届二轮复习-高中英语-情态动词和虚拟语气课件
2019届一轮复习苏教版物质的跨膜运输课件
2019年北师大版英语单元复习课件::Unit17Laughter课件北师大版选修6
2021届新中考物理冲刺备考复习-力-弹力-重力课件
2019届一轮复习人教版种群的特征和数量变化课件
2020年高考地理一轮复习--等高线地形图-课件
2019版高考英语一轮复习-Unit-1-Living-well课件
2019届一轮复习人教版孟德尔的遗传定律——基因分离定律课件
2019届高三第二轮复习专题二万有引力定律及其应用课件
2020最新部编版语文五年级上册23-鸟的天堂课件含课后练习
2020版高考(浙江)一轮复习:第7讲-细胞呼吸课件
2020年新教材高中英语UNIT4HISTORYANDTRADITIONSSectionⅢDiscoveringUsefulStructures课件必修第二册
2019届高考历史二轮复习阶段三专题十三罗斯福新政与当代资本主义的新变化课件2
2019版高考生物二轮复习-专题三-细胞的生命历程-考点9-细胞分裂过程图像和坐标曲线的识别课件
(通史版)2021版高考历史一轮复习第4部分高考讲座(三)2高考非选择题(12分开放探究题)规范答题讲练课件
2019届高三地理复习第五讲--《区际联系与区域协调发展》课件
2021人教部编版历史九年级上册习题课件:第18课美国的独立
2020学年新教材高中英语Unit1FoodforthoughtPeriodTwoStartingout课件
2024-05-30 35页
2024-05-30 24页
2024-05-30 31页
2024-05-30 35页
2024-05-30 35页
2024-05-30 35页
2024-05-30 30页
2024-05-30 35页
2024-05-30 29页
2024-05-30 24页