Kettle控件
1 输入控件
输入控件是转换中的第一大控件，用来抽取数据或者生成数据。输入是ETL里面的E（Extract），主要做数据提取的工作。
CSV文件输入
CSV文件是一个用逗号分隔的固定格式的文本文件，这种文件后缀名为.csv，可以用Excel或者 文本编辑器 打开。在企业里面一般最常见的ETL需求就是将csv文件转换为excel文件，如果用Kettle来做这个ETL工作，就需要用到CSV文件输入控件。文本文件输入
提取服务器上的日志信息是公司里ETL开发很常见的操作，日志信息基本上都是文本类型，因此文本文件输入控件是kettle中常用的一个输入控件。Excel输入
Excel输入控件也是很常用的输入控件，一般企业里会用此控件对大量的Excel文件进行ETL操作。XML输入
1）XML简介
XML-可扩展标记语言eXtensible Markup Language，由W3C组织发布，目前推荐遵守的是W3C组织于2000年发布的XML1.0规范。XML用来传输和存储数据，就是以一个统一的格式，组织有关系的数据，为不同平台下的应用程序服务。
2）XPath简介
XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。
XPath 使用路径表达式在 XML 文档中选取节点。路径表达式：
| 表达式 | 描述 |
|---|---|
nodename | 选取此节点的所有子节点 |
/ | 从根节点选取 |
// | 从匹配选择的当前节点选择文档中的节点，而不考虑他们的位置 |
. | 选取当前节点 |
.. | 选取当前节点的父节点 |
@ | 选取属性 |
3）XML输入控件
注意获取xml文档的所有路径，设置合适的循环读取路径。
JSON输入
1）JSON简介
JSON``(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格式。JSON对象本质上就是一个JS对象，但是这个对象比较特殊，它可以直接转换为字符串，在不同语言中进行传递，通过工具又可以转换为其他语言中的对象。
JSON核心概念：数组、对象、属性。
数组：[ ]
对象：{ }
属性：key:value
2）JSON Path
JSONPath类似于XPath在xml文档中的定位，JsonPath表达式通常是用来路径检索或设置Json的。其表达式可以接受dot–notation（点记法）和bracket–notation（括号记法）格式
点记法：$.store.book[0].title
括号记法：$[‘store’][‘book’][0][‘title’]
3）JSON输入控件
了解JSON格式和`JSON Path以后，我们要学习使用JSON输入控件，JSON控件也是企业里做ETL常用的控件之一。
6. 表输入
1）创建数据库连接
表输入可以说是kettle中用到最多的一种输入控件，因为企业中大部分的数据都会存在数据库中。kettle可以连接市面上常见的各种数据库，比如Oracle，Mysql，SqlServer等。但是在连接各个数据库之前，我们需要先配置好对应的数据库驱动。
首先我们要将对应版本的mysql连接驱动放到kettle安装目录下面的lib文件夹下，然后重启kettle的客户端Spoon。创建对应的数据库连接了，在转换视图的主对象树目录下，有个DB连接，右键然后选择新建，在打开数据库连接框里，填写正确的数据库信息，然后测试，测试无误后，可以保存此数据库连接。
数据库连接默认只对本转换有效，换一个转换以后，这个连接就没法用了，还需要新建数据库连接，所以我们需要将建好的这个数据库连接进行共享下，共享以后，其他的转换也能用我们提前建好的这个数据库连接了。
2）表输入
创建好数据库连接以后，我们就可以使用表输入控件了，双击表输入控件，选择刚刚创建的数据库连接，然后在SQL框里输入合适的查询语句，然后点击预览按钮，看能否预览到我们期望的数据。
2 输出控件
输出控件是转换中的第二大控件，用来存储数据。输出是ETL里面的L（Load），主要做数据加载的工作。
Excel输出
Kettle中自带了两个Excel输出，一个Excel输出，另一个是Microsoft Excel输出。
Excel输出只能输出xls文件（适合Excel2003），Microsoft Excel输出可以输出xls和xlsx文件（适合Excel2007及以后）
- 文本文件输出
文本文件输出控件，顾名思义，这是一个能将数据输出成文本的控件，在企业里面也比较常用。
SQL文件输出
SQL文件输出一般跟表输入做连接，然后将数据库表的表结构和数据以sql文件的形式导出，然后做数据库备份的工作。
表输出
表输出控件可以将kettle数据行中的数据直接写入到数据库中的表中。更新&插入/更新
更新和插入/更新，这两个控件是kettle提供的将数据库已经存在的记录与数据流里面的记录进行对比的控件。企业级ETL经常会用到这两个控件来进行数据库更新的操作。
两者区别：
1）更新是将数据库表中的数据和数据流中的数据做对比，如果不同就更新，如果数据流中的数据比数据库表中的数据多，那么就报错。
2）插入/更新的功能和更新一样，只不过优化了数据不存在就插入的功能，因此企业里更多的也是使用插入/更新。
- 删除
删除控件可以删除数据库表中指定条件的数据，一般用此控件做数据库表数据删除或者跟另外一个表数据做对比，然后进行去重的操作。
3 转换控件
转换控件是转换中的第三大控件，用来转换数据。转换是ETL里面的T（Transform），主要做数据转换，数据清洗的工作。ETL整个过程中，Transform的工作量最大，耗费的时间也比较久，大概可以占到整个ETL的三分之二。
Concat fields
转换控件Concat fields，顾名思义，就是将多个字段连接起来形成一个新的字段。
- 值映射
值映射就是把字段的一个值映射成其他的值。在数据质量规范上使用非常多，比如很多系统对应性别sex字段的定义不同。所以我们需要利用此控件，将同一个字段的不同的值，映射转换成我们需要的值。
- 增加常量&增加序列
增加常量就是在本身的数据流里面添加一列数据，该列的数据都是相同的值；增加序列是给数据流添加一个序列字段，可以自定义该序列字段的递增步长。
- 字段选择
字段选择是从数据流中选择字段、改变名称、修改数据类型。
- 计算器
计算器是一个函数集合来创建新的字段，还可以设置字段是否移除（临时字段）。我们可以通过计算器里面的多个计算函数对已有字段进行计算，得出新字段。
- 字符串剪切&替换&操作
转换控件中有三个关于字符串的控件，分别是剪切字符串，字符串操作，字符串替换；剪切字符串是指定输入流字段裁剪的位置剪切出新的字段；字符串替换是指定搜索内容和替换内容，如果输入流的字段匹配上搜索内容就进行替换生成新字段；字符串操作是去除字符串两端的空格和大小写切换，并生成新的字段。
- 排序记录&去除重复记录
去除重复记录是去除数据流里面相同的数据行。但是此控件使用之前要求必须先对数据进行 排序 ，对数据排序用的控件是排序记录，排序记录控件可以按照指定字段的升序或者降序对数据流进行排序。因此排序记录+去除重复记录控件常常配合组队使用。
- 唯一行（哈希值）
唯一行（哈希值）就是删除数据流重复的行。此控件的效果和（排序记录+去除重复记录）的效果是一样的，但是实现的原理不同。排序记录+去除重复记录对比的是每两行之间的数据，而唯一行（哈希值）是给每一行的数据建立哈希值，通过哈希值来比较数据是否重复，因此唯一行（哈希值）去重效率比较高。
- 拆分字段
拆分字段是把字段按照分隔符拆分成两个或多个字段。需要注意的是，字段拆分以后，原字段就会从数据流中 消失。
- 列拆分为多行
列拆分为多行就是把指定字段按指定分隔符进行拆分为多行，然后其他字段直接复制。
- 行扁平化
行扁平化就是把同一组的多行数据合并成为一行，可以理解为列拆分为多行的逆向操作。但是需要注意的是行扁平化控件使用有两个条件：
1）使用之前需要对数据进行排序
2）每个分组的数据条数要保证一致，否则数据会有错乱
- 列转行
列转行，顾名思义多列转一行，就是如果数据一列有相同的值，按照指定的字段，将其中一列的字段内容变成不同的列，然后把多行数据转换为一行数据的过程。
注意：列转行之前数据流必须按照分组字段进行排序，否则数据会错乱！
1．关键字段：从数据内容变成列名的字段
2．分组字段：列转行，转变以后的分组字段
3．目标字段：增加的列的列名字段
4．数据字段：目标字段的数据字段
5．关键字值：数据字段查询时的关键字，也可以理解为key
6．类型：要给目标字段设置合适的类型，否则会报错
- 行转列
行转列，一行转多列，就是把数据字段的字段名转换为一列，把数据行变为数据列。我们也可以简单理解为行转列控件是列转行控件的逆向操作。
1．Key字段：行转列，生成的列名字段名
2．字段名称：原本数据流中的字段名
3．Key值：Key字段的值，这个是自己自定义的，一般都跟前面的字段名称一样
4．Value字段：对应的Key值的数据列的列名
4 应用控件
- 替换
NULL值
替换NULL值，顾名思义就是将数据里面的null值替换成其他的值。
1．可以选择替换数据流中所有字段的null值
2．也可以选择字段，在下面的字段框里面，根据不同的字段，将null值替换成不同的值
- 写日志
写日志控件主要是调试的时候使用，此控件可以将数据流的每行数据打印到控制台，方便我们调试整个程序。
5 流程控件
流程分类下的控件主要用来控制数据流程和数据流向。
Switch/case
最典型的数据分类控件，可以利用某一个字段的数据的不同的值，让数据流从一路到多路。
1．选择需要判断的字段
2．选择判断字段的值的类型
3．填写分类数据的判断条件和目标步骤
- 过滤记录
与Switch/case做对比的话，过滤记录相当于if-else，可以自定义输入一个判断条件，然后将数据流中的数据一路分为两路。
1.在下面先填写数据的判断条件
2.然后再上面选择下判断条件为true或者false的输出步骤
- 空操作
空操作，顾名思义就是什么也不做，此控件一般作为数据流的终点。
- 中止
中止是数据流的终点，如果有数据流到此控件处，整个转换程序将中止，并且在控制台输出报错信息。此控件一般用来校验数据，或者调试程序。
6 查询控件
查询控件是用来查询数据源里面的数据，并合并到主数据流中。
- 数据库查询
数据库查询就是从数据库里面查询出数据，然后跟数据流中的数据进行左连接的一个过程。左连接的意思是数据流中原本的数据全部有，但是数据库查询控件查询出来的数据不一定全部会列出，只能按照输入的匹配条件来进行关联。
1.选择合适的数据库链接
2.输入要去数据库里面查询的表名
3.输入两个表进行左连接的连接条件
4.获取返回字段，得到查询表返回的值
- 流查询
流查询控件就是查询两条数据流中的数据，然后按照指定的字段做等值匹配。注意：流查询在查询前把数据都加载到内存中，并且只能进行等值查询。
1.输入查询的数据流
2.输入两个流进行匹配的字段（等值匹配）
3.输入查询出的字段
7 连接控件
连接分类下的控件一般都是将多个数据集通过关键字进行连接起来，形成一个数据集的过程。
- 合并记录
合并记录是用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。注意旧数据和新数据需要事先按照关键字段排序，并且旧数据和新数据要有相同的字段名称。
合并后的数据将包括旧数据来源和新数据来源里的所有数据，对于变化的数据，使用新数据代替旧数据，同时在结果里用一个标示字段，来指定新旧数据的比较结果。
1） 旧数据源：选择旧数据来源的步骤
2） 新数据源：选择新数据来源的步骤
3） 标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种
①identical – 旧数据和新数据一样
②changed – 数据发生了变化;
③new – 新数据中有而旧数据中没有的记录
④deleted –旧数据中有而新数据中没有的记录
4） 关键字段：用于定位判断两个数据源中的同一条记录的字段。
5） 比较字段：对于两个数据源中的同一条记录，指定需要比较的字段
- 记录集连接
记录集连接可以对两个步骤中的数据流进行左连接，右连接，内连接，外连接。此控件功能比较强大，企业做ETL开发会经常用到此控件，但是需要注意在进行记录集连接之前，需要对记录集的数据进行排序，并且排序的字段还一定要选两个表关联的字段，否则数据错乱，出现null值。
- 选择需要连接的两个数据流的步骤
- 选择连接类型，一共有四个：
INNER，LEFT OUTER，RIGHT OUTER，FULL OUTER - 从两个数据流步骤里面选出连接字段
8 统计控件
统计控件可以提供数据的采样和统计功能。分组控件的功能类似于GROUP BY，可以按照指定的一个或者几个字段进行分组，然后其余字段可以按照聚合函数进行合并计算。注意，在进行分组之前，数据最好先进行排序。
9 映射控件
映射可以用来定义子转换，方便代码封装和重用。映射（子转换）是用来配置子转换，对子转换进行调用的一个步骤。映射输入规范是输入字段，由调用的转换输入。映射输出规范是向调用的转换输出所有列，不做任何处理。
10 脚本控件
脚本就是直接通过写程序代码完成一些复杂的操作。执行SQL脚本：执行sql脚本控件就是连接到数据库里面，然后执行自己写的一些sql语句。
