kettle实验七:去除重复的数据

【实验目的】
1.熟练掌握“去除重复记录”,“排序记录”,“文本文件输入”等组件的使用,实现去除重复数据。
2.熟练掌握“去除重复记录”,“排序记录”,“文本文件输入”等组件的使用,实现去除重复数据。

【实验原理】
通过“阻塞数据直到步骤都完成”对多张表格的外键进行排序,然后通过“记录集连接”进行多表连接,再通过“字段选择”选择合适的字段输出到表格。

【实验环境】
操作系统:Windows10 
Kettle版本:7.1.0.0
jdk版本:1.8.0及以上版本

【实验步骤】

一、建立转换

双击spoon.bat打开kettle。(1)点击新建按钮,在下拉菜单中点击选择“转换”即可创建;(2)然后点击“保存”重命名该转换文件,保存在某个指定的路径;(3)选择输入步骤、输出步骤和跳。
《kettle实验七:去除重复的数据》

二、各组件的配置

1.“Excel输入”的配置
Step1:双击‘Excel输入’组件,配置‘文件’选项卡,设置文件输入流类型和路径
《kettle实验七:去除重复的数据》

Step2:配置‘工作表’选项卡,设置输入文件读取的起始行 和起始列
《kettle实验七:去除重复的数据》

Step3:配置‘字段’选项卡,获取输入数据的字段,并设置数据类型
《kettle实验七:去除重复的数据》

2.“排序记录”的配置:
双击“排序记录”组件,根据输入的数据设置以‘课程名称’字段排序。
《kettle实验七:去除重复的数据》

3.“去除重复记录”的配置:
双击‘去除重复记录’组件,选取‘用来比较的字段’,这里从输入数据的某一字段挑选
《kettle实验七:去除重复的数据》

4.“排序记录2”配置
双击“排序记录2”配置,根据之前排序得到的结果,在这里通过编号再次排序,为输出准备。
《kettle实验七:去除重复的数据》

5.“Microsoft Excel 输出”的配置
Step1:配置‘文件&工作表’选项卡,获取输出文件的路径和类型
《kettle实验七:去除重复的数据》

Step2:配置‘内容’选项卡,获取输出数据的字段名称和类型
《kettle实验七:去除重复的数据》

三、执行转换:

点击按钮,执行转换,结果如下:
《kettle实验七:去除重复的数据》

四、实验结果:

输入文件‘课程信息表07.xlsx’:
《kettle实验七:去除重复的数据》

输出文件‘test6.xlsx’:
《kettle实验七:去除重复的数据》

五、实验总结:

本次实验的目的主要是“去除重复记录”和“排序记录”组件的使用,并理解其背后的对实验目的原理,本次实验较为简单,暂时未遇到困难。

附 件:

《kettle实验七:去除重复的数据》

    原文作者:weixin_74
    原文地址: https://blog.csdn.net/weixin_44727274/article/details/113102555
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞