一、需求：         将MongoDB表中的数据按照时间戳增量抽取到Mysql表中。 二、实现方式：     &n…

Kettle性能优化是一个系统工程，不仅涉及工具本身的优化，更涉及ETL工具之外的诸多因素，比如，ETL要读取数据库，那么目标DMBS的性能，SQL语句，网络等相关因素都影响到执行效率。根据Kettle对数据ETL的过程…

背景 公司想把已有的老数据，放入数据仓库，进行数据分析，需要对数据进行抽取，转换处理，正好接触到了Kettle(ETL)，正好记录一下Hadoop如何配置。 Kettle下载地址： 社区版下载地址 下拉到download…

设置Hadoop环境 在Tools -> Hadoop Distribution 中选择 “HortonWorks HDP 2.5.x”。 复制core-site.xml文件 复制 Hadoop 环境下的的 cor…

背景 在使用kettle 的表输出组件的时候，因为服务器hive版本为0.13,不支持insert into values的语法（hive 的0.14版本才支持），所以通过表输出的方式，插入到hive会报错。 所以想了一…

背景 最近需要将mysql的数据库的数据导入到hive里，期间遇到了很多坑，这次来总结一下。 步骤 1.启动hiveServer2 kettle 是通过jdbc 来连接hive的，而jdbc 方式连接hive需要启动hi…