目前常用的传统RDBMS到HDFS的数据同步工具有三种：Sqoop（Apache），DataX（阿里云开源的离线同步工具），Kettle（pentaho）。

数据同步过程中，需要关注以下规则及技术点[1]：

1. 无论运行多少次，HDFS中的操作都应该产生相同的结果。

2. 在将数据移入HDFS之前，须将其汇总，以便MapReduce程序使用最少量的内存进行转换，特别是在namenode上。

3. 将数据移入HDFS之前，请将其从一种格式转换为另一种适用于目标系统的格式。

4. 实现故障切换，以便在失败时再次尝试操作，例如某个节点不可用。

5. 验证数据在网络传输时是否已损坏。

6. 控制所使用的并行数量，并限制运行的MapReduce程序的数量。 这两个功能都会影响资源消耗和性能。

7. 监控您的操作以确保其成功并产生预期的结果。

数据同步的一般流程如下[2]：

1. 将源数据库数据进行导出，使用Sql或DB原生的导出命令直接导出为txt等文本文件，字段以分隔符进行分隔。

1.1 可以部署多个代理端，对数据库数据启用多个线程进行导出

1.2 支持基于key值或时间戳的增量数据导出

2. 对导出的数据进行压缩后进行传输（特别是在源和目标库不在同一个数据中心时）

3. 在目标库端基于数据库原生的load命令对数据进行bulk批量导入。

Sqoop:

Sqoop的一个特点就是可以通过hadoop的mapreduce把数据从RDBMS导入数据到HDFS。[4]

使用Sqoop进行数据同步的大致流程如下[3,4,5]：

1.读取要导入数据的表结构，生成运行类，默认是QueryResult，打成jar包，然后提交给Hadoop。

2.设置好job，主要也就是设置好各个参数。

3.由Hadoop来执行MapReduce，执行Import命令，

1）首先要对数据进行切分，也就是DataSplit

2）切分好范围后，写入范围，以便读取

3）读取以上2）写入的范围，

4）然后创建RecordReader从数据库中读取数据

5）创建Map

6）RecordReader一行一行从关系型数据库中读取数据，设置好Map的Key和Value，交给Map

7）运行map

Sqoop验证数据同步效果有3个基本接口，通过导入导出数据结果的行数进行验证。[6]

1. ValidationThreshold – 确定源和目标之间的误差容限是否可以接受：绝对值，百分比容差等。默认实现为AbsoluteValidationThreshold，可确保源和目标的行计数相同。

2. ValidationFailureHandler – 负责处理故障：记录错误/警告，中止等。默认实现是LogOnFailureHandler，它向配置的记录器记录一条警告消息。

3. Validator – 通过将决策委托给ValidationThreshold并将故障处理委托给ValidationFailureHandler来驱动验证逻辑。默认实现是RowCountValidator，它验证源和目标的行计数。

DataX：

DataX框架如下：[7]

核心模块介绍：

1 DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。

2 DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。

3 切分多个Task之后，DataX Job会调用Scheduler模块，根据配置的并发数据量，将拆分成的Task重新组合，组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task，默认单个任务组的并发数量为5。

4 每一个Task都由TaskGroup负责启动，Task启动后，会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。

5 DataX作业运行起来之后， Job监控并等待多个TaskGroup模块任务完成，等待所有TaskGroup任务完成后Job成功退出。否则，异常退出，进程退出值非0

DataX调度流程：

举例来说，用户提交了一个DataX作业，并且配置了20个并发，目的是将一个100张分表的mysql数据同步到odps里面。 DataX的调度决策思路是：

1 DataXJob根据分库分表切分成了100个Task。

2 根据20个并发，DataX计算共需要分配4个TaskGroup。

3 4个TaskGroup平分切分好的100个Task，每一个TaskGroup负责以5个并发共计运行25个Task。

Kettle[8]:

使用Kettle导入文件到HDFS流程：

启动Kettle，新建Job。

添加Start主键。

添加Hadoop Copy Files主键。

将上面两个主键连接起来。

编辑Copy Files主键。

保存Job。

7.  运行Job。

其它：

Sqoop与DataX的比较：

https://chu888chu888.gitbooks.io/hadoopstudy/content/Content/9/datax/datax.html

参考：

https://www.ibm.com/developerworks/library/ba-hadoop-rdbms/index.html

http://blog.sina.com.cn/s/blog_493a84550102w83v.html

http://宋亚飞.中国/post/145

https://www.zybuluo.com/sasaki/note/272640

https://docs.qingcloud.com/guide/sqoop.html

http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_introduction_2

https://github.com/alibaba/DataX/wiki/DataX-Introduction

http://wiki.pentaho.com/display/BAD/Loading+Data+into+HDFS