sqoop的功能架构
sqoop是能够在hdfs和关系型数据库之间进行数据量大的数据转换工具，底层运行的是mapreduce项目，是Apache的顶级项目。
hive3.png
从架构图可以看出，sqoop相当于是hadoop中mapreduce的客户端，在sqoop client中执行命令，命令会被解析成转换为mapreduce任务(一般只涉及map任务，不会涉及到reduce任务)，然后打成jar包提交给YARN运行。因为hive和hbase的底层还是hdfs，所以也可以让关系型数据和hvie、hbase之间进行数据转换。
sqoop的使用要点
在sqoop的命令行中执行命令，进行数据的导入和导出。
hive2.png
- 连接关系型数据库需要jdbc路径、用户名、密码、表名信息。
- 数据是导入还是导出，是相对于hadoop中的hdfs来说的，而不是关系型数据库。
- 数据不仅可以转换到HDFS中，还可以直接转换至hive、hbase中。
导入数据到HDFS
sqoop执行命令时，首先到关系型数据库中获取表的相关元数据，然后启动只包含map的mapreduce任务并行的导入数据。
- mysql中创建的测试数据
create database if not exists sqoop;
use sqoop;
create table if not exists tohdfs;
insert into tohdfs values(‘1′,’aa’);
insert into tohdfs values(‘2′,’bb’);
insert into tohdfs values(‘3′,’cc’);
insert into tohdfs values(‘4′,’dd’);
hive4.png
默认情况下导入到HDFS家目录中
hive5.png
hive6.png如果没有指定数据存储到什么目录，默认情况下是HDFS的用户主目录，因为此时执行命令的是wulei，所以目录为/user/wulei/。因为只生成了一个mapper任务，所以tohdfs目录下只有一个文件。同时可以发现数据转移到HDFS后，默认的列分隔符为”，”。
- 指定目录、mapper个数和分隔符。
bin/sqoop import
–connect jdbc:mysql://bigdata-00:3306/sqoop
–username root
–password 123456
–table tohdfs \
–target-dir /user/wulei/sqoop/input
–num-mappers 3
–fields-terminated-by “\t”
–delete-target-dir
hive7.png
hive8.png
其中–target-dir为指定目录 –num-mappers 指定mapper的个数 –fields-terminated-by 指定列分隔符。需要注意的是，此时这个目录一定不能已经存在，否则会报错；可以添加–delete-target-dir参数提前删除这个目录。
** 数据文件会导入到用户家目录，然后再移动到指定的目标目录 **
使用–direct快速导入。利用了数据库的导入工具，如mysql的mysqlimport，可以比jdbc连接后导入的方式更加高效的导入到HDFS中。
没用–direct的时间：
hive9.png使用–direct的时间：
bin/sqoop import
–connect jdbc:mysql://bigdata-00:3306/sqoop
–username root
–password 123456
–table tohdfs
–target-dir /user/wulei/sqoop/input
–num-mappers 3
–fields-terminated-by “\t”
–delete-target-dir
–direct
hive10.png
- 增量导入
–check-column (col) 检查指定的列，根据此列判断哪些记录是新数据且需要导入的，列不能是字符相关类型
–incremental (mode) 指定增量模式，mode包含两种方式：append和lastmodified - append： 当表中的记录是以id持续增加导入新的记录的时候，可以使 用append模式，–check-column id 用于检查id
- lastmodified： 表有时候也会执行更新操作，此时可以使用lastmodified导入
–last-value (value)： 指定某个值，将大于该值的检查列记录导入，以确定仅将新的或者更新后的记录导入新的文件系统
hive12.png
hive11.png
导出数据到关系型数据库中
bin/sqoop export
–connect jdbc:mysql://bigdata-00:3306/sqoop
–username root
–password 123456
–table tomysql
–num-mappers 1
–input-fields-terminated-by “\t”
–export-dir /user/wulei/sqoop/input/part-m-00000
hive13.png
从MySQL导入数据到Hive
** 会先将mysql中的数据存储到hdfs用户目录下，然后再移动到Hive对应的HDFS目录中**
bin/sqoop import
–connect jdbc:mysql://bigdata-00:3306/sqoop
–username root
–password 123456
–table tohdfs
–num-mappers 1
–fields-terminated-by “\t”
–delete-target-dir
–hive-import
–hive-database tohive_db
–hive-table tohive
hive15.png
从Hive中导出数据到MySQL
** 和hdfs导出数据到mysql相同,把导出目标目录转换为表路径 **
bin/sqoop export –connect jdbc:mysql://bigdata-00:3306/sqoop
–username root
–password 123456
–table tomysql
–num-mappers 1
–input-fields-terminated-by “\t”
–export-dir /user/wulei/sqoop/input/
