一、sqoop的配置

1、上传压缩包，解压

2、配置环境变量

3、添加数据库驱动包

cp mysql-connector-java-5.1.10.jar /sqoop/lib

4、重命名配置文件

mv sqoop-env-template.sh sqoop-env.sh

5、修改配置configure-sqoop

去掉未安装服务相关内容；例如（HBase、HCatalog、Accumulo）：

• #if [ ! -d "${HBASE_HOME}" ]; then 
• #  echo "Error: $HBASE_HOME does not exist!" 
• #  echo 'Please set $HBASE_HOME to the root of your HBase installation.' 
• #  exit 1 

6、测试

– sqoop version

– sqoop list-databases -connect jdbc:mysql://node1:3306/ -username root -password 123456

7、sqoop导入数据（从mysql导入数据到hdfs中）

#导入简单的表
import
--connect
jdbc:mysql://node1:3306/result_db
--username
root
--password
123456
--table
dimension_browser
--columns
id,browser_name,browser_version
--where
'browser_name="Firefox"'
--target-dir
hdfs://node1:9000/sqoop/data1
--as-textfile
--m
1
--delete-target-dir
--fetch-size
10

8、链表导入

import
--connect
jdbc:mysql://node1:3306/result_db
--username
root
--password
123456
--query
'select b.browser_name,b.browser_version,d.new_install_users  from stats_device_browser d join dimension_browser b on d.browser_dimension_id=b.id where b.browser_name="Firefox" and $CONDITIONS'
--target-dir
hdfs://node1:9000/sqoop/data2
--as-textfile
--m
1
--delete-target-dir
--fetch-size
10

9、导入数据到hive中，工作机制，通过mapreduce把关系型数据库的数据导入到hdfs中去，然后创建hive表，然后通过load data加载数据到hive表中

import
--connect
jdbc:mysql://node1:3306/result_db
--username
root
--password
123456
--query
'select b.browser_name,b.browser_version,d.new_install_users  from stats_device_browser d join dimension_browser b on d.browser_dimension_id=b.id where b.browser_name="IE" and $CONDITIONS'
--target-dir
hdfs://node1:9000/sqoop/data3
--as-textfile
--m
1
--delete-target-dir
--fetch-size
10
--hive-import
--hive-overwrite
--create-hive-table
--hive-table
t_test1

10、导出数据，从hdfs中把数据导出到mysql中

export
--connect
jdbc:mysql://node1:3306/test
--username
root
--password
123456
--table
t_sqoop
--columns
id,abc,efg
--export-dir
hdfs://node1:9000/sqoop/data1
--m
1

二、hbase和hive的整合

https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

1、把hive/lib下的hive-hbase-handler-1.2.1.jar，cp到hbase/lib 下，如果是hbase集群，则要把这个jar包cp到每个节点的hbase/lib下

2、把hbase中的所有的jar，cp到每个安装hive的hive/lib下

3、在hive的配置文件hive-site.xml增加属性：node3、node4、node5是zookper集群所在的节点

<property>
    <name>hbase.zookeeper.quorum</name>
    <value>node3,node4,node5</value>
</property>

4、在hive中创建临时表

–中间表第一个字段名字为key（必须）

CREATE EXTERNAL TABLE tmp_order 
(key string,id string,user_id string)  
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'  
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,order:order_id,order:user_id")  
TBLPROPERTIES ("hbase.table.name" = "t_order"); 

5、在hbase中就有了表t_order

6、导入数据，从hive的t_hive_order 导入到hive临时（tmp_order）在hive执行命令：

insert into table tmp_order
      select concat(user_id,'_',date_format(order_createtime,'yyyy'),'_',id),
             id,
             user_id,
             order_amount,
             order_status,
             order_createtime
          from t_order where day='20160113'

7、以下通过shell方式导入数据

#!/bin/bash
#
label="2015-04-01"
hive -e "insert into table tmp_order
          select concat(user_id,'_',order_createtime,'_',id),
                 id,
                 user_id,
                 order_amount,
                 order_status,
                 order_createtime
              from t_hive_order where day='$label'" && echo 'import order data success!'