大数据工具使用sqoop 1.99.7入门安装配置

科多大数据带你来看,大数据工具使用sqoop 1.99.7入门安装配置

1、Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

2、下载地址:http://sqoop.apache.org/

下载方式:

《大数据工具使用sqoop 1.99.7入门安装配置》
《大数据工具使用sqoop 1.99.7入门安装配置》
《大数据工具使用sqoop 1.99.7入门安装配置》

3、linux(Centos mini 7)中安装

该版本有服务器端和客户端,服务器安装在Hadoop中的任意一台中,客户端可以安装在集群中的任意台。

使用时一定要保存在环境变量中配置了HADOOP_HOME

解压:tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz -C /keduox/sqoop

配置

让hadoop允许sqoop2用户访问

hadoop中core-site.xml的sqoop中加入

如果是root用户在core-site.xml下面配置

hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups *

=========================================

hadoop.proxyuser.sqoop2.hosts * hadoop.proxyuser.sqoop2.groups *

加入依赖包

创建包/keduox/lib

将mysql的驱动包加入

执行:export SQOOP_SERVER_EXTRA_LIB=/keduox/lib

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/keduox/hadoop-2.6.5/etc/hadoop/

《大数据工具使用sqoop 1.99.7入门安装配置》

初始化仓库

sqoop2-tool upgrade

验证

sqoop2-tool verify

《大数据工具使用sqoop 1.99.7入门安装配置》

启动服务

sqoop2-server start

    原文作者:大数据在说话
    原文地址: https://www.jianshu.com/p/a7e7213bd03c
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞