大数据学习(zookeeper,hbase,hive,sqoop2的搭建)

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

一、Zookeeper的安装和配置

1.解压文件

2.进入解压目录,配置相关文件

2.1 修改conf文件夹下的zoo_sample.cfg,重命名为zoo.cfg

打开进入,修改Datadir,并添加如下语句

dataDir=/usr/share/zookeeper-3.5.0-alpha/data

dataLogDir=/usr/share/zookeeper-3.5.0-alpha/logs

server.0=Master:2888:3888

server.1=Slave1:2888:3888

server.2=Slave2:2888:3888

记得”3888”后不要有空格!然后我们创建设置的文件夹

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

最后再在data下创建myid文件,值设为0

最后把主节点的zookeeper复制到从节点,并修改myid分别为1, 2

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

2.2 启动zookeeper集群

移动到解压目录下的bin文件夹

在三个节点上执行./zkServer.sh start

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

最后用./zkServer.sh status命令查看

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》
《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

三个节点查看后,一共两个follower,一个leader,配置成功。(leader不一定是在master上,因为它有自己的选举机制)

二、Hbase的安装与配置

Hbase是一种非关系型数据库,NoSQL,但其实是有两种解释的:not sql 和 not only sql,怎么说呢,应该是介于两者之间的。NoSQL的特点是使用键值对存储数据和分布式,并且读写性能很高,适合我们大数据下的工作。接下来是具体的配置过程。

1.解压文件

2.为.bashrc文件添加环境变量

然后source一下

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

1.进入解压目录下的conf文件,配置相关信息

3.1 编辑hbase-site.xml,添加如下信息

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

其中hbase.rootdir端口必须与你的Hadoop集群的core-site.xml文件配置保持完全一致

(这里的Mastre打错了,应该是Master)

3.2 编辑hbase-env.sh,在末尾添加如下

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

因为hbase运行在zookeeper的基础之上,这个东西就是告诉它我们配置了zookeeper,你用我们配置的,而不是你自带的。

3.3 编辑regionservers,添加从节点

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

4.通过scp命令把hbase发送到从节点上,并为从节点配置环境变量

5.先启动hadoop,然后再启动zookeeper集群

6.进入hbase文件bin目录下,执行 ./start-hbase.sh

再用jps命令分别查看主节点和从节点,启动成功。

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》
《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

三、Hive的安装与配置

Hbase是一种数据库,而Hive则是一种数据仓库,建立在Hadoop的基础上,提供了一系列工具可供数据的提取转化和加载,这是一种的存储、查询、分析存储在Hadoop中的大规模数据的机制。

具体安装流程如下:

1.解压,设置环境变量并随手source一下

2.进入hadoop目录下,修改etc下的配置文件hadoop-env.sh,添加如下

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

3.进入解压目录的conf文件夹下

3.1 把hive-default.xml.template重名命为hive-site.xml

3.2 把hive-env.sh.template重命名为hive-env.sh,并添加如下内容

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

4.进入解压目录的bin文件夹下,修改hive-config.sh文件

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

4.接下来是和MySQL的连接(之前已经安装好了)

5.1先从官网上下载驱动包

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

将mysql-connector-java-5.1.43-bin.jar包解压到hive目录下的lib文件夹中

5.2修改 conf文件夹下的hive-site.xml文件,只需修改如下四个点

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》
《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》
《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》
《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

这一个value值为你root下MySQL的真实密码

*5.3 有些可能还需要修改另三个属性hive.exec.scratchdir,hive.exec.local.scratchdir,hive.downloaded.resources.dir,把他们的值设置为绝对路径,否则后面启动会出错

6.通过mysql给hive权限,登录mysql

5.1执行

GRANT ALL PRIBILEGES ON *.* TO ‘root’@’%’ IDENTIFIED BY ‘**your password**’ WITH GRANT OPTION;

flush privileges;

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

select user,host from mysql.user;

6.2修改/etc/mysql/mysql.conf.d/mysqld.cnf 文件,注释掉如下这一行

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

6.3 重启mysql服务sudo /etc/init.d/mysql restart

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

7.启动hadoop,再进入hive进行操作

执行hive

执行CREATE TABLE test2(id int,name string); 创建一个新表

执行SHOW TABLES; 可以看到我们创建的表已经在里面了

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

四、Sqoop 1.99.7的安装与配置

Sqoop是一个转换工具,用于在关系型数据库与HDFS之间进行数据转换。

1.解压,设置环境变量并随手source一下

2.进入解压目录下的conf文件夹下

2.1 配置sqoop.properties

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/ubuntu17/hadoop-3.0.0-alpha4/etc/hadoop

org.apache.sqoop.security.authentication.type=SIMPLE

org.apache.sqoop.security.authentication.handler=org.apache.sqoop.security.authentication.SimpleAuthenticationHandler

org.apache.sqoop.security.authentication.anonymous=true

3.配置Hadoop代理访问

找到Hadoop的core-site.xml配置文件

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

这里的ubuntu17是指你用什么用户在访问,如果你使用root的话,就把ubuntu17修改为root

4.配置驱动文件

一般我们使用的数据库驱动包都没有随着Sqoop一起释出,多半是因版权问题,所以将这些包放置在这个第三方组件下。再在配置一个SQOOP_SERVER_EXTRA_LIB系统变量即可,指定路径为$SQOOP_HOME/extra,最后把mysql的驱动jar文件复制到这个目录下。

《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》
《大数据学习(zookeeper,hbase,hive,sqoop2的搭建)》

5.启动sqoop服务

在解压目录的bin文件夹下执行

./sqoop2-tool upgrade

./sqoop2-tool verify

./sqoop2-server start

出现了SqoopJettyServer则成功。

6.执行

sqoop2-tool upgrade  初始化

sqoop2-tool verify  检查是否配置正确

sqoop2-shell 进入shell操作界面

至此结束,如果有错误的话欢迎指出(~ ̄▽ ̄)~

    原文作者:严武小虎
    原文地址: https://www.jianshu.com/p/6e6117d41a38
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞