docker下安装hive 2.3.4

2019年6月8日 248次阅读 来源: Victor_python

安装前准备下载

未说明的情况下，宿主机操作命令的默认路径为/opt，容器内操作的默认路径为/usr/local

搭建镜像

  • 新建执行脚本 vim run.sh
#!/bin/bash
/usr/sbin/sshd -D
  • 新建Dockerfile
#将密钥文件复制到/etc/ssh/目录中。这里要用root的权限生成key
RUN mkdir -p /root/.ssh
#生成秘钥、公钥
RUN ssh-keygen -t rsa -b 2048 -P '' -f /root/.ssh/id_rsa
RUN cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
RUN cp /root/.ssh/id_rsa /etc/ssh/ssh_host_rsa_key
RUN cp /root/.ssh/id_rsa.pub /etc/ssh/ssh_host_rsa_key.pub

# 安装 jre 1.8
RUN yum -y install java-1.8.0-openjdk.x86_64
ENV JAVA_HOME=/etc/alternatives/jre_1.8.0

#定义时区参数
ENV TZ=Asia/Shanghai
#设置时区
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo '$TZ' > /etc/timezone

#将ssh服务启动脚本复制到/usr/local/sbin目录中，并改变权限为755
ADD run.sh /usr/local/sbin/run.sh
RUN chmod 755 /usr/local/sbin/run.sh

#变更root密码为root
RUN echo "root:root"| chpasswd
#开放窗口的22端口   根据自己的需求来增加或删除
EXPOSE 22
EXPOSE 8080
EXPOSE 9000
EXPOSE 50070
EXPOSE 10000
EXPOSE 8088
EXPOSE 10002
#运行脚本，启动sshd服务
CMD ["/usr/local/sbin/run.sh"]
  • 构建镜像
docker build -t my_centos:v2
  • 启动容器
docker run -d -P --name myhive my_centos:v2 /usr/local/sbin/run.sh
  • 进入容器
docker exec -it myhive bash

hadoop安装

解压安装包
# 在宿主机上拷贝安装包到 myhive 容器,这里我将 hive 解压的工作一起执行了
docker cp hadoop-2.9.2.tar.gz myhive:/usr/local
docker cp apache-hive-2.3.4-bin.tar.gz myhive:/usr/local
# 进入容器
docker exec -it myhive bash
# 解压安装包
tar xvf hadoop-2.9.2.tar.gz
tar xvf apache-hive-2.3.4-bin.tar.gz
修改相关配置文件
  • vim /usr/local/hadoop-2.9.2/etc/hadoop/core-site.xml # 在<configuration>里增加
<property>
      <name>fs.defaultFS</name>
      <value>hdfs://127.0.0.1:9000</value>
</property>
  • vim /usr/local/hadoop-2.9.2/etc/hadoop/hdfs-site.xml # 在<configuration>里增加
<property>
      <name>dfs.replication</name>
      <value>1</value>
</property>
  <property> 
    <name>dfs.permissions</name> 
    <value>false</value> 
  </property>

  • cp /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml

  • vim /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml# 在<configuration>里增加

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>
指定HADOOP HIVE环境变量
  • vim /usr/local/hadoop-2.9.2/etc/hadoop/hadoop-env.sh
# 将原来的 export JAVA_HOME=${JAVA_HOME} 改成下面这个
export JAVA_HOME="/etc/alternatives/jre_1.8.0"
  • vim /etc/profile
# 在文本最后加上  hive 的环境变量一并加上
export HADOOP_HOME="/usr/local/hadoop-2.9.2"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HIVE_HOME="/usr/local/apache-hive-2.3.4-bin"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin
  • 重新加载一下环境
source /etc/profile
  • namenode 初始化命令
hadoop namenode -format
  • 启动hdfs和yarn
# 命令执行中如遇提示直接输入yes即可
start-dfs.sh
# 通过ps -ef | grep hadoop我们可以看到这几个进程分别是NameNode、SecondaryNamenode、Datanode。如果少了就要注意hdfs是否没有正常启动了。
start-yarn.sh
验证
# 新建一个目录
hadoop fs -mkdir /test
# 查看是否有对应目录了
hadoop fs -ls /
# 最后输出
Found 1 items
drwxr-xr-x   - root supergroup          0 2019-05-10 16:37 /test

hive安装

上一步中已解压好安装包，直接修改配置文件
  • cp /usr/local/apache-hive-2.3.4-bin/conf/hive-default.xml.template /usr/local/apache-hive-2.3.4-bin/conf/hive-site.xml
  • vim /usr/local/apache-hive-2.3.4-bin/conf/hive-site.xml
  <property>
    <name>system:java.io.tmpdir</name>
    <value>/tmp/hive/java</value>
  </property>
  <property>
    <name>system:user.name</name>
    <value>${user.name}</value>
  </property>
  • 上一步未加启动hive 时会报如下错
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
        at org.apache.hadoop.fs.Path.initialize(Path.java:205)
        at org.apache.hadoop.fs.Path.<init>(Path.java:171)
        at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:644)
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:563)
        at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:531)
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:705)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:641)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
        at java.net.URI.checkPath(URI.java:1823)
        at java.net.URI.<init>(URI.java:745)
        at org.apache.hadoop.fs.Path.initialize(Path.java:202)
        ... 12 more
初始化hive数据库 （hive环境变量配置已在上面hadoop配置时完成）
# 这里先直接使用hive内置的derby作为元数据的数据库
schematool -initSchema -dbType derby
验证
  • 在容器/usr/local下创建数据文件 vim test.txt
1,jack
2,hel
3,nack
  • 执行hive 命令进入hive交互：
# 建表
create table test(id int,name string)row format delimited fields terminated by ',';
# 导入数据
load data local inpath '/usr/local/test.txt' into table test;
# 查询刚才导入的数据  
select * from test;
# 查询结果:
OK
1       jack
2       hel
3       nack

配置mysql为元数据库

docker安装mysql5.7镜像操作步骤
hive配置修改
  • vim /usr/local/apache-hive-2.3.4-bin/conf/hive-site.xml
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>@Admin123</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://172.17.0.3:3306/hive?useSSL=false</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

主要修改数据库url、驱动、用户名、密码，数据库url记得填mysql实例的地址，我使用的mysql实例是在另一个docker容器上，所以直接填那个容器的ip。

cd /usr/local/apache-hive-2.3.4-bin/lib
wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.47/mysql-connector-java-5.1.47.jar
  • 初始化元数据库
schematool -initSchema -dbType mysql
  • 出错
Error: Duplicate key name 'PCS_STATS_IDX' (state=42000,code=1061)
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!
Underlying cause: java.io.IOException : Schema script failed, errorcode 2
Use --verbose for detailed stacktrace.
*** schemaTool failed ***
  • 解决
# 进入mysql容器
docker exec -it mysql bash
# 登陆mysql
mysql -uhive -p
# 删除 hive
drop database hive;
# 重新创建
create database hive;
# 返回myhive 容器
docker exec -it myhive bash
# 重新初始化元数据
schematool -initSchema -dbType mysql
  • 成功输出
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed

Hiveserver2 启动

修改hadoop配置
  • vim /usr/local/hadoop-2.9.2/etc/hadoop/core-site.xml 加入以下配置:
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
重启hdfs
stop-dfs.sh
start-dfs.sh
后台启动hiveserver2
nohup hiveserver2 &
验证:
# 通过beeline连接
beeline -u jdbc:hive2://127.0.0.1:10000
#  查询hive库中表信息
select * from test;

大数据相关web UI (前提是ecs已开放对应映射端口)

  • Hadoop All Applications 默认端口为 8088
  • Hadoop 配置信息 默认端口为 50070
  • HiveServer2 信息 默认端口为 10002
  • HiveServer2 jdbc 默认端口为 10000
docker ps 可查看对应端口映射

《docker下安装hive 2.3.4》

访问宿主机外网+对应服务映射端口即可访问上述web UI页面查看服务信息

例：

《docker下安装hive 2.3.4》

《docker下安装hive 2.3.4》

《docker下安装hive 2.3.4》

    原文作者：Victor_python
    原文地址: https://www.jianshu.com/p/8c46d935c81b
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞