如何在Spark平台搭建ThriftServer

2023年10月28日 261次阅读 来源: 这个该叫什么呢

Thrift JDBC Server描述

Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。

使用Thrift JDBC Server前需要注意：

1、将hive-site.xml配置文件拷贝到$SPARK_HOME/conf目录下

说明: hive-site.xml配置有meta信息存储的MySQL路径

2、需要在$SPARK_HOME/conf/spark-env.sh中的SPARK_CLASSPATH添加jdbc驱动的jar包
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/hadoop/software/mysql-connector-java-5.1.27-bin.jar

Thrift JDBC Server/beeline启动

  1. 启动Thrift JDBC Server：默认端口是10000

cd $SPARK_HOME/sbin
start-thriftserver.sh

如何修改Thrift JDBC Server的默认监听端口号？借助于–hiveconf
start-thriftserver.sh –hiveconf hive.server2.thrift.port=14000

Demo:


#!/bin/bash

./sbin/start-thriftserver.sh \
        --hiveconf hive.exec.mode.local.auto=true  \
        --hiveconf hive.auto.convert.join=true     \
        --hiveconf hive.mapjoin.smalltable.filesize=50000000 \
        --name thriftserver    \
        --master yarn-client \
        --driver-cores    5   \
        --driver-memory   5G  \
        --conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
        --conf spark.scheduler.mode=FAIR \
        --conf spark.kryoserializer.buffer.max.mb=1024 \
        --conf spark.storage.memoryFraction=0.2
  1. 启动beeline
    cd $SPARK_HOME/bin
    beeline -u jdbc:hive2://hadoop000:10000

Demo:

$ ./bin/beeline
Beeline version 1.2.1.spark2 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000
    原文作者：这个该叫什么呢
    原文地址: https://www.jianshu.com/p/36b71cdc1453
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞