SPARK集群配置

2023年5月30日 236次阅读 来源: 0_9f3a

搭建好HADOOP高可用后 发现HADOOP2.7.x版本并不能支持SPARK1.6.x因此重新搭建了HADOOP2.6.5高可用集群节点配置如下

hadoop1 192.168.1.111
hadoop2 192.168.1.112
hadoop3 192.168.1.113
hadoop4 192.168.1.114

需要的安装包
spark-1.6.0-bin-hadoop2.6.tgz

一.拷入安装包
放在/usr/local/目录下
二.改名
mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0
三.进入安装包的conf目录
1.将slaves.tempalte 改为 slaves 并在里面写入hadoop2 hadoop3（分两行）
spark也是主（master）-从（worker）架构，此集群将hadoop1作为master hadoop2 3 作为worker hadoop4作为client
2.将spark-env.sh.template->spark-env.sh
3.在spark-env.sh中添加几个环境变量

 export SPARK_MASTER_IP=hadoop1(hadoop1就是master节点)
 export SPARK_MASTER_PORT=7077(提交Application的端口)
 export SPARK_WORKER_MEMORY=2g(每一个Worker节点管理2G内存，不是指每一个Worker进程使用2G内存)
 export SPARK_WORKER_CORES=3(每一个Worker节点管理3个core，不是指每一个Worker进程使用3个core)
export SPARK_MASTER_WEBUI_PORT=8888（指定spark的web ui端口）

四.将安装包同步到其他节点
五.进入hadoop1安装包下sbin目录
为了防止start-all.sh和启动HADOOP命令混淆

mv start-all.sh start-spark.sh

在spark安装包的sbin集群下

start-all.sh
    原文作者：0_9f3a
    原文地址: https://www.jianshu.com/p/69ed8966ee9b
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞