spark 2.4安装

1、spark 官网选择对应Hadoop的版本,之前安装的Hadoop版本为hadoop-3.0.2,获取下载包: wget http://mirrors.hust.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
  2、解压缩安装包,创建软连接: tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz ln -s spark-2.4.0-bin-hadoop2.7 spark   3、配置spark,进入conf目录: 1)、配置spark-env.sh 文件 先拷贝:cp spark-env.sh.template spark-env.sh 文件增加内容如下: export JAVA_HOME=/usr/local/src/jdk1.8.0_191 #Java环境变量 export SCALA_HOME=/usr/local/src/scala/scala-2.12.7 #SCALA环境变量 export SPARK_WORKING_MEMORY=521m #每一个worker节点上可用的最大内存 export SPARK_MASTER_IP=master #驱动器节点IP export HADOOP_HOME=/usr/local/src/hadoop-3.0.2 #Hadoop路径 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #Hadoop配置目录   2)、配置slave主机 先拷贝:cp slaves.template slaves 文件中增加slave节点名称: slave1 slave2   3)、将spark 目录发送给salve1和slave2 scp -r spark root@slave1:/usr/local/src/ scp -r spark root@slave2:/usr/local/src/   4)、启动spark cd sbin目录,执行./start-all.sh   5)、节点启动了worker进程
 

    原文作者:spark
    原文地址: https://www.cnblogs.com/lihao7/p/10092846.html
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞