Spark 伪分布式部署

2019年6月8日 199次阅读 来源: 郭寻抚

1. 前言

1.1 Spark 简介

Spark 是快速和通用的大数据处理引擎。Spark的内存计算速度是Hadoop MapReduce的100倍。Spark支持Java、Scala、Python、和R开发，方便我们开发并行程序，并且我们还可以通过Scala、Python、R的Shell命令和Spark交互。Spark支持SQL、流计算和复杂分析，提供了Spark SQL、Spark Streaming、MLlib、GraphX等组件。

《Spark 伪分布式部署》 Paste_Image.png

Spark集群的结构如下图所示，是个典型的Master/Slaves结构。

《Spark 伪分布式部署》 Paste_Image.png

Spark的部署方式包括Standalone、YARN、Mesos，在我们学习Spark编程的过程中，往往机器资源有限，于是可以采用伪分布式部署。

1.2 Spark 部署依赖

Spark Standalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于Hadoop HDFS，因此我们也部署了伪分布式的Hadoop。

本次部署是在centos 7.1上部署的，ip地址是192.168.1.91，主机名称是vm91，已经做好了ssh免登录。Spark各依赖组件的版本分别如下：

  • JDK 1.8.0_71
  • Scala 2.11.8
  • Hadoop 2.6.0

安装后，设置各组件的环境变量如下：

# JDK Eenvironment Variables
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin
export JAVA_TOOL_OPTIONS=-Dfile.encoding=UTF-8

# Scala Eenvironment Variables
export SCALA_HOME=/opt/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

# Hadoop Eenvironment Variables
export HADOOP_HOME=/opt/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=/opt/hadoop-2.6.0/etc/hadoop

2. Spark 部署

2.1 下载和安装

Spark最新的稳定版本是2.0.1，下载地址是http://spark.apache.org/downloads.html。因为我们使用Hadoop版本是2.6.0.因此下载的时候选择的是Pre-built for Hadoop 2.6。

# 下载
wget http://mirrors.cnnic.cn/apache/spark/spark-2.0.1/spark-2.0.1-bin-hadoop2.6.tgz
# 解压安装
tar -zxvf spark-2.0.1-bin-hadoop2.6.tgz

配置环境变量

# vi /etc/profile

输入以下配置项，在profile的尾部，并保存退出。

# Spark Eenvironment Variables
export SPARK_HOME=/opt/spark-2.0.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

使配置生效

source /etc/profile

Spark目录结构介绍

  • bin：提交运行Spark程序的脚本
  • conf：配置文件所在的目录
  • data：测试数据
  • examples：样例程序和源码
  • jars：jar lib的目录
  • LICENSE：顾名思义，license文件
  • licenses：依赖的第三方组件的licenses
  • logs：默认的日志目录
  • NOTICE
  • python：Python相关的脚本、文档和lib
  • R：R语言相关的文档、lib
  • README.md：readme文件，对于初学者很有用
  • RELEASE：发行版本介绍
  • sbin：启动和停止脚本目录
  • yarn：spark-yarn-shuffer.jar目录

2.2 配置

Spark的配置文件位于$SPARK_HOME/conf目录下，需要修改的配置文件包括spark-env.sh、spark-defaults.conf和slaves。这三个文件，conf目录都只有模版文件，需要我们重命名。

cd /opt/spark-2.0.1-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf
cp slaves.template slaves

spark-env.sh

本次只修改了以下两个参数。

# 指定JDK路径
export JAVA_HOME=/opt/jdk
# 设置Master的地址
SPARK_MASTER_HOST=vm91

其余参数均采用了默认配置，包括了Hadoop配置文件的路径、Worker的内存和CPU资源的配置等，各配置项的含义，注释中都有说明。

spark-defaults.conf

spark-defaults.conf文件用于设定一些默认的Spark环境变量，本次设定了master的地址，和spark shuffer文件的保存路径。

spark.master spark://vm91:7077
spark.local.dir /opt/data/spark_shuffle

slaves

slaves文件用于配置集群拥有的Worker。编辑slaves文件，输入hostname。

vm91

以上就是Spark伪分布式的安装配置过程；如果要分布式部署，只需要在slaves中设置其余Worker的主机名，并把本机的spark部署环境拷贝到其余主机上即可。

2.3 启动和停止

Spark启动后，可以通过jps命令来查看启动的进程，正常情况下，可以看到1个Master进程和1个Worker进程。

# 启动
$SPARK_HOME/sbin/start-all.sh

# 停止
$SPARK_HOME/sbin/stop-all.sh

# Web UI地址
http://192.168.1.91:8080

3. Spark 程序运行

3.1 提交Spark程序

使用脚本提交运行Spark程序。

[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/run-example SparkPi

可以看到屏幕上输出了Pi的值。

Pi is roughly 3.13959569797849

3.2 Spark-shell

使用如下命令，可以进入scala的shell交互式模式。

[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/spark-shell

（完）

    原文作者：郭寻抚
    原文地址: https://www.jianshu.com/p/921d376a2601
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞