《Spark指南》三、提交应用程序

2019年6月8日 296次阅读来源: Flowaway

本文主要翻译至链接且不局限于该文内容，也加入了笔者实践内容，翻译水平有限，欢迎指正，转载请注明出处。

位于bin目录的spark-submit脚本用来在集群中运行应用程序，它以统一的接口支持所有类型的cluster managers（包括独立模式、Apache Mesos模式和Hadoop YARN模式）。

绑定应用程序依赖

如果你的代码依赖了其他的项目，在提交到Spark运行前，你需要将它们一起进行打包。在打包装配jar文件时，添加这些项目的依赖。sbt和Maven都有提供装配的插件，点击对应的链接进一步了解。创建组装的jars文件时，Spark和Hadoop不需要捆绑，因为在集群master运行时，默认已经集成了这两个项目。一旦你打包了jar文件，就可以使用本文所说的spark-submit脚本提交你的jar文件并执行应用程序。

对于Python开发者，你可以使用spark-submit命令的–py-files参数，然后添加.py,.zip,.egg文件与你的应用程序一起发布。如果文件太多，推荐你将这些python文件打包成一个.zip或.egg文件。

使用spark-submit运行应用程序

一个应用程序和其附属文件捆绑好了之后，它就可以使用bin/spark-submit脚本提交运行，该命令的示例如下：

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

其中的选项含义如下：

–class：应用程序入口（例如：org.apache.spark.examples.SparkPi）
–master：master服务的url，（例如：spark://suweijieMac:7077）
–deploy-mode：选项cluster和client，cluster表示将应用程序提交给workers，client表示作为外部客户端在本地运行，默认是client
–conf：以“key=value”形式表示的任意Spark配置，如果值是包含空格的，将“key=value”以引号形式添加
application-jar：指向捆绑的应用程序的目录，这个url必须在集群中是可访问的，例如“hdfs://”或“file://”
application-arguments：传递给main class的参数，如果有的话

常见的部署策略是在物理上与工作机器位于同一地方的网关机器上提交应用，例如在独立EC2集群的master节点。这种部署方式下，client模式更合适，驱动程序直接在spark-submit同进程中执行，对于集群来说就是一个客户端。该应用程序的输入输出都会被打印到控制台上。因此，这一模式非常适合涉及REPL（Read-Eval-Print Loop,中文译为“读取-求值-输出”循环）的应用（例如Spark shell）。

此外，如果你的应用程序在一台与worker机器距离很远的机器上提交（例如你的工作电脑），可以使用cluster模式来减小网络延迟。目前，独立模式还不支持python应用程序的cluster模式。

对于python应用，只要在<application-jar>参数中使用.py文件替换jar文件，并且使用–py-files选项追加.zip，.egg或.py文件。

部分选项是针对不同的cluster manager（独立模式、Mesos模式和YARN模式）单独指定的，例如，对于独立模式，可以指定–supervise来设置驱动程序失败时自动重启。想要了解更多的选项配置含义，可以执行如下指令：

./bin/spark-submit --help

笔者执行后，可以看到的使用介绍如下：

《《Spark指南》三、提交应用程序》 spark-submit使用示例1
spark-submit使用示例2

下面是一些常见的范例：

# 本地提交，使用8核
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[8] \
  /path/to/examples.jar \
  100

# 以client部署模式提交一个应用程序到独立模式的集群
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

# 以client部署模式提交一个应用程序到独立模式的集群，同时开启supervise
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

# 提交一个应用程序到YARN模式的集群
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

# 提交一个python应用程序到独立模式的集群
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  examples/src/main/python/pi.py \
  1000

# 提交一个应用程序到mesos模式的集群，并开启supervise
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master mesos://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  http://path/to/examples.jar \
  1000

Master URL配置

传递给Spark的Master参数可以是如下这些格式：

Master URL	含义
local	在本地的Spark中执行，只是用1个worker线程（无并行）
local[K]	在本地的Spark中执行，使用K个worker线程（理想情况下，可以设置该值为你机器的核数）
local[*]	在本地的Spark中执行，worker线程数为你机器的逻辑核数
spark://HOST:PORT	连接到一个指定的Spark独立模式集群，端口默认为7077，除非在master服务上进行了重新指定
mesos://HOST:PORT	连接到一个指定的Mesos模式集群，端口默认为5050，除非你重新进行了配置。或者，对于使用zookeeper的Mesos集群，使用mesos://zk://…作为值并使用–deploy-mode cluster来提交， HOST:PORT必须为连接到MesosClusterDispatcher的地址
yarn	连接到一个YARN集群，可以是client或cluster模式。集群的位置根据 HADOOP_CONF_DIR 或 YARN_CONF_DIR来指定的

从文件导入配置

spark-submit脚本可以从一个配置文件导入默认的Spark配置，然后传给你的应用程序。默认情况下，它会从spark目录下的conf/spark-defaults.conf文件中读取配置。更多的细节可以参考这篇文档。

使用文件导入配置的方式可以避免在spark-submit执行时传递部分配置。例如，如果你在文件中指定了spark.master属性，你就可以在执行spark-submit时忽略–master选项。一般情况下，配置的优先级为，SparkConf > spark-submit > 文件默认配置，程序中的SparkConf类指定的配置具有最高的优先级。
如果你不清楚配置选项来至于哪里，你可以在执行spark-submit时加入–verbose选项以打印出更详细的调试信息。

高级的依赖管理

在使用spark-submit提交时，应用程序的jar包，连同以–jars选项引入的其他jars文件都会被自动传输到集群中，引入的多个URL之间以逗号分隔。这个列表的jar库会被加载到驱动程序和执行器的类路径中，目录扩展不能与–jars一起使用。

Spark允许使用如下URL方案来传输jar文件：

file: – 驱动程序的HTTP服务器提供决定路径和file://类型的文件，每个执行器将从驱动程序的HTTP服务器中拉取文件。
hdfs:, http:, https:, ftp: – 根据hdfs、http、https和ftp协议拉取相应文件。
local: – 以local://开头的文件必须存在于每个worker节点的本地文件系统中，意味着文件传输不需要经过网络，因此大文件更适合使用这种方式，在worker本地就可以拉取到文件，也可以通过NFS、GlusterFS等文件系统共享。

注意每次JARS和files都会拷贝到相应的执行机器上，最终随着时间的推移，机器上的存储空间会逐渐耗尽，因此需要及时清理。在YARN模式中，清理工作可以自动触发，在Spark独立模式中，可以通过配置spark.worker.cleanup.appDataTtl属性来实现自动清理工作。

用户还可以通过–packages选项并提供以逗号分隔的maven依赖列表来引入任何其他依赖项。使用此命令时将处理所有传递的依赖性。还可以使用–repositories选项并以逗号分隔的方式添加其他存储库（或SBT中的解析器）。（请注意，在某些情况下，可以在存储库URI中提供受密码保护的存储库的凭据，例如https://user:password@host/ ….但是请谨慎提供凭据。）这些命令可以与pyspark，spark-shell和spark-submit一起使用，用以引入Spark Packages。

对于Python，等价的选项是–py-files，它用来将 .egg，.zip和.py库传输到执行器中。

算法网