在YARN上运行Spark

在Spark0.6.0版本开始支持YARN模式，随后的版本在逐渐地完善。

在YARN上启动Spark

确保HADOOP_CONF_DIR或YARN_CONF_DIR属性的值已经指向了Hadoop集群的配置文件。Spark通常使用这些配置信息来向HDFS写入数据和连接到YARN资源管理器。这个目录下所有的文件将会被分发到YARN集群中，所以所有应用使用的容器都使用同样的配置。如果Java的系统属性或YARN没有管理的环境变量等配置，它们应该在Spark 的应用配置项中配置。

在YARN上启动Spark有两种部署模式。在Cluster模式中，Spark的driver程序运行在被YARN管理的集群中的任何一个master进程中，并且client初始化应用后可以退出。在Client模式中，driver程序运行在client进程中，并且这个应用程序的master只能被用来从YARN上请求资源。

和Spark Standalone和Mesos模式不同的是，master的地址被指定在–master参数中，在YARN模式中，ResourceManager的地址可以在Hadoop的配置文件中找到。这样，–master的的参数是yarn。

在cluster模式中启动Spark应用程序：

$ ./bin/spark-submit –class path.to.your.Class –master yarn –deploy-mode cluster [options] <app jar> [app options]

举例:

$ ./bin/spark-submit –class org.apache.spark.examples.SparkPi \

    –master yarn \

    –deploy-mode cluster \

    –driver-memory 4g \

    –executor-memory 2g \

    –executor-cores 1 \

    –queue thequeue \

    lib/spark-examples*.jar \

    10

上面的应用例子将会启动一个YARN client程序，它将会启动默认的应用Master。而SparkPi将会作为应用Master的一个子线程运行。client将会周期性地轮询应用Master来达到转态的更新并把它们显示在console终端。一旦你的应用程序运行完毕，client将会退出。

在client模式中启动Spark应用和cluster模式一样，只是将cluster替换为client。如下所示：

$ ./bin/spark-shell –master yarn –deploy-mode client

添加其他Jar

在cluster模式中，driver程序和client在不同的机器上，所以只对于本机的可行的SparkContext.addJar将会失效。为了使client继续能使用SparkContext.addJar,可以在创建命令时给–jars选项赋值。

$ ./bin/spark-submit –class my.main.Class \

    –master yarn \

    –deploy-mode cluster \

    –jars my-other-jar.jar,my-other-other-jar.jar

    my-main-jar.jar

    app_arg1 app_arg2

预备

在YARN上运行Spark要求一个支持YARN的一个二进制发布包。你可以在官网上下载，也可以自己编译一个。

配置

Spark on YARN上的许多配置和其他模式基本上一样。

调试你的应用程序

在YARN中，executor和应用master运行在“containers”（容器）中。应用程序运行完毕后，YARN提供了两种存放容器日志的方式。如果日志聚合服务被开启的话（通过yarn.log-aggregation-enable来配置），容器日志将会被拷贝到HDFS中并且删除本机上的日志文件。这些日志文件使用yarn logs命令可以在任何一台集群中的机器看到。如下：

yarn logs -applicationId <app ID>

上面的命令将会打印出应用程序申请到的所有容器日志文件的内容。你也可以通过HDFS shell或API来直接看这些容器文件。这些日志文件的目录可以查看YARN配置（yarn.nodemanager.remote-app-log-dir and yarn.nodemanager.remote-app-log-dir-suffix）。这些日志在Spark Web UI的“Executors”的选项卡中也能看到。你需要启动Spark history server和MapReduce history server并且正确地在yarn-site.xml配置好 yarn.log.server.url选项。这个Spark history server UI的日志URL将会把重定向到MapReduce的history server，从而显示日志信息。

当日志聚合服务关闭时，日志被保留在每台机器的YARN_APP_LOGS_DIR目录下，该目录通常被用来配置为/tmp/logs或$HADOOP_HOME/logs/userlogs，这取决于Hadoop的版本和安装。查看一个容器的日志信息需要到对应的主机上的这个目录下查找。子目录名称通过应用ID和容器ID来构成。这种日志在Spark WebUI的Executors选项卡中也能看到并且不要求启动MapReduce history server，因为不需要读取HDFS上的数据。

回顾一下每个容器创建的环境，增加yarn.nodemanager.delete.debug-delay-sec到一个大数值（比如36000），并且在容器上创建的节点上的yarn.nodemanager.local-dirs中得到应用程序的缓存。这个目录包括创建的脚本，JARs和用于创建每个容器的所有环境变量。它对于调试classpath问题是特别有用的。（注意允许这种方式在集群的设置和所有节点的重启需要管理员权限，这样的话它宿主机上不可用。）

对每个应用的master或executors使用自定义的log4j配置的话， 请看下：

• 用spark-submit上传一个自己编写的log4j.properties文件，通过–files参数把它和应用一起提交。
• 给每个driver添加值-Dlog4j.configuration=<location of configuration file>到spark.driver.extraJavaOptions选项中。注意如果使用该选项的话，该文件需要在所有的节点上都存在。

l 上传$SPARK_CONF_DIR/log4j.properties文件后，它会和其他的配置一样自己更新。注意如果多个option指定时，上面介绍的那种option比这种有更高的优先权。

Note that for the first option, both executors and the application master will share the same log4j configuration, which may cause issues when they run on the same node (e.g. trying to write to the same log file).

注意，对于第一种option而言，所有的executors和应用程序master将会使用同样的log4j配置，当他们运行在一样的节点上可能会出问题（例如：写入到同样的日志文件中，也就是并发写，不难理解吧）

如果在Yarn中你需要一个合适的位置来存放日志文件，通过在你的log4j.properties中配置spark.yarn.app.container.log.dir，那么yarn可以更好的聚合它们并展示。例如：

log4j.appender.file_appender.File=${spark.yarn.app.container.log.dir}/spark.log.对于Streaming程序而言，配置RollingFileAppender和yarn的日志文件目录将避免大日志文件造成的磁盘移除，而且，日志也可以很好地被YARN使用。

重点提示

• 在调度决策中主要的资源请求是否得到，取决于正在使用的调度器和它的具体配置。
• 在cluster模式中，Spark executors和driver将会使用为YARN配置的本地文件目录（Hadoop YARN配置项 yarn.nodemanager.local-dirs）。如果使用特定的spark.local.dir，它将会失效。在client模式中，Spark executors将会使用YARN配置的本地目录，但Spark driver将使用spark.local.dir选项定义好的。这是因为Client模式下Spark driver只是Spark的executor在执行，没有运行在YARN集群中。
• –files和–archives选项支持和Hadoop一样使用#来指定文件别名。例如：你可以指定–files localtest.txt#appSees.txt，那么它将会把本地文件的localtest.txt文件上传到HDFS中，可理解为，它在HDFS中文件名将是appSees.tx，在YARN中使用appSees.txt文件名即可。
• –jars 选项，如果你在使用本地文件和运行在cluster模式时，SparkContext.addJar函数将会起作用。如果你正在用HDFS、HTTP、HTTPS、FTP的文件时，它不需要。

Spark 属性配置项，可根据如下列表进行参数的调整：