注重版权，尊重他人劳动
转帖注明原文地址：http://www.cnblogs.com/vincent-hv/p/3316502.html  
Spark主要提供三种位置配置系统：

• 环境变量：用来启动Spark workers，可以设置在你的驱动程序或者conf/spark-env.sh 脚本中；
• java系统性能：可以控制内部的配置参数，两种设置方法：
  • 编程的方式（程序中在创建SparkContext之前，使用System.setProperty（“xx”，“xxx”）语句设置相应系统属性值）；
  • 在conf/spark-env.sh中配置环境变量SPARK_JAVA_OPTS。
• 日志配置：通过log4j.properties实习

一、环境变量

spark安装目录下的conf/spark-env.sh脚本决定了如何初始化worker nodes的JVM，甚至决定了你在本地如何运行spark-shell。在Git库中这个脚本默认是不存在的，但是你可以自己创建它并通过复制con/spark-env.sh.template中的内容来配置，最后要确保你创建的文件可执行。

在spark-env.sh中你至少有两个变量要设置：

• SCALA_HOME，指向你的scala安装路径；或者是SCALA_LIBRARY_PATH指向scala library JARS所在的目录（如果你是通过DEB或者RPM安装的scala，他们是没有SCALA_HOME的，但是他们的libraries是分离的，默认在/usr/share/java中查找scala-library.jar）
• MESOS_NATIVE_LIBRARY，如果你要在Mesos上运行集群的话

  另外，还有其他四个变量来控制执行。应该将他们设置在启动驱动程序的环境中来取代设置在spark-env.sh，因为这样这些设置可以自动传递给workers。将他们设置在每个作业中而不是spark-env.sh中，这样确保了每个作业有他们自己的配置。

• SPARK_JAVA_ORTS，添加JVM选项。你可以通过-D来获取任何系统属性；
• SPARK_CLASS_PATH，添加元素到Spark的classpth中；
• SPARK_LIBARAT_OATH，添加本地libraries的查找目录；
• SPARK_MEM，设置每个节点所能使用的内存总量。他们应该和JVM‘s -Xmx选项的格式保持一致（e.g.300m或1g）。注意：这个选项将很快被弃用支持系统属性spark.executor.memory，所以我们推荐将它使用在新代码中。

注意：如果你将他们设置在spark-env.sh中，他们将覆盖用户程序设定的值，这是不可取的。如果你喜欢，你可以选择在spark-env.sh设置他们仅当用户程序没有做任何设置时，例如：

if [ -z "$SPARK_JAVA_OPTS" ] ; then
SPARK_JAVA_OPTS="-verbose:gc"
fi

二、系统属性
通过设置系统属性来配置Spark，你必须通过以下两种方式中的任意一个来达到目的：

• 在JVM中通过-D标志（例如：java -Dspark.cores.max=5 MyProgram）
• 在你的程序中创建SparkContext之前调用System.setProperty，如下：

     System.setProperty("spark.cores.max", "5")
     val sc = new SparkContext(...)

更多可配置的控制内部设置的系统属性已经有了合理的默认属性值。然而，有五个属性通常是你想要去控制的：

  除了这些，在某些情况下以下属性可能也是需要设置的：

 
三、配置日志 Spark使用log4j来记录。你可以在conf目录中添加log4j.properties文件来配置。一种方法是复制本地已存在的log4j.properties.template