SparkConf 配置的用法

2023年1月25日 461次阅读 来源: 泽泽馥泽泽

SparkConf 配置的用法

Spark应用程序的配置，用于将各种Spark参数设置为键值对。

大多数情况下，将使用新的SparkConf(),创建一个SparkConf对象，该对象将从您的应用程序中设置的任何spark.*的Java系统属性加载值。 在这种情况下，** 直接在SparkConf对象上设置的参数优先于系统属性 **。

对于单元测试，您还可以调用新的SparkConf(false)来跳过加载外部设置，并获得相同的配置，无论系统属性如何。

此类中的所有setter方法都支持链式调用。

new SparkConf().setMaster("local").setAppName("My app")

SparkConf() //load defaults from system properties and classpath

def getAll: Array[(String, String)] //Get all parameters as a list of pairs

def setAppName(name: String) //Set a name for your application

val conf = new SparkConf().setAppName("PRM Training Process").setAll(Configuration.sparkProps)

Configuration.sparkProps //?

使用Dataset和DataFrame API编程Spark的入口点。

在预先创建此环境的环境中，使用构建器获取现有会话

构建器(builder)还可用于创建新会话

SparkSession.builder()
  .master("local")
  .appName("My app")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()

val spark = SparkSession.builder.config(conf).enableHiveSupport.getOrCreate
    原文作者：泽泽馥泽泽
    原文地址: https://www.jianshu.com/p/964a9adc8b2a
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞