apache-spark – 在spark-submit中替换默认的application.conf文件

2023年3月13日 256次阅读

我的代码就像：

val config = ConfigFactory.load

它默认从application.conf获取键值对.然后我使用-Dconfig.file =指向另一个conf文件.

它适用于以下命令：

dse -u cassandra -p cassandra spark-submit 
    --class packagename.classname --driver-java-options 
    -Dconfig.file=/home/userconfig.conf /home/user-jar-with-dependencies.jar

但现在我需要将userconfig.conf拆分为2个文件.我试过下面的命令.它不起作用.

dse -u cassandra -p cassandra spark-submit 
    --class packagename.classname --driver-java-options 
    -Dconfig.file=/home/userconfig.conf,env.conf 
     /home/user-jar-with-dependencies.jar

最佳答案 默认情况下,spark会查看defaults.conf但你可以1)使用’properties-file’指定另一个文件2)你可以使用–conf传递单独的keu值属性或3)你可以使用编程方式在你的代码中设置配置sparkConf对象

这有帮助还是您在寻找akka application.conf文件？

点赞