在IntelliJ IDE中配置Scala脚本以通过spark-submit运行spark独立脚本

我想运行一个我已经使用sbt package命令编译的独立Spark脚本.如何设置
Scala脚本的正确配置以在IntelliJ IDE中运行我的脚本?目前我正在使用命令行和以下命令来运行它(但我想在IntelliJ中运行以进一步调试,例如):

〜/ spark-1.2.0 / bin / spark-submit –class“CoinPipe”target / scala-2.10 / coinpipe_2.10-1.0.jar / training / data / dir 7 12

贝娄是我想要做的事情的快照:

最佳答案 我意识到这篇文章很老,但我遇到了同样的问题并找到了解决方案,所以我想在这里发布它.

>使用主类创建Java应用程序运行配置:

org.apache.spark.deploy.SparkSubmit

> VM选项应包括spark conf和jar的类路径,至少:

-cp "c:\spark\conf\;c:\spark\jars\*"

>程序参数应该包含您的jar文件作为第一个参数,然后是您希望传递给程序的实际程序参数:

yourapp.jar arg1 arg2

>使用模块的classpath应该设置为您的模块

显然我没有足够的声誉来发布图片,所以这里是一个链接:
spark-submit run configuration

点赞