我想运行一个我已经使用sbt package命令编译的独立Spark脚本.如何设置
Scala脚本的正确配置以在IntelliJ IDE中运行我的脚本?目前我正在使用命令行和以下命令来运行它(但我想在IntelliJ中运行以进一步调试,例如):
〜/ spark-1.2.0 / bin / spark-submit –class“CoinPipe”target / scala-2.10 / coinpipe_2.10-1.0.jar / training / data / dir 7 12
贝娄是我想要做的事情的快照:
最佳答案 我意识到这篇文章很老,但我遇到了同样的问题并找到了解决方案,所以我想在这里发布它.
>使用主类创建Java应用程序运行配置:
org.apache.spark.deploy.SparkSubmit
> VM选项应包括spark conf和jar的类路径,至少:
-cp "c:\spark\conf\;c:\spark\jars\*"
>程序参数应该包含您的jar文件作为第一个参数,然后是您希望传递给程序的实际程序参数:
yourapp.jar arg1 arg2
>使用模块的classpath应该设置为您的模块
显然我没有足够的声誉来发布图片,所以这里是一个链接:
spark-submit run configuration