使用IDEA开发SPARK提交remote cluster执行

开发环境

操作系统:windows 开发工具:IntelliJ IDEA  14.1.1 需要安装scala插件 编译环境:jdk 1.7   scala 2.10.4

使用IDEA开发spark应用

1:新建scala项目:
《使用IDEA开发SPARK提交remote cluster执行》
《使用IDEA开发SPARK提交remote cluster执行》 2:选择scala版本,需要spark的scala版本对应 点击上图Scala SDK的create按钮,弹出如下对话框,选择红框
《使用IDEA开发SPARK提交remote cluster执行》 3:添加spark的jar作为library 我直接复制spark安装目录下面的lib里面所有的jar作为library. 4:编写spark应用

  1. import scala.math.random
  2. import org.apache.spark._
  3. /** Computes an approximation to pi */
  4. object SparkPi{
  5. def main(args:Array[String]){
  6. val conf =newSparkConf().setAppName("Spark Pi").setMaster("spark://192.168.1.88:7077").
  7. set("spark.driver.host","192.168.1.129").setJars(List("D:\\IdeaProjects\\scalalearn\\out\\artifacts\\scalalearn\\scalalearn.jar"))
  8. val spark =newSparkContext(conf)
  9. val slices =if(args.length >0) args(0).toInt else2
  10. val n =100000* slices
  11. val count = spark.parallelize(1 to n, slices).map { i =>
  12. val x = random *2-1
  13. val y = random *2-1
  14. if(x*x + y*y <1)1else0
  15. }.reduce(_ + _)
  16. println("Pi is roughly "+4.0* count / n)
  17. spark.stop()
  18. }
  19. }

向远程spark集群提交应用

上面的代码中有段
setJars
(
List
(
“D:\\IdeaProjects\\scalalearn\\out\\artifacts\\scalalearn\\scalalearn.jar”
))
这里要说明下,就是当前工程编译的jar包的绝对路径。 点击File->Project Structure,弹出下面的对话框进行操作
《使用IDEA开发SPARK提交remote cluster执行》

 
《使用IDEA开发SPARK提交remote cluster执行》

《使用IDEA开发SPARK提交remote cluster执行》

 
好了现在就OK了
 

来自为知笔记(Wiz)

    原文作者:spark
    原文地址: https://www.cnblogs.com/gaoxing/p/4414362.html
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞