2 Spark独立应用程序编程

接着我们通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包,相应的,Java 程序使用 Maven 编译打包,而 Python 程序通过 spark-submit 直接提交。

(一)编写Scala独立应用程序

安装sbt

sbt是一款Spark用来对scala编写程序进行打包的工具,这里简单介绍sbt的安装过程,感兴趣的读者可以参考官网资料了解更多关于sbt的内容。
Spark 中没有自带 sbt,这里直接给出sbt-launch.jar的下载地址,直接点击下载即可。
我们选择安装在 /usr/local/sbt 中:

second try

重新一模一样的安装一遍hadoop和spark,这次是成功的。

《2 Spark独立应用程序编程》 Paste_Image.png

其他参考资料

http://lib.csdn.net/article/scala/27169 给出了官网信息
http://blog.csdn.net/sadfasdgaaaasdfa/article/details/50821459 给出了一个实例

配置信息

《2 Spark独立应用程序编程》 配置信息

最终成功了,但是等了43min,太长了。

《2 Spark独立应用程序编程》 Paste_Image.png

《2 Spark独立应用程序编程》 得到了正确结果

java

《2 Spark独立应用程序编程》 第一次尝试47min,失败

《2 Spark独立应用程序编程》 同样的命令,也失败了,但这次很快

2 加载hdfs上的文件

2.1

《2 Spark独立应用程序编程》 上传有错误,但是已经上传上去了,可能是一个节点的问题

java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.100.125:50010

    原文作者:Silly_N_Fool
    原文地址: https://www.jianshu.com/p/31f58a738070
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞