打包方式运行编写的Spark程序

说明:windows环境下编写spark程序,在linux下运行

例:一个简单的求π的spark程序

《打包方式运行编写的Spark程序》

一、先通过mvn命令打包

mvn clean :

《打包方式运行编写的Spark程序》

mvn package:


《打包方式运行编写的Spark程序》

二、将生成的jar包,上传到linux(我的在jars目录下),然后执行运行命令

以local形式运行($SPARK_HOME如果未指定,先要export SPARK_HOME = 个人的spark安装目录):

《打包方式运行编写的Spark程序》

以yarn平台形式运行:(yarn上运行先要设置 HADOOP_CONF_DIR)

1.设置HADOOP_CONF_DIR


《打包方式运行编写的Spark程序》

2.yarn上运行($SPARK_HOME如果未指定,先要export SPARK_HOME = 个人的spark安装目录)

《打包方式运行编写的Spark程序》

可以在浏览器端查看

《打包方式运行编写的Spark程序》

至此,运行了一个简单的spark程序。

    原文作者:来往穿梭
    原文地址: https://www.jianshu.com/p/a8f4b92bdc51
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞