spark从入门到放弃二: worldcount-java submit

2019年6月8日 206次阅读 来源: 意浅离殇

文章地址：http://www.haha174.top/article/details/254362
项目源码：https://github.com/haha174/spark.git
提交到spark 集群上面去运行 与本地有点不同

/**
* 如果提交集群只需要修改两个地方
* 第一删除setMaster
* 第二  hadf  上面的文件
*/
        SparkConf conf=new SparkConf().setAppName("WorldCountLocal");

/**
*
* 1  将world-count.txt  上传到hdfs
* 2  maven 打包
* 3 编写提交脚本
*/

将world-count.txt 上传到hdfs 如果不会可以参考 http://www.haha174.top/article/details/254272

脚本

/spark/spark-2.2.1-bin-hadoop2.7/bin/spark-submit --class spark.core.WorldCountLocal --num-executors 3 --driver-memory 1g  --executor-memory 1g  --executor-cores 3 --master spark://192.168.1.221:7077 /data/spark-submit/java/world-count-java/spark-world-count-java-submit-1.0-SNAPSHOT-jar-with-dependencies.jar

欢迎关注，更多福利

《spark从入门到放弃二: worldcount-java submit》 这里写图片描述

    原文作者：意浅离殇
    原文地址: https://www.jianshu.com/p/101729f2f424
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞