apache-spark – 如何为Apache Spark集群手动部署第三方实用程序jar？

2023年2月25日 200次阅读

我有一个Apache Spark集群(多节点),我想手动将一些实用程序jar部署到每个Spark节点.我应该把这些罐放在哪里？

例如：spark-streaming-twitter_2.10-1.6.0.jar

我知道我们可以使用maven来构建包含这些jar的胖罐,但是我想手动部署这些实用程序.通过这种方式,程序员不必部署这些实用程序jar.

有什么建议吗？

最佳答案 1,将第三方罐子复制到预留的HDFS目录;

例如hdfs：// xxx-ns / user / xxx / 3rd-jars /

2,在spark-submit中,使用hdfs路径指定这些jar;
hdfs： – 执行器将从hdfs目录下拉文件和JAR

--jars hdfs://xxx-ns/user/xxx/3rd-jars/xxx.jar

3,spark-submit不会重新上传这些罐子

Client: Source and destination file systems are the same. Not copying hdfs://xxx-ns/user/xxx/3rd-jars/xxx.jar
点赞