Spark操作多HDFS集群

由于特殊需求,需要在一次Spark任务中切换HDFS集群。

本文我将介绍如何在一次的spark任务中操作不同的HDFS集群

我们以wordcount为例,分析如何配置。我们的输入数据源来自cluster1的HDFS,需要将分析结果输出到cluster2的HDFS。

val conf = new SparkConf().setAppName("Spark Word Count") 
val sc = new SparkContext()

// 在输入数据之前先将hadoop config配置为cluster1集群
sc.hadoopConfiguration.addResource("cluster1/core-site.xml")
sc.hadoopConfiguration.addResource("cluster1/hdfs-site.xml")

// load data
val input = sc.textFile(args(0)).flatMap(_.split(" ")).map(x => (x, 1)).reduceByKey(_ + _)

// 再将hadoop config设为cluster2集群
sc.hadoopConfiguration.addResource("cluster2/core-site.xml") 
sc.hadoopConfiguration.addResource("cluster2/hdfs-site.xml") 

input.saveAsTextFile(args(1)) 

core-site.xml和hdfs-site.xml放在项目的resources目录下

通过上述例子我们可以看到,我们如果需要在spark任务中想操作不同的hdfs集群,我们需要在操作之前先将hadoopconfig设置为我们需要操作的目标HDFS集群即可。

向spark提交任务:

bin/spark-submit --master yarn-client --class SparkWordcount run.jar /input /output

NOTE: 这里我们即可以写成全路径形式,即:hdfs://cluster1/input hdfs://cluster2/output,也可以写成上面相对路径的形式。

上面我们通过hadoopConfigurationaddResource方法来添加相关配置,其实Spark在操作hdfs的时候,只需hadoop的ha相关配置就可以了,所以我们也可以通过代码来直接配置hadoop的相关配置。

    val conf = new SparkConf().setAppName("Spark Word Count")

    val sc = new SparkContext()
    sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster1");
    sc.hadoopConfiguration.set("dfs.nameservices", "cluster1");
    sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster1", "nn1,nn2");
    sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn1", "namenode001:8020");
    sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn2", "namenode002:8020");
    sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

    val wc = sc.textFile(args(0)).flatMap(_.split(" ")).map(x => (x, 1)).reduceByKey(_ + _)
    
    sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster2");
    sc.hadoopConfiguration.set("dfs.nameservices", "cluster2");
    sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster2", "nn3,nn4");
    sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster2.nn3", "namenode003:8020");
    sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster2.nn4", "namenode004:8020");
    sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster2", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

    wc.saveAsTextFile(args(1))

这样我们就两种不同的方式来配置hadoopconfig,我们可以根据自己的需求来选择需要用哪种方式来配置

    原文作者:我要大声告诉你
    原文地址: https://www.jianshu.com/p/3e84c4c97610
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞