关于spark-submit之后,报错NoClassDefFoundError

NoClassDefFoundError:org.apache.hadoop.hdfs.server.namenode.NameNode

这个问题,困扰了我五天时间,之前使用Eclispe打包之后,在云服务器上面运行。

首先报错java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration。随之采取的操作是:将$HBASE_HOME/lib的jar包全部拷贝到$SPARK_HOME/jars下。我先保留了spark中的较新版本的jar包,发现问题变成了噩梦般的NoClassDefFoundError:Could not initialize class org.apache.hadoop.hdfs.server.namenode。(就是这个错,让我一直以为是Hadoop的配置有问题…)

然后我尝试了保留hbase的所有jar包到spark之后,发现还是一样的问题。当时我就懵了。

于是我不断Google并尝试了如下所有操作:

在spark-env.sh中加入:SPAKR_COMMON_HOME; 加入:SPARK_PREFIX;

在Hadoop中拷贝所有jar包到spark;

重新搭建云服务器集群×3;

在spark-submit命令中,指定–driver-class-path;指定–jars等等等等,总计不下二十种方法来解决这个问题。但是无一不是相同的错误:NoClassDefFoundError:Could not initialize class org.apache.hadoop.hdfs.server.namenode。在很奇怪的同时,我不甘心会因为这个问题把我活生生卡住,在考虑到是spark执行任务找不到hdfs之后,继续搜索,发现并没有哪位前辈的帖子里有涉及hadoop的jar包到spark中去,于是,我删除了spark-env.sh中的SPARK_CLASSPATH,改于在spark-submit命令中进行制定。

最终指令为:

bin/spark-submit –class package.test –jars $(echo $HBASE_HOME/lib/*.jar | tr ‘ ‘ ‘,’ ) –master local[5] /opt/RecommendSystem-1.0.jar

–class后面的为完整报名.类名

问题解决。

    原文作者:Hiwes
    原文地址: https://www.jianshu.com/p/ace7fe1522a9
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞