spark程序jar与spark lib jar冲突，加载顺序

2019年6月8日 273次阅读 来源: westfire

用户编写的spark程序打包成jar后提交到yarn执行时，经常会遇到jar包中明显存在某个类，但任务提交到yarn运行时却找不到类或方法（java.lang.NoSuchMethodError）的问题。本文总结下产生此类问题的原因及解决方案。

例子

比如我们有个spark程序用到了guava的Splitter类：

import com.google.common.base.Splitter;
...
    List list = Splitter.on("/").splitToList(output);

程序在本地模式下能正常运行，打好的jar包也的确包含Splitter类（验证方法参考附录1)，但是在yarn-cluster模式时，会出现“java.lang.NoSuchMethodError: com.google.common.base.Splitter.splitToLis” 的错误，具体错误如下：

[2017-07-21 18:16:16,922] ERROR User class threw exception: java.lang.NoSuchMethodError: com.google.common.base.Splitter.splitToList(Ljava/lang/CharSequence;)Ljava/util/List; (org.apache.spark.deploy.yarn.ApplicationMaster)
java.lang.NoSuchMethodError: com.google.common.base.Splitter.splitToList(Ljava/lang/CharSequence;)Ljava/util/List;
    at cn.creditease.bdp.jsoncook.core.string.Variable.<init>(Variable.java:14)
    at cn.creditease.bdp.jsoncook.core.string.StringCompiler.compileVariable(StringCompiler.java:63)
    at cn.creditease.bdp.jsoncook.core.string.StringCompiler.compile(StringCompiler.java:73)
    at cn.creditease.bdp.jsoncook.core.Compiler.compile(Compiler.java:49)
    at cn.creditease.bdp.jsoncook.core.Compiler.compileMap(Compiler.java:82)
    at cn.creditease.bdp.jsoncook.core.Compiler.compile(Compiler.java:67)
    at cn.creditease.bdp.sparkcook.step.CookStep.<init>(CookStep.java:62)
    at cn.creditease.bdp.sparkcook.step.LoadSQLStep.<init>(LoadSQLStep.java:15)

原因

那是什么原因造成spark程序本地能运行，yarn上就“ NoSuchMethodError”了呢？

原因是本地的jar包被SPARK_HOME/lib中的jar覆盖。spark程序在提交到yarn时，除了上传用户程序的jar，还会上传SPARK_HOME的lib目录下的所有jar包（参考附录2 )。如果你程序用到的jar与SPARK_HOME/lib下的jar发生冲突，那么默认会优先加载SPARK_HOME/lib下的jar，而不是你程序的jar，所以会发生“ NoSuchMethodError”。

上面的例子就是因为我程序的jar用的是guava18版本（mvn dependency:tree可查出版本），但是SPARK_HOME/lib下用的是guava14版本。lib下的guava14覆盖了用户的guava18，而guava14中并没有splitToList()方法, 所以报错。

解决方案

由于默认情况下，优先级SPARK_HOME/lib/jar包 > 用户程序中的jar包， 如果想让用户程序jar优先执行，那么要使用 spark.yarn.user.classpath.first (spark1.3以前）或者 spark.executor.userClassPathFirst 和spark.driver.userClassPathFirst 参数。
这些参数能让用户的jar覆盖SPARK_HOME/lib的jar。在spark conf中将他们设置为”true”即可。

如下是“spark.yarn.user.classpath.first” 参数的官方解释：

(Experimental) Whether to give user-added jars precedence over Spark’s own jars when loading classes in the the driver. This feature can be used to mitigate conflicts between Spark’s dependencies and user dependencies. It is currently an experimental feature. This is used in cluster mode only.

（正文完）

附录1 确认某个类在jar包中

第一种方式，我们用“jar -tf ”命令确认Splitter确实在jar包内，比如确认“Splitter” 类在我们的打好的jar包中：

jar -tf sparkcook-1.0-SNAPSHOT.jar | grep "com/google/common/base/Splitter"
com/google/common/base/Splitter$1$1.class
com/google/common/base/Splitter$1.class
com/google/common/base/Splitter$2$1.class
com/google/common/base/Splitter$2.class
com/google/common/base/Splitter.class

第二种方式是通过反编译工具(如JD-GUI)反编译jar包，在反编译的代码中确认类和方法存在。

第三种方式是借助IDEA等开发工具找到源码所在的位置，还是以查Splitter类为例：

《spark程序jar与spark lib jar冲突，加载顺序》 image.png

附录2 查看spark程序在yarn中的jar包使用情况

在启动spark程序后，在yarn的Environment UI子页面可查看到spark 程序用到的jar包。
比如我们上面的spark例子程序跑起来后，可在页面上查到一共有两类guava jar包，一类是SPARK_HOME/lib中的guava-14:

《spark程序jar与spark lib jar冲突，加载顺序》 image.png

第二类是common、yarn、hdfs等hadoop相关的guava-18:

《spark程序jar与spark lib jar冲突，加载顺序》 image.png

第三类是用户的guava-18, 由于用户程序的guava-18整合在了打包好的jar包中，所以在UI页面上看不到。

    原文作者：westfire
    原文地址: https://www.jianshu.com/p/0fe48bc43a8c
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞