idea本地调试spark demo 异常

第一个问题:Caused by: java.lang.ClassNotFoundException: org.apache.spark.SparkConf

出现的原因:

《idea本地调试spark demo 异常》

依赖中加入了<scope>provided</scope>

解决方案:取掉scope就ok了

第二个问题:Exception in thread “main” java.lang.NoSuchMethodException: akka.remote.RemoteActorRefProvider.

《idea本地调试spark demo 异常》

原因:本地安装的scala中带的actor版本和spark中akka的actor版本有差异

解决方案:在classpath中将scala的jar放在spark之后就好了

在idea中调整下依赖顺序即可,如下图:

《idea本地调试spark demo 异常》

    原文作者:light01
    原文地址: https://www.jianshu.com/p/c6f8b56d8467
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞