大数据工具:Spark配置遇到的坑

遇到的问题:
在配置spark的时候,启动spark-shell正常启动和使用,但是使用脚本start-all.sh 启动所有的服务时遇到问题,抛出Java异常:
Unsupported major.minor version 51.0

原因分析

看了sprak启动脚本代码,基本上就是config加载相关环境变量(Hadoop相关以及$SPARK_HOME等的需要配置好,其他spark相关的配置在conf/spark-env.sh中配置),然后启动master,再启动slaves。

我将在start-slaves.sh中最后一行shell echo出来执行,发现并没有问题,可以正常启动slave。所以原因可能是我用一个账号作为中转二次ssh登录的时候造成Java环境丢失,并没有新安装的Java1.7环境。

解决方案

在spark-env.sh中再次export JAVA_HOME 或者 再次source .bash_profile。第二中方案比较优秀,因为可以针对不同机器通用。

    原文作者:Utopi_a
    原文地址: https://www.jianshu.com/p/9090b7368ecc
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞