Diagnostics: File file:/tmp/spark-/__spark_libs__.zip does not exist

2023年4月7日 149次阅读来源: 苏轶然

Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist

使用了cluster和client的deploy mode都不好使。期间使用cluster模式下，还报出了jar包找不到的异常。。

问题定位：因为spark和Hadoop的配置路径进行过更改与更新，在spark-env.sh文件中Hadoop_conf_home没有更新，导致spark无法正确读取yarn集群的配置内容。导致了错误。

解决办法：echo ‘HADOOP_CONF_DIR=’${HADOOP_HOME}/etc/hadoop >> ${SPARK_HOME}/conf/spark-env.sh

Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist

    原文作者：苏轶然
    原文地址: https://www.cnblogs.com/suanec/p/7116005.html
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。