apache-spark – Spark清理工作没有运行

2023年10月12日 335次阅读

每当我做一个dse spark-submit< jarname>时,它会复制SPARK_WORKER_DIR中的jar(在我的情况下是/ var / lib / spark-worker / worker-0).我想在火花作业成功完成/运行后自动删除jar.使用
this,我在spark-env.sh中更改了我的SPARK_WORKER_OPTS,如下所示：

 export SPARK_WORKER_OPTS="$SPARK_WORKER_OPTS -Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=1800"

但是jar仍然没有被删除.难道我做错了什么？我该怎么办？

最佳答案 将此行添加到spark-env.sh并重新启动dse服务对我有用：

export SPARK_WORKER_OPTS="$SPARK_WORKER_OPTS -Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=3600 -Dspark.worker.cleanup.appDataTtl=172800 "

我重启了dse服务

nodetool drain
sudo service dse restart

这将在作业完成后2天删除日志.

点赞