apache-spark – 有没有办法设置spark执行器进程的niceness设置?

我有一组机器,我必须与其他进程共享.让我们说我不是一个好人,并希望我的火花执行器流程比其他人的流程具有更高的优先级.我怎么设置?

我正在使用在RHEL7上运行的StandAlone模式v2.01

最佳答案 Spark目前不支持(2.4.0)支持良好的流程优先级.通过代码库,没有使用nice,因此使用开箱即用的Spark在执行程序上设置进程优先级并不容易.这样做会有点奇怪,因为它只假设它可以启动JVM,而不是基本操作系统是UNIX.

我不推荐这种方法可以解决这个问题.例如,如果您使用Mesos作为资源管理器,则可以将spark.mesos.executor.docker.image设置为java实际调用的图像-1 old-java“$@”.

点赞