有谁可以请指出这个活跃批次在那里停留数周并且从未被处理过的原因是什么？非常感谢.

我的猜测是执行者不够,更多的工人/执行者会解决这个问题？或者Spark在其任务调度程序中为不同批次分配优先级？

但是这里的情况是,最近的批次(6月底)成功处理,但5月份的批次仍在排队.

我刚检查了我的Spark设置,调度程序策略是FIFO

spark.scheduler.mode    FIFO

最佳答案 事实证明,主节点是瓶颈.

主节点内存不足,然后调度程序无法快速处理.

解决方案：将主节点更改为更强大的EC2实例