apache-spark – 为什么我的任务在Spark UI中超过了任务总数?

我以为成功将等于总加或减失败.

这些数字来自哪里?

这些数字是否表明存在问题,或者它们是否重要?

最佳答案 第一个数字(3660)是成功任务的数量.第二个数字(1830)是阶段中的任务数量.您的阶段运行了两次,因此成功任务的数量是阶段中任务数量的两倍.

当多个后续阶段依赖于它们并且它们没有被缓存或者没有被缓存部分驱逐时,阶段可以部分地或全部地重新执行.

另一种方法是,使用推测执行可以获得比总数更多的成功任务.

点赞