Spark—累加器

spark累加器

累加器是一种共享变量,提供了将工作节点中的值聚合到驱动器程序中的简单语法。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。

累加器计数

《Spark—累加器》 pic-1.png

注意:只有在运行行动操作(pic-1之中的saveAsTextFile)之后累加器中才会有计数值,因为行动操作之前的转化操作是惰性的。

另外一点:工作节点上的任务不能访问累加器的值。从这些任务的角度来看,累加器是一个只写变量。在这种模式下,累加器的实现可以更加高效,不需要对每次更新操作进行复杂的通信。

在python中运用累加器进行错误计数

《Spark—累加器》 pic-2.png

    原文作者:LuciferTM
    原文地址: https://www.jianshu.com/p/a3c21eb1612a
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞