Window滑动窗口

Spark Streaming提供了滑动窗口操作的支持,从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据,会被聚合起来执行计算操作,然后生成的RDD,会作为window DStream的一个RDD。比如下图中,就是对每三秒钟的数据执行一次滑动窗口计算,这3秒内的3个RDD会被聚合起来进行处理,然后过了两秒钟,又会对最近三秒内的数据执行滑动窗口计算。所以每个滑动窗口操作,都必须指定两个参数,窗口长度以及滑动间隔,而且这两个参数值都必须是batch间隔的整数倍。

操作说明
window对窗口执行自定义计算
countByWindow对每个窗口执行count操作
reduceByWindow对每个窗口执行reduce操作
reduceByKeyWindow对每个窗口执行reduceByKey操作
countByValueWindow对每个窗口执行countByValue操作
    原文作者:hipeer
    原文地址: https://www.jianshu.com/p/3e4c9e69576a
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞