关闭spark streaming

关闭spark streaming的时候需要在跑完一个batch之后关闭,不然就有可能会有丢失数据或者重复数据的风险。
在spark1.4之后有一个配置开关

.set("spark.streaming.stopGracefullyOnShutdown","true")

把这个开关打开就可以使用kill -15 pid的方式,优雅的关闭spark streaming了。它会等在正在执行的批次完成自动结束。

    原文作者:Moon_Storm
    原文地址: https://www.jianshu.com/p/6211387f65f9
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞