关闭spark streaming的时候需要在跑完一个batch之后关闭,不然就有可能会有丢失数据或者重复数据的风险。
在spark1.4之后有一个配置开关
.set("spark.streaming.stopGracefullyOnShutdown","true")
把这个开关打开就可以使用kill -15 pid的方式,优雅的关闭spark streaming了。它会等在正在执行的批次完成自动结束。
关闭spark streaming的时候需要在跑完一个batch之后关闭,不然就有可能会有丢失数据或者重复数据的风险。
在spark1.4之后有一个配置开关
.set("spark.streaming.stopGracefullyOnShutdown","true")
把这个开关打开就可以使用kill -15 pid的方式,优雅的关闭spark streaming了。它会等在正在执行的批次完成自动结束。