关于spark实时计算的checkpoint

怪就怪之前之前对spark streaming和structed streaming不熟悉,因为之前的实时计算都在用storm。

这两天遇到一个问题,我在公司平台上提交spark streaming任务,测试的时候感觉没问题,但是到了线上总感觉修改的内容没有执行。为了排查错误,我单独起在IDEA创建了一个项目,改了项目名称,改了jar包名字,改了入口路径,提交任务的时候改了公司平台的应用名称,改了半天,发现还是执行之前的代码。所以我把问题抛给了平台部,以为是他们的问题。但是到头来谁也没有查出错误在哪。

平台部门的同事最后提了一个问题,他说是不是因为你前后提交的任务appName一样,所以导致每次执行之前的程序。我试着改了一下,发现问题还在。这个时候我才想到会不会是因为checkPoint的路径没改,导致使用了之前的元数据信息。然后我果断改了一下checkPoint路径,成功!!!

教训啊教训!!!

    原文作者:王金松
    原文地址: https://www.jianshu.com/p/30ad45493d62
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞