怪就怪之前之前对spark streaming和structed streaming不熟悉,因为之前的实时计算都在用storm。
这两天遇到一个问题,我在公司平台上提交spark streaming任务,测试的时候感觉没问题,但是到了线上总感觉修改的内容没有执行。为了排查错误,我单独起在IDEA创建了一个项目,改了项目名称,改了jar包名字,改了入口路径,提交任务的时候改了公司平台的应用名称,改了半天,发现还是执行之前的代码。所以我把问题抛给了平台部,以为是他们的问题。但是到头来谁也没有查出错误在哪。
平台部门的同事最后提了一个问题,他说是不是因为你前后提交的任务appName一样,所以导致每次执行之前的程序。我试着改了一下,发现问题还在。这个时候我才想到会不会是因为checkPoint的路径没改,导致使用了之前的元数据信息。然后我果断改了一下checkPoint路径,成功!!!
教训啊教训!!!