《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?

2019年10月28日 177次阅读来源: zhisheng

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

前言

写这篇文章其实也是知识星球里面的一个小伙伴问了这样一个问题：

通过 flink UI 仪表盘提交的 jar 是存储在哪个目录下？

这个问题其实我自己也有问过，但是自己因为自己的问题没有啥压力也就没深入去思考，现在可是知识星球的付费小伙伴问的，所以自然要逼着自己去深入然后才能给出正确的答案。

跟着我一起来看看我的探寻步骤吧！小小的 jar 竟然还敢和我捉迷藏？

查看配置文件

首先想到的是这个肯定可以在配置文件中有设置的地方的：

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

谷歌大法好

虽然有个是 upload 的，但是并不是我们想要的目录！于是，只好动用我的“谷歌大法好”。

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

找到了一条，点进去看 Issue 如下：

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

发现这 tm 不就是想要的吗？都支持配置文件来填写上传的 jar 后存储的目录了！赶紧点进去看一波源码：

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

源码确认

这个 jobmanager.web.upload.dir 是不是？我去看下 1.8 的源码确认一下：

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

发现这个 jobmanager.web.upload.dir 还过期了，用 WebOptions 类中的 UPLOAD_DIR 替代了！

继续跟进去看看这个 UPLOAD_DIR 是啥玩意？

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

看这注释的意思是说，如果这个配置 web.upload.dir 没有配置具体的路径的话就会使用 JOB_MANAGER_WEB_TMPDIR_KEY 目录，那么我们来看看是否配置了这个目录呢？

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

确实没有配置这个 jar 文件上传的目录，那么我们来看看这个临时目录 JOB_MANAGER_WEB_TMPDIR_KEY 是在哪里的？

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

又是一个过期的目录，mmp，继续跟下去看下这个目录 TMP_DIR。

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

我们查看下配置文件是否有配置这个 web.tmpdir 的值，又是没有：

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

so，它肯定使用的是 System.getProperty("java.io.tmpdir") 这个目录了，

我查看了下我本地电脑起的 job 它的配置中有这个配置如下：

java.io.tmpdir  /var/folders/mb/3vpbvkkx13l2jmpt2kmmt0fr0000gn/T/

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

再观察了下 job，发现 jobManager 这里有个 web.tmpdir 的配置：

web.tmpdir  /var/folders/mb/3vpbvkkx13l2jmpt2kmmt0fr0000gn/T/flink-web-ea909e9e-4bac-452d-8450-b4ff082298c7

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

发现这个 web.tmpdir 的就是由 java.io.tmpdir + “flink-web-” + UUID 组成的！

水落石出

进入这个目录发现我们上传的 jar 终于被找到了：

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

配置上传 jar 目录确认

上面我们虽然已经知道我们上传的 jar 是存储在这个临时目录里，那么我们现在要验证一下，我们在配置文件中配置一下上传 jar 的固定位置，我们先在目录下创建一个 jars 目录，然后在配置文件中加入这个配置：

web.tmpdir: /usr/local/blink-1.5.1/jars

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

更改之后再看 web.tmpdir 是这样的:

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

从 Flink UI 上上传了三个 jar，查看 /usr/local/blink-1.5.1/jars/flink-web-7a98165b-1d56-44be-be8c-d0cd9166b179 目录下就出现了我们的 jar 了。

《《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?》

我们重启 Flink，发现这三个 jar 又没有了，这也能解释之前我自己也遇到过的问题了，Flink 重启后之前所有上传的 jar 都被删除了！作为生产环境，这样玩，肯定不行的，所以我们还是得固定一个目录来存储所有的上传 jar 包，并且不能够被删除，要配置固定的目录（Flink 重启也不删除的话）需要配置如下：

web.upload.dir: /usr/local/blink-1.5.1/jars

这样的话，就可以保证你的 jar 不再会被删除了！

再来看看源码是咋写的哈：

//从配置文件中找 UPLOAD_DIR final Path uploadDir = Paths.get(
    config.getString(WebOptions.UPLOAD_DIR, config.getString(WebOptions.TMP_DIR)),
    "flink-web-upload");

return new RestServerEndpointConfiguration(
    restAddress,restBindAddress,port,sslEngineFactory,
    uploadDir,maxContentLength,responseHeaders);