apache-spark – 来自私有注册表的自定义Docker镜像的Spark作业

我想构建一个可以与Spark的spark.mess.executor.docker.image配置选项一起使用的自定义Docker镜像.此图像将包含私人信息,因此需要将其保存在私有注册表中.这可能吗?我没有看到任何记录的方法来指定登录凭据作为spark-submit命令的一部分. 最佳答案 我似乎应该指定docker凭证文件的URL作为spark.mesos.uris spark-submit选项的一部分.

点赞