启动Spark任务时,在没有配置spark.yarn.archive或者spark.yarn.jars时, 会看到不停地上传jar,非常耗时;使用spark.yarn.archive可以大大地减少任务的启动时间,整个处理…
标签:archive
shell 批量操作hadoop mv 文件
shell 批量操作hadoop mv 文件 遇到的问题: 需要批量将某个目录下的文件有规则的mv到另外一个目录 示例: /tmp/archive/bg/b1201804/2018-04-17/imaga-r-00007…