HDFS：Spark删除hdfs文件

2024年1月17日 270次阅读 来源: raincoffee

1. 查看hdfs文件中前几行

随机返回指定行数的样本数据
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5

返回前几行的样本数据
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100

返回最后几行的样本数据
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | tail -5

查看文本行数
hadoop fs -cat hdfs://172.16.0.226:8020/test/sys_dict/sysdict_case_type.csv |wc -l

查看文件大小(单位byte)
hadoop fs -du hdfs://172.16.0.226:8020/test/sys_dict/*

hadoop fs -count hdfs://172.16.0.226:8020/test/sys_dict/*

2. spark 中删除HDFS文件

在写spark代码的时候，经常会遇到文件夹路径存在的情况，一般有以下的解决方式

1.在shell脚本中 直接调用hadoop fs -rm path

2.通过设置可直接覆盖文件路径，此方法我没有测试

yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false")
val sc = SparkContext(yourSparkConf)

可参考：http://stackoverflow.com/questions/27033823/how-to-overwrite-the-output-directory-in-spark

3.通过Hadoop方式删除已存在的文件目录

    val hdfs= FileSystem.get(new java.net.URI("hdfs://xxx"),new Configuration())
    if(hdfs.exists(new Path(dstPath))){
      println("delete exits files")
      hdfs.delete(new Path(dstPath),true)
    }

4.通过spark自带的hadoopconf方式删除

  val hadoopConf = sparkContext.hadoopConfiguration
    val hdfs = org.apache.hadoop.fs.FileSystem.get(hadoopConf)
 if(hdfs.exists(path)){
      //为防止误删，禁止递归删除
      hdfs.delete(path,false)
    }

其中方式3 自己测试验证过。

    原文作者：raincoffee
    原文地址: https://www.jianshu.com/p/8e3fdf70dc06
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞