HIVE数据导出CSV

2023年5月25日 331次阅读来源: 朱佳宇

此前一直使用HIVE的Insert overwrite到本地目录的方法进行文件导出，但问题多多。主要原因是分隔符经常出现在字段中，实操中用竖杠|分隔问题较少。
insert overwrite local directory ‘/url/lxb/hive’
row format delimited
fields terminated by ‘,’
select * from table_name limit 100

此外也尝试使用HIVE -E的方法，再通过sed ‘s/x01/,/g’命令进行文件过滤。

两种效果均不是很理想，究其原因，主要是两种方法导出的文件都不是标准CSV。

目前使用比较顺畅的方式是通过spark-shell2, 先把Hive表转化为DataFrame，再基于DataFrame.writer.csv()（DataFrameWriter.csv）导出到HDFS。

df = spark.sql(“select * from test.student3”)
df.write.csv(“/HDFS目录”)
hadoop fs -get /HDFS目录 XXX

    原文作者：朱佳宇
    原文地址: https://www.jianshu.com/p/54ea9d393da4
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。