insert – 如何从配置单元查询创建制表符分隔文件？

2023年7月20日 276次阅读

我正在尝试从配置单元查询中创建一个制表符分隔值.

在Apache Hive wiki之后,我将查询编写为：

INSERT OVERWRITE LOCAL DIRECTORY '/home/luca/query_results/'
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY  '\t' ESCAPED BY '"' LINES TERMINATED BY '\n' 
STORED AS TEXTFILE
SELECT * FROM mytable ;

(请注意,真正的查询非常复杂,我知道我可以使用hive -e“在这个简单的情况下选择*来自mytable>输出).

查询似乎有效,但在query_results目录中,我找到一个扩展名为.snappy的文件,当我打开它时,它似乎是一个二进制文件,而不是文本文件.

我的查询有什么问题？如何在格式良好的文本文件中获取查询结果(我想编写一个返回几个这样的文件的hive脚本.如果我甚至可以在hive中指定文件的名称,那将是一个奖励).

最佳答案 添加评论作为答案

可以通过取消设置压缩来解决.snappy文件问题.
使用以下内容：

      set hive.exec.compress.output=false

由于其编码结构,一次snappy压缩文件无法解压缩.

上述压缩属性可以在hive-site.xml中永久设置,也可以在每次运行插入查询时手动执行

点赞