换行符导致hive读取HDFS多行记录

通过hive建表格时,一般通过以下方式作为记录分隔符

row format delimited fields terminated by ‘\001’

这是因为在hdfs中存储的方式为文件,hive想要得到结构化的数据必须分割文件来得到,此时就得到某个字符来分割,一般采用’\001’来分割记录(暂时不知道原理,可能与HDFS的存储分割有关,待以后熟悉在回头来看)。

HDFS中的文件以某种编码存在(猜测为acsll码或者为字节码),此时如果某条记录字段中的存在换号符(/001).

(未完待续)。。。

    原文作者:verylucky
    原文地址: https://www.jianshu.com/p/a6712f6ab5d2
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞