hive 复合数据类型

hive提供了复合数据类型:

Structs: structs内部的数据可以通过DOT(.)来存取,例如,表中一列c的类型为STRUCT{a INT; b INT},我们可以通过c.a来访问域a

Maps(K-V对):访问指定域可以通过[“指定域名称”]进行,例如,一个Map M包含了一个   group -> gid的kv对,gid的值可以通过M[‘group’]来获取

Arrays:array中的数据为相同类型,例如,假如array A中元素[‘a’,’b’,’c’],则A[1]的值为’b’

Struct使用

建表:

create table student_test(id INT, info struct  <name:STRING, age:INT > )

ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’

COLLECTION ITEMS TERMINATED BY ‘:’;

‘FIELDS TERMINATED BY’ :字段与字段之间的分隔符

”COLLECTION ITEMS TERMINATED BY’ :一个字段各个item的分隔符

导入数据:

$ cat test5.txt

1,zhou:30

2,yan:30

3,chen:20

4,li:80

hive> LOAD DATA LOCAL INPATH ‘/home/work/data/test5.txt’ INTO TABLE student_test;

查询:

hive> select info.age from student_test;

30

30

20

80

Array使用

建表:

 create table class_test(name string, student_id_list array<INT>)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ‘,’

COLLECTION ITEMS TERMINATED BY ‘:’;

导入数据:

$ cat test6.txt

034,1:2:3:4

035,5:6

036,7:8:9:10

hive>  LOAD DATA LOCAL INPATH ‘/home/work/data/test6.txt’ INTO TABLE class_test ;

查询:

hive> select student_id_list[3] from class_test;

Map使用

建表:

hive> create table employee(id string, perf map<string,int>)

> ROW FORMAT DELIMITED

> FIELDS TERMINATED BY ‘\t’

> COLLECTION ITEMS TERMINATED BY ‘,’

> MAP KEYS TERMINATED BY ‘:’;

‘MAP KEYS TERMINATED BY’ :key value分隔符

导入数据:

$ cat test7.txt

1       job:80,team:60,person:70

2       job:60,team:80

3       job:90,team:70,person:100

hive>  LOAD DATA LOCAL INPATH ‘/home/work/data/test7.txt’ INTO TABLE employee;

查询:

hive> select perf[‘person’] from employee;

hive> select perf[‘person’] from employee where perf[‘person’] is not null;

    原文作者:felix_feng
    原文地址: https://www.jianshu.com/p/0feea5954df0
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞