黑猴子的家：Hive 分区表基本操作

2023年7月30日 225次阅读

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。

1、引入分区表（需要根据日期对日志进行管理）

/user/hive/warehouse/log_partition/20180101/20180101.log
/user/hive/warehouse/log_partition/20180102/20180102.log
/user/hive/warehouse/log_partition/20180103/20180103.log

2、创建分区表语法

hive (default)> create table dept_partition(
                 deptno int, dname string, loc string
             )
             partitioned by (month string)
             row format delimited fields terminated by '\t';

3、加载数据到分区表中

hive (default)> load data local inpath '/opt/module/datas/dept.txt' into table default.dept_partition partition(month='201801');

hive (default)> load data local inpath '/opt/module/datas/dept.txt' into table default.dept_partition partition(month='201802');

hive (default)> load data local inpath '/opt/module/datas/dept.txt' into table default.dept_partition partition(month='201803');

4、查询分区表中数据

单分区查询

hive (default)> select * from dept_partition where month='201801';

多分区联合查询

hive (default)> select * from dept_partition where month='201801'
            union
            select * from dept_partition where month='201802'
            union
            select * from dept_partition where month='201803';

5、增加分区

创建单个分区

hive (default)> alter table dept_partition add partition(month='201804') ;

同时创建多个分区

hive (default)> alter table dept_partition add partition(month='201805') partition(month='201806');

6、删除分区

删除单个分区

hive (default)> alter table dept_partition drop partition (month='201804');

同时删除多个分区

hive (default)> alter table dept_partition drop partition (month='201805'), partition (month='201806');

7、查看分区表有多少分区

hive>show partitions dept_partition;

8、查看分区表结构

hive>desc formatted dept_partition;
点赞