分区表实际上就是对应一个HDFS文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。
1、引入分区表(需要根据日期对日志进行管理)
/user/hive/warehouse/log_partition/20180101/20180101.log
/user/hive/warehouse/log_partition/20180102/20180102.log
/user/hive/warehouse/log_partition/20180103/20180103.log
2、创建分区表语法
hive (default)> create table dept_partition(
deptno int, dname string, loc string
)
partitioned by (month string)
row format delimited fields terminated by '\t';
3、加载数据到分区表中
hive (default)> load data local inpath '/opt/module/datas/dept.txt' into table default.dept_partition partition(month='201801');
hive (default)> load data local inpath '/opt/module/datas/dept.txt' into table default.dept_partition partition(month='201802');
hive (default)> load data local inpath '/opt/module/datas/dept.txt' into table default.dept_partition partition(month='201803');
4、查询分区表中数据
单分区查询
hive (default)> select * from dept_partition where month='201801';
多分区联合查询
hive (default)> select * from dept_partition where month='201801'
union
select * from dept_partition where month='201802'
union
select * from dept_partition where month='201803';
5、增加分区
创建单个分区
hive (default)> alter table dept_partition add partition(month='201804') ;
同时创建多个分区
hive (default)> alter table dept_partition add partition(month='201805') partition(month='201806');
6、删除分区
删除单个分区
hive (default)> alter table dept_partition drop partition (month='201804');
同时删除多个分区
hive (default)> alter table dept_partition drop partition (month='201805'), partition (month='201806');
7、查看分区表有多少分区
hive>show partitions dept_partition;
8、查看分区表结构
hive>desc formatted dept_partition;