HIVE分区、分桶和索引

分区

分区是以字段的形式在表结构中存在,通过describe table命令可以查看到字段存在, 但是该字段不存放实际的数据内容,仅仅是分区的表示(伪列)。

(1)静态分区

create table if not exists sopdm.wyp2(id int,name string,tel string)

partitioned by(age int)

row format delimited

fields terminated by ‘,’

stored as textfile;

–overwrite是覆盖,into是追加

insert into table sopdm.wyp2

partition(age=’25’)

select id,name,tel from sopdm.wyp;

(2)动态分区

–设置为true表示开启动态分区功能(默认为false)

set hive.exec.dynamic.partition=true;

–设置为nonstrict,表示允许所有分区都是动态的(默认为strict)

set hive.exec.dynamic.partition.mode=nonstrict;

–insert overwrite是覆盖,insert into是追加

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table sopdm.wyp2

partition(age) —动态

select id,name,tel,age from sopdm.wyp;

2. 分桶

set hive.enforce.bucketing=true –必须设置这个数据,hive才会按照你设置的桶的个数去生成数据

create table bucket_user (id int,name string)

clustered by(id) sorted by(name) into 4 bucket

关键字clustered声明划分桶的列和桶的个数,这里以用户的id来划分桶,划分4个桶。

对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。

把表(或者分区)组织成桶(Bucket)有两个理由:

(1)获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。

(2)使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。

建student表:

hive>create table student(id INT, age INT, name STRING)

>partitioned by(stat_date STRING)

>clustered by(id) sorted by(age) into 2 bucket

>row format delimited fields terminated by ‘,’;

设置环境变量:

>set hive.enforce.bucketing = true;

插入数据:

>from student_tmp

>insert overwrite table student partition(stat_date=”20120802″)

>select id,age,name where stat_date=”20120801″ sort by age;

下面来看看利用bucket来对示例数据进行查询

—带桶的表

select * from student tablesample(bucket 1 out of 2 on id);

tablesample是抽样的语法,语法:TABLESAMPLE(BUCKET x OUT OF y) ,y必须是table总bucket数的倍数或者因子。hive根据y的大小,决定抽样的比例。例如,table总共分了64份,当y=32时,抽取(64/32=)2个bucket的数据,当y=128时,抽取(64/128=)1/2个bucket的数据。x表示从哪个bucket开始抽取。例如,table总bucket数为32,tablesample(bucket 3 out of 16),表示总共抽取(32/16=)2个bucket的数据,分别为第3个bucket和第(3+16=)19个bucket的数据。

—不带桶的表

select * from users

tablesample(bucket 1 out of 4 on rand());

3.索引

索引可以加快含有group by语句的查询的计算速度

create index employees_index on table employees(country)

as  ‘org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler’

with deferred rebuild

in table employees_index_table ;

alter index employees_index on employees_index_table rebuild;  — 重建索引

    原文作者:felix_feng
    原文地址: https://www.jianshu.com/p/4885772731ca
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞