Hive 分桶

Hive 分桶

  • 分桶
    • 对于每一个表或者分区,Hive可以进一步组织成桶,也就是更为细粒度的数据范围划分
    • Hive是针对某一列进行分桶
    • Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中
  • 好处
    • 获得更高的查询处理效率
    • 使取样(sampling) 更高效
  • 分桶的使用
    • select * from bucketed_user
    • tablesample(bucket 1 out of 2 on id)
  • bucket join
    • set hive.optimize.bucketmapjoin = true;
    • set hive.optimize.bucketmapjoin.sortedmerge= true;
    • set hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat;
  • 样例:
    • create table bucketed_user(
    • id int,
    • name string
    • )
    • clustered by (id) sorted by (name) into 4 buckets
    • row format delimited fields terminated by ‘\t’ stored as textfile;
  • 分桶默认不开启 需开启
    • Set hive.enforce.bucketing= true;
  • 链接两个在(包含连接列)相同列上划分了桶的表,可以使用Map端链接(Map-side join)高效的实现。比如Join操作。对于Join操作两个表有一个相同的列,如果对着两个表都进行了桶操作。那么将保持相同列值得桶进行Join操作就可以,可以大大减少Join的数据量。
  • 对于map端连接的情况,两个表以相同方式划分桶。处理左边表内某个桶的mapper知道右边的表内相匹配的行在对应的桶内。因此,mapper只需要获取那个桶(这只是右边表内存储数据的一小部分)即可进行连接。这一优化方法并不一定要求 两个表必须桶的个数相同,两个表的桶个数是倍数关系也可以。
    原文作者:发条香蕉
    原文地址: https://www.jianshu.com/p/e2ffada0a48c
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞