hive从查询中获取数据插入到表或动态分区

首先,hive不支持单条数据的insert和update。

Hive的insert语句能够从查询语句中获取数据,并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees(雇员信息全量表),所属国家cnty和所属州st是该表的两个属性,我们做个试验将该表中的数据查询出来插入到另一个表employees中。

INSERT OVERWRITE TABLE employees PARTITION (country = ‘中国’, state = ‘北京’)

SELECTFROM staged_employees se WHERE se.cnty = ‘中国’ AND se.st = ‘北京’;

由于使用了OVERWRITE关键字,目标表中原来相同partition中的所有数据被覆盖,如果目标表中没有partition,则整个表会被覆盖。

如果把OVERWRITE关键字删掉,或者替换成INTO,则hive会追加而不是替代原分区或原表中的数据,这个特性在Hive v0.8.0之后才支持。

当数据已经存在于hdfs上但不是我们想要的格式的时候,当进行的计算需要分好多步骤有必要存储中间数据的时候,或者原数据没有分区、有很多无效列需要过滤的时候,可以使用insert..select句型来完成这一转换过程。

向动态分区插入数据

中国有23个省,那么我们就需要写23个insert into .. select ..where子句,这非常不现实。于是hive的一种叫做动态分区的特性就出现了,它能够根据select出来的参数自动推断将数据插入到那个分区中去。本文上面的两种SQL语句设定分区的方式都叫做静态分区插入。

将上一个SQL语句进行改动,会得到以下简洁的新SQL语句:

INSERT OVERWRITE TABLE employees 

PARTITION (country, state)

SELECT…, se.cnty, se.st 

FROM staged_employees se;

使用hive动态分区的参数设定

动态分区功能默认是关闭的,而当它是打开状态时,默认会工作在“strict”模式下,这种模式下要求至少指定一个静态分区的值。这样做是为了防止设计了大量partition的糟糕情况,举个例子你使用时间戳来进行分区,竟然每一秒钟都产生一个分区!还有其他的一些属性设定用来限制类似的情况出现,需要先设定一些必要的参数才可以:

sethive.exec.dynamic.partition=true;

sethive.exec.dynamic.partition.mode=nonstrict;

sethive.exec.max.dynamic.partitions.pernode=1000;

INSERT OVERWRITE TABLE employees

PARTITION (country, state) 

SELECT…, se.cty, se.st FROM staged_employees se;

总结

使用from .. insert.. select ..where结构能够从一个数据表中抽取数据,将结果插入到不同的表和分区中,而使用动态分区能够让hive根据select最末几个位置的值自动设定目标分区的值,使用动态分区需要设定一些hive运行参数。

转自:http://www.crazyant.net/1197.html

    原文作者:felix_feng
    原文地址: https://www.jianshu.com/p/85b37a57c6b9
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞