Hive企业使用优化二

2019年6月7日 241次阅读来源: 志辉聊码

大表【拆分】

子表
根据实际业务可以把大表拆分为几个小表。
例如可以把merit_log20180304表拆分出ip,user,url,date 等字表。

外部表、分区表

结合使用：把分区和外部表结合使用

create external table if not exists  emp_partition(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
partitioned by (month string)
row format delimited fields terminated by '\t'

多级分区

drop table default.kwu_tracklog;  
create EXTERNAL table default.kwu_tracklog (   
    datetime string comment "时间 : 如2015-01-01 11:30:01:123",  
    ip string comment "IP：用户本机IP或用户所在网段对外路由IP",  
    cookieid string comment "用户cookie：和讯统一在用户端生成的唯一标志",  
    userid string comment "用户和讯注册ID ：用户在和讯网的注册ID",   
    logserverip string comment "记录日志服务器IP ： 和讯的日志收集服务器IP",  
    referer string comment "来源 ：用户浏览网页的REFER",  
    requesturl string comment "访问网址 ： 当前访问网址" ,  
    remark1 string comment "【暂时没用】 ：该数据无意义，由于早期加入目前不能去除",  
    remark2 string comment "【暂时没用】 ： 该数据无意义，由于早期加入目前不能去除",  
    alexaflag string comment "ALEXA标志  ：这个字段也是早期加入，当用户安装alexa工具时值为1，否则为0.早期加入，目前来看应该没有任何意义了。",  
    ua string comment "UA ：用户浏览器UA",  
    wirelessflag string comment "无线频道标志：给无线频道专用的，一个单词，表示该文章对应和讯哪一个频道"  
)   
comment "浏览轨迹日志"  
partitioned by(day string comment "按天的分区表字段",hour string comment "按小时的分区表字段")
ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '  
location '/hdfs/hive/default/kwu_tracklog';

导入数据

load data local inpath '/diskg/hexunlogs/tracklog_by5min/tracklog_10.0.121.74/20151014/2015101414*.dat' overwrite into table default.kwu_tracklog partition (day='20151014',hour='14');  
load data local inpath '/diskg/hexunlogs/tracklog_by5min/tracklog_10.0.121.74/20151014/2015101415*.dat' overwrite into table default.kwu_tracklog partition (day='20151014',hour='15');

测试导入数据

select count(*) from default.kwu_tracklog where day='20151014' and hour='14' limit 1;  
select count(*) from default.kwu_tracklog where day='20151014' and hour='15' limit 1;

数据

存储格式（textfile、orcfile、parquet）

drop table default.kwu_tracklog;  
create EXTERNAL table default.kwu_tracklog (   
    datetime string comment "时间 : 如2015-01-01 11:30:01:123",  
    ip string comment "IP：用户本机IP或用户所在网段对外路由IP",  
    cookieid string comment "用户cookie：和讯统一在用户端生成的唯一标志",  
    userid string comment "用户和讯注册ID ：用户在和讯网的注册ID",   
    logserverip string comment "记录日志服务器IP ： 和讯的日志收集服务器IP",  
    referer string comment "来源 ：用户浏览网页的REFER",  
    requesturl string comment "访问网址 ： 当前访问网址" ,  
    remark1 string comment "【暂时没用】 ：该数据无意义，由于早期加入目前不能去除",  
    remark2 string comment "【暂时没用】 ： 该数据无意义，由于早期加入目前不能去除",  
    alexaflag string comment "ALEXA标志  ：这个字段也是早期加入，当用户安装alexa工具时值为1，否则为0.早期加入，目前来看应该没有任何意义了。",  
    ua string comment "UA ：用户浏览器UA",  
    wirelessflag string comment "无线频道标志：给无线频道专用的，一个单词，表示该文章对应和讯哪一个频道"  
)   
comment "浏览轨迹日志"  
partitioned by(day string comment "按天的分区表字段",hour string comment "按小时的分区表字段")  
ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '  
STORED AS ORCFILE
location '/hdfs/hive/default/kwu_tracklog';

数据压缩（snappy）

SQL

优化SQL语句

join

语法

join_table:
    table_reference [INNER] JOIN table_factor [join_condition]
  | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition
  | table_reference LEFT SEMI JOIN table_reference join_condition
  | table_reference CROSS JOIN table_reference [join_condition] (as of Hive 0.10)
 
table_reference:
    table_factor
  | join_table
 
table_factor:
    tbl_name [alias]
  | table_subquery alias
  | ( table_references )
 
join_condition:
    ON expression