Hive学习-Hive基本操作(function、udf)

该篇主要是为了整理常用的function使用和开发自定义function的,hive虽说语法类似于mysql,但是mysql默认的dual表并不存在,需要自己手动创建一下,为了方便测试:

hive>create table  dual(x string);

hive>insert into dual values(”);

1、查询function列表

hive> show functions;

2、查询制定function的详细说明

《Hive学习-Hive基本操作(function、udf)》

3、upper、lower大小写转换

《Hive学习-Hive基本操作(function、udf)》

4、unix_timestamp获取制定时间毫秒数,默认是当前时间戳

《Hive学习-Hive基本操作(function、udf)》
《Hive学习-Hive基本操作(function、udf)》

5、current_date查看当前日期

《Hive学习-Hive基本操作(function、udf)》

6、current_timestamp查看当前时间戳

《Hive学习-Hive基本操作(function、udf)》

7、to_date字符串转成日期,必须是标准格式

《Hive学习-Hive基本操作(function、udf)》

8、year、month、day

《Hive学习-Hive基本操作(function、udf)》

9、from_unixtime将long类型转换为时间,可以指定格式

《Hive学习-Hive基本操作(function、udf)》

10、substr/substring字符串截取

《Hive学习-Hive基本操作(function、udf)》

11、concat字符串连接

《Hive学习-Hive基本操作(function、udf)》

12、concat_ws将字符串用指定分隔符连接

《Hive学习-Hive基本操作(function、udf)》

13、split分割字符串,根据指定字符分割字符串,分割字符可以是正则表达式

《Hive学习-Hive基本操作(function、udf)》

14、explode把数组或者map转成列,posexplode同explode,但会额外增加一列标识转化列所处数组的位置

《Hive学习-Hive基本操作(function、udf)》

现存在如下表:

《Hive学习-Hive基本操作(function、udf)》

要求计算该表中的单词出现的频率,即mr的wordcount示例

实现SQL如下,实现过程就是先用split分割,然后用explode转化,再作为临时表查询,拓展一下如果单词分割不仅仅只有逗号,或者空格、引号等可以用正则表达式实现或者用多重split。经过看官网的介绍,还有一个黑科技(sentences方法),能直接根据语言习惯自动分割成单词:

《Hive学习-Hive基本操作(function、udf)》

15、json_tuple解析json字符串

《Hive学习-Hive基本操作(function、udf)》

现在存在如下表:

《Hive学习-Hive基本操作(function、udf)》

要求按照格式userid,movie,rate,time,year,month,day,hour,minute,ts并按照月份写到分区表中。实现过程如下:

建表:

hive> create table movie(userid int,movie int,rate int,time string,year int,month int,day int,hour   int,minute int,ts timestamp)

   >partitioned by (m string)

   >row format delimited fields terminated by ‘/t’;

数据写入,其中数据处理用到了字符串转bigint(cast),bigint转时间戳(from_unixtime),时间戳转字符串(date_format):

《Hive学习-Hive基本操作(function、udf)》

校验:

《Hive学习-Hive基本操作(function、udf)》 表中数据
《Hive学习-Hive基本操作(function、udf)》 HDFS存储

16、row_number函数

分组排序使用

现有如下数据表:

《Hive学习-Hive基本操作(function、udf)》

需求:按年龄大小查出男和女最大年龄的两个

《Hive学习-Hive基本操作(function、udf)》

17、自定义UDF函数(临时)

idea新建maven项目

编辑pom.xml文件

1)修改打包类型,默认是war包,这里需要的是jar包

《Hive学习-Hive基本操作(function、udf)》

2)定义hive和hadoop的版本号,方便其他地方引用,因为用的是cdh版本的hadoop和hive,所以需要添加cdh的资源库

《Hive学习-Hive基本操作(function、udf)》

3)添加hadoop和hive的依赖

《Hive学习-Hive基本操作(function、udf)》

新建class继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF类,方法如下:

《Hive学习-Hive基本操作(function、udf)》
《Hive学习-Hive基本操作(function、udf)》
《Hive学习-Hive基本操作(function、udf)》

打包

view–>Tool Windows–>Maven Project,双击package直接打包成jar文件

《Hive学习-Hive基本操作(function、udf)》

上传到linix,然后hive下执行以下命令:

hive> add jar /home/hadoop/lib/hive-1.0.jar;

hive> CREATE TEMPORARY FUNCTION calculateStringsLength as ‘com.ruozedata.HelloUDF’;

测试:

《Hive学习-Hive基本操作(function、udf)》

18、自定义UDF函数(永久)

$ hdfs dfs -mkdir /lib

$ hdfs dfs -put hive-1.0.jar /lib/

《Hive学习-Hive基本操作(function、udf)》
《Hive学习-Hive基本操作(function、udf)》

    原文作者:刘子栋
    原文地址: https://www.jianshu.com/p/2f7e43bb1f8d
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞