hive sql数据库跑批插件(hive,impala)

hive跑批很多时候有很复杂的逻辑hive有没有这些功能,只能用shell夹杂hive-sql。shell在取配置库的时候也有些尴尬不是很方便。

附上代码连接和案例样本

场景hive,impala(jdbc接口都可以试试)跑批需要查询其他数据库配置参数,并且有复杂的逻辑结构存在事使用本插件

用法解析:

定义几个模块[DATASOURCE],[PARAM],[ACTION]

[DATASOURCE]: 自定义数据连接名称 url 驱动名称

[PARAM]:自定义变量名称 TYPEAS 数据类型(string,double,long,int)

[ACTION]:sql 执行逻辑阶段 语法有:

1.自定义变量使用@变量名

变量赋值 @v = 1

2.IF 用法

IF @Value1 > 0

ENDI

3.查询用法

QUERY 自定义数据连接名称 AS 临时存储变量名

SELECT configValue from APP_SystemConfigs

ENDQUERY

给变量赋值查询结果

@v = 临时存储变量名.configValue(若果有多条支取第一条)

多条处理 FOREACH 临时存储变量名

ENDFOREACH

4.自定义方法 自定方法只可以在变量赋值是使用在FunctionUtil添加映射以后会到配置文件中 @BeginDate = DATEADD(@EndDate,-1)

有问题可以联系我QQ;491237260会进行改进

    原文作者:狼0_0
    原文地址: https://www.jianshu.com/p/684a60131354
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞