利用shell脚本设置hive查询语句中的变量

在shell脚本中设置的变量,可以通过hive -e直接使用,例如:

#!/bin/bash
tablename="student" #等号左右不能有空格
varsubject="Math"

hive -e "SELECT *
         FROM ${tablename}
         WHERE subjects = ${varsubject};"

方法总结为:

  • 在shell脚本中添加变量
  • 使用hive -e模式,在查询语句字符串中插入变量 ${变量名}

shell脚本执行时就会把 ${变量名} 部分替换,执行所需的hive查询语句。需要注意的是,在shell脚本中不能混用hive定义变量的方式,例如下面的脚本是不能运行的:

#!/bin/bash
tablename="student"

hive -hiveconf varsubject="Math" \
     -e "
         SELECT *
         FROM ${tablename}
         WHERE subjects = ${hiveconf:varsubject};"

这是因为该脚本是在shell环境中运行的,会把${hiveconf:varsubject}当作shell脚本变量去解析。但是并没有在shell脚本中定义这个变量,所以会以空字符串放在这个位置。

可以把查询语句写成sql脚本,然后在shell中用hive -f调用,例如:

#!/bin/bash

hive -hiveconf tablename="student" \
     -hiveconf varsubject="Math" \
     -f hivequery.sql   

其中被调用的hivequery.sql内容为:

SELECT *
FROM '${hiveconf:tablename}'
WHERE subjects = '${hiveconf:varsubject}';

hiveconf是设置hive配置属性的,关于直接使用hive -hiveconf模式我还总结了另一篇文章,此外还可以通过python修改查询语句达到同样的目的:
在hive查询中使用变量
利用Python替换Hive查询语句中的变量

    原文作者:赤兔在云端
    原文地址: https://www.jianshu.com/p/6a14c80d96d7
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞