利用shell脚本设置hive查询语句中的变量

2023年2月2日 256次阅读 来源: 赤兔在云端

在shell脚本中设置的变量，可以通过hive -e直接使用，例如：

#!/bin/bash
tablename="student" #等号左右不能有空格
varsubject="Math"

hive -e "SELECT *
         FROM ${tablename}
         WHERE subjects = ${varsubject};"

方法总结为：

  • 在shell脚本中添加变量
  • 使用hive -e模式，在查询语句字符串中插入变量 ${变量名}

shell脚本执行时就会把 ${变量名} 部分替换，执行所需的hive查询语句。需要注意的是，在shell脚本中不能混用hive定义变量的方式，例如下面的脚本是不能运行的：

#!/bin/bash
tablename="student"

hive -hiveconf varsubject="Math" \
     -e "
         SELECT *
         FROM ${tablename}
         WHERE subjects = ${hiveconf:varsubject};"

这是因为该脚本是在shell环境中运行的，会把${hiveconf:varsubject}当作shell脚本变量去解析。但是并没有在shell脚本中定义这个变量，所以会以空字符串放在这个位置。

可以把查询语句写成sql脚本，然后在shell中用hive -f调用，例如：

#!/bin/bash

hive -hiveconf tablename="student" \
     -hiveconf varsubject="Math" \
     -f hivequery.sql

其中被调用的hivequery.sql内容为：

SELECT *
FROM '${hiveconf:tablename}'
WHERE subjects = '${hiveconf:varsubject}';

hiveconf是设置hive配置属性的，关于直接使用hive -hiveconf模式我还总结了另一篇文章，此外还可以通过python修改查询语句达到同样的目的：
在hive查询中使用变量
利用Python替换Hive查询语句中的变量

    原文作者：赤兔在云端
    原文地址: https://www.jianshu.com/p/6a14c80d96d7
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞