在shell脚本中设置的变量,可以通过hive -e直接使用,例如:
#!/bin/bash
tablename="student" #等号左右不能有空格
varsubject="Math"
hive -e "SELECT *
FROM ${tablename}
WHERE subjects = ${varsubject};"
方法总结为:
- 在shell脚本中添加变量
- 使用hive -e模式,在查询语句字符串中插入变量 ${变量名}
shell脚本执行时就会把 ${变量名} 部分替换,执行所需的hive查询语句。需要注意的是,在shell脚本中不能混用hive定义变量的方式,例如下面的脚本是不能运行的:
#!/bin/bash
tablename="student"
hive -hiveconf varsubject="Math" \
-e "
SELECT *
FROM ${tablename}
WHERE subjects = ${hiveconf:varsubject};"
这是因为该脚本是在shell环境中运行的,会把${hiveconf:varsubject}当作shell脚本变量去解析。但是并没有在shell脚本中定义这个变量,所以会以空字符串放在这个位置。
可以把查询语句写成sql脚本,然后在shell中用hive -f调用,例如:
#!/bin/bash
hive -hiveconf tablename="student" \
-hiveconf varsubject="Math" \
-f hivequery.sql
其中被调用的hivequery.sql内容为:
SELECT *
FROM '${hiveconf:tablename}'
WHERE subjects = '${hiveconf:varsubject}';
hiveconf是设置hive配置属性的,关于直接使用hive -hiveconf模式我还总结了另一篇文章,此外还可以通过python修改查询语句达到同样的目的:
在hive查询中使用变量
利用Python替换Hive查询语句中的变量