通过shell脚本配置udf执行

Question

我有一个配置单元Udf，在配置单元终端工作良好，我想我想通过shell脚本执行它。在配置单元终端上，我可以执行以下命令：

use mashery_db;
add jar hdfs://nameservice1/tmp/nextdata_aggregations/custom_jar/readerCheck.jar;
add file hdfs://nameservice1/tmp/GeoLite2-City.mmdb;
CREATE TEMPORARY FUNCTION geoip AS 'com.mashery.nextdata.hive.udf.GeoIPGenericUDF';

hive -e "use mashery_db;"
hive -e "add jar hdfs://nameservice1/tmp/nextdata_aggregations/custom_jar/readerCheck.jar;"
hive -e "add file hdfs://nameservice1/tmp/GeoLite2-City.mmdb;"
hive -e "CREATE TEMPORARY FUNCTION geoip AS 'com.mashery.nextdata.hive.udf.GeoIPGenericUDF';"

FAILED: ParseException line 1:35 mismatched input 'com' expecting StringLiteral near 'AS' in create function statement

hive -e "CREATE TEMPORARY FUNCTION geoip AS 'com.mashery.nextdata.hive.udf.GeoIPGenericUDF';"

然后我得到失败：执行错误，从org.apache.hadoop.hive.ql.exec.functionTask返回代码1

FAILED: Class com.mashery.nextdata.hive.udf.GeoIPGenericUDF not found

配置单元Udf是否支持shell脚本，如果它做错了我正在做什么。提前致谢

Answer 1

每次调用hive-e都会产生一个新的进程，该进程带有一个新的hive shell，而这个shell不记得前一个shell所做的事情，因此hive“忘记”了UDF在哪里······一个解决方案是将它们链接在一个命令中，但更好的形式是将所有配置单元命令放在一个文件中（例如“commands.hql”），并使用hive-f commands.hql而不是-e。

文件如下所示：

use mashery_db;
add jar hdfs://nameservice1/tmp/nextdata_aggregations/custom_jar/readerCheck.jar;
add file hdfs://nameservice1/tmp/GeoLite2-City.mmdb;
CREATE TEMPORARY FUNCTION geoip AS 'com.mashery.nextdata.hive.udf.GeoIPGenericUDF';"