配置单元-处理Python UDF中的空输入值

Question

在python中编写hiveUDFs时，如何处理null输入值？。

重现错误的示例设置：

配置单元表：

CREATE external table udfTest(
fname STRING,
age INT
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '<location>';

输入txt：

abc    1
efg    2
       3 //missing fname
hij      //missing age

LOAD DATA INPATH '/tmp/input.txt' INTO TABLE udfTest;

import sys
import datetime
for line in sys.stdin:
        fname, age = line.strip('\n').split('\t')
        fname = fname.upper() if (fname is not None and fname != '') else 'dummy'
        age = int(age) if (age is not None and age.strip() != 'NULL') else -1
        print '\t'.join(map(str, [fname, age]))

add FILE /tmp/example.py
SELECT TRANSFORM(fname, age) USING 'python /tmp/example.py' AS (fname, age) FROM udfTest;

失败次数最多的任务（4）：-----任务ID:task_1560326504017_73073_m_000000

URL：

----此任务的诊断消息：错误：java.lang.RuntimeException：关闭org.apache.hadoop.Hive.ql.exec.mr.execmapper.close（execmapper.java:217)（org.apache.hadoop.mapred.maprunner.run（maprunner.java:61)（org.apache.hadoop.mapred.maptask.runoldmapper（html" target="_blank">maptask.java:459)（org.apache.hadoop.mapred.maptask.run（maptask.java:343)（org.apache.hadoop.mapred.yarnchild$2.run（yarnchild.java:164)（java.security.AccessController.DoPrivileged（本机方法）（javax.security.auth.subject.doas（subject.java:422)（org.apache.hadoop.security.usergroupinformation.doas（usergroupinformation.java:1924)（org.apache.hadoop.mapred.yarnchild.main（yarnchild.java:158)）（原因：org.apache.hadoop.Hive.ql.metadata.hiveException：[错误20003]:尝试关闭运行自定义脚本的运算符时出错。在org.apache.hadoop.hive.ql.exec.scriptoperator.close（scriptoperator.java:572)在org.apache.hadoop.hive.ql.exec.operator.close（operator.java:610)在org.apache.hadoop.hive.ql.exec.operator.close（operator.java:610)在org.apache.hadoop.hive.ql.exec.operator.close（operator.java:610)在org.apache.hadoop.hive.ql.exec.operator.close（operator.java:610)在

失败：执行错误，从org.apache.hadoop.hive.ql.exec.mr.MapredTask返回代码20003。尝试关闭运行自定义脚本的运算符时出错。

编辑：

select * from udfTest;
abc    1
efg    2
       3
hij    NULL

Answer 1

“默认情况下，在输入用户脚本之前，列将被转换为STRING并用TAB分隔；类似地，所有空值都将被转换为文字字符串\n以便将空值与空字符串区分开来。”这里有更多细节。因此，您需要检查您的列是否为'\n'。