配置单元UDF性能太慢

Question

我在Select query where条件下执行了带有自定义配置单元UDF函数的配置单元SQL脚本，它已经运行了两天多。我想知道这里到底有什么问题？调用java需要很多时间，还是查询执行本身需要很多时间？

我的数据集如下，A表有200万条记录，B表有100万条记录，

Answer 1

假设您有权访问UDF，您可以将以下内容添加到函数（sudo代码）中：

long start = System.currentTimeMillis();
MapredContext context = MapredContext.get();
Reporter reporter = context.getReporter();
String group = "instrumentation.udf";
String counter = "customUDF";

// function business logic

long elapsed = System.currentTimeMillis() - start;
reporter.incrCounter(group, counter, elapsed);