注册匿名类功能

Question

在编写spark代码时，我使用的是UDF（用户定义函数）。UDF是一个接口，其实现方式如下。

package sparkProject;

import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.api.java.UDF1;
import org.apache.spark.sql.types.DataTypes;

public class UDFfunctions {

    public static void registerCountryCodeFunction(SparkSession spark) {

        spark.udf().register("registerCountryCodeFunctionUDF", new UDF1<String, Integer>() {

            /**
             * 
             */
            private static final long serialVersionUID = 1L;

            @Override
            public Integer call(String t1) throws Exception {
                if (t1.toString().toUpperCase().startsWith("I")) {

                    return 01;
                }
                return 02;
            }

        }, DataTypes.IntegerType);

    }

}

所以UDF1是一个接口，里面有调用方法。当我使用UDF1接口创建一个实例时，JVM会创建一个匿名类，该类实现UDF1接口并实现调用方法。

在SPARK Api中，要使用registerCountryCodeFunctionUDF功能，我需要执行以下操作

UDFfunctions.registerCountryCodeFunction(spark);
ds2_populationGt100k_with_ia_filters_only.withColumn("countryCode", callUDF("registerCountryCodeFunctionUDF",ds2_populationGt100k_with_ia_filters_only.col("countryName")));

我想知道，我如何创建自己的UDF函数，用户可以在哪里注册它，然后在Java中使用它。。。？

简单地说，我如何在Java中创建这样的代码，当我们使用所需的参数调用callUDF时，它调用由Anonymus类编写的功能。。？需要编写什么，以便在调用callUDF时，调用与Anonymous类编写的相同的功能？

我希望我的问题对所有人来说都是清楚的。。！

谢谢

Answer 1

无论一个对象是否是匿名类的实例，都不会改变您使用它和调用它的方法的方式。

您的框架只是将UDF的实例存储在Map中的某个地方，并根据您提供的名称进行索引。Call UDF（）方法只需从Map中获取它并调用它的call（）方法。

下面是一个做同样的事情的完整例子：

// similar to UDF, but not generic to make it easier to understand
interface Callback {
    void call(String message);
}

class Registry {
    private Map<String, Callback> callbacks = new HashMap<>();

    public registerCallback(String name, Callback callback) {
        callbacks.put(name, callback;
    }

    public void invokeCallback(String name, String message) {
        Callback cb = map.get(name);
        cb.call(message);
    }
}

现在，您可以使用实现接口的顶级类、实现接口的匿名类或lambda创建回调实例，将其注册到注册表中，并最终调用它：

Registry registry = new Registry();
registry.registerCallback("hello", new Callback() {
    @Override 
    void call(String message) {
        System.out.println("Hello, here's your message: " + message);
    }
});

registry.invokeCallback("hello", "first message");