创建Spark SQL的StructType：使用add方法还是构造函数？

Question

我正在从另一个自定义Java类的模式创建一个结构类型，我可以从中提取列名和数据类型。

据我所知，似乎有两种方法可以构建结构类型：

1. 使用add方法
2. 使用构造函数传入结构字段的数组

我基本上可以使用这两种方法，因为我循环遍历我的自定义模式类以逐个提取字段。问题是，似乎add方法每次被调用时都会创建一个新的结构类型，这似乎不必要的复杂处理方式，所以我实际上想知道它是否真的会在每次被调用时创建一个新对象。如果不是，我认为add是比创建结构字段的新ArrayList更好的方法

Answer 1

如果检查StructType类的源代码，您将看到add方法调用带有新StructField的构造函数，从而创建新的StructType。

def add(name: String, dataType: DataType): StructType = {
    StructType(fields :+ new StructField(name, dataType, nullable = true, Metadata.empty))
}

您可以使用下面的示例程序进行验证。

public class QuickTest {
public static void main(String[] args) {
    SparkSession sparkSession = SparkSession
            .builder()
            .appName("QuickTest")
            .master("local[*]")
            .getOrCreate();
    //StructType
    StructType st1 = new StructType().add("name", DataTypes.StringType);
    System.out.println("hashCode "+st1.hashCode());
    System.out.println("structType "+st1.toString());

    //add
    st1.add("age", DataTypes.IntegerType);
    System.out.println("hashCode "+st1.hashCode());
    System.out.println("structType "+st1.toString());

    //add and assign
    StructType st2 = st1.add("age", DataTypes.IntegerType);
    System.out.println("hashCode "+st2.hashCode());
    System.out.println("structType "+st2.toString());

    //constructor
    StructType st3 = new StructType(new StructField[] {new StructField("name", DataTypes.StringType, true, null), new StructField("age", DataTypes.IntegerType, true, null)});
    System.out.println("hashCode "+st3.hashCode());
    System.out.println("structType "+st3.toString());
  }
}