如何用前缀爆炸结构列？

Question

我的目标是分解（即，从结构内部获取它们，并将它们作为数据集的剩余列）一个Spark结构列（已经完成），但通过在任意字符串前面添加前缀来更改内部字段名。其中一个动机是，我的结构可以包含与它外部的列同名的列，因此，我需要一种容易区分它们的方法。当然，我事先不知道结构中的列是什么。

以下是我目前掌握的情况:

  implicit class Implicit(df: DataFrame) {
    def explodeStruct(column: String) = df.select("*", column + ".*").drop(column)
  }

这做的工作好-我用这样写：

  df.explodeStruct("myColumn")

它返回原始数据帧中的所有列，以及末尾结构的内部列。

至于前置前缀，我的想法是取列，找出它的内部列是什么。我浏览了文档，在Column类上找不到任何这样做的方法。然后，我改变了方法，采用DataFrame的模式，然后按列名过滤结果，并从结果数组中提取找到的列。问题是，我找到的这个元素具有StructField类型——同样，它没有提供提取其内部字段的选项——而我真正想要的是处理StructType元素——它具有< code >。getFields方法，这正是我想要的(也就是说，向我显示内部列的名称，这样我就可以遍历它们并在我的select中使用它们，在它们前面加上我想要的前缀)。我不知道如何将StructField转换为StructType。

我的最后一次尝试是解析StructField.toString的输出——它包含内部列的所有名称和类型，尽管这感觉很肮脏，我宁愿避免这种低级的方法。

这个问题有什么优雅的解决方案吗？

Answer 1

如果有人感兴趣，下面是PySpark的一些类似内容:

def explode_struct(df: DataFrame, column: str) -> DataFrame:
    original_position = df.columns.index(column)

    original_columns = df.columns
    new_columns = df.select(column + ".*").columns
    exploded_columns = [F.col(column + "." + c).alias(column + "_" + c) for c in new_columns]

    col_list = [F.col(c) for c in df.columns]
    col_list.pop(original_position)
    col_list[original_position:original_position] = exploded_columns

    return df.select(col_list)

Answer 2

好吧，在再次阅读了我自己的问题后，我想出了一个优雅的问题解决方案——我只需要按照我的方式选择所有列，然后将其与原始数据帧进行比较，以找出哪些是新列。这是最终的结果——我还做了这个，这样分解的列就会显示在与原始结构相同的地方，这样就不会破坏信息流：

  implicit class Implicit(df: DataFrame) {
    def explodeStruct(column: String) = {
      val prefix = column + "_"
      val originalPosition = df.columns.indexOf(column)

      val dfWithAllColumns = df.select("*", column + ".*")

      val explodedColumns = dfWithAllColumns.columns diff df.columns
      val prefixedExplodedColumns = explodedColumns.map(c => col(column + "." + c) as prefix + c)

      val finalColumnsList = df.columns.map(col).patch(originalPosition, prefixedExplodedColumns, 1)

      df.select(finalColumnsList: _*)
    }
  }

当然，您可以自定义前缀、分隔符等，但这很简单，任何人都可以调整参数等。用法保持不变。