将Spark Dataframe字符串列拆分为多列

Question

rdd.map(lambda row: row + [row.my_str_col.split('-')])

col1 | my_str_col
-----+-----------
  18 |  856-yygrm
 201 |  777-psgdg

col1 | my_str_col | _col3 | _col4
-----+------------+-------+------
  18 |  856-yygrm |   856 | yygrm
 201 |  777-psgdg |   777 | psgdg

理想情况下，我希望这些新列也被命名。

Answer 1

pyspark.sql.functions.split（）是正确的方法-只需将嵌套的ArrayType列扁平化为多个顶级列即可。在这种情况下，每个数组只包含2个项，这非常容易。只需使用column.getitem()将数组的每个部分作为列本身检索：

split_col = pyspark.sql.functions.split(df['my_str_col'], '-')
df = df.withColumn('NAME1', split_col.getItem(0))
df = df.withColumn('NAME2', split_col.getItem(1))

结果将是：

col1 | my_str_col | NAME1 | NAME2
-----+------------+-------+------
  18 |  856-yygrm |   856 | yygrm
 201 |  777-psgdg |   777 | psgdg

我不确定如何在嵌套数组的大小不一样的一般情况下解决这个问题。