如何用逗号分隔的值拆分列并存储在PySpark的DataFrame中的数组中？如下所示

Question

我有一个PySpark dataframe，它的列包含逗号分隔的值。列包含的值数是固定的（例如4）。示例：

+------------------------+
|col1                    |
+------------------------+
|1,val1, val4            |
|2,val1                  |
|3,val1, val2, val3      |
|4,val1, val2, val3, val4|
+------------------------+

+----+------------------------+
|col1|col2                    |
+----+------------------------+
|   1|[val1, val4]            |
|   2|[val1]                  |
|   3|[val1, val2, val3]      |
|   4|[val1, val2, val3, val4]|
+----+------------------------+

Answer 1

您可以使用slice和split来实现：

from pyspark.sql.functions import col, split, slice

array_len = 4
df.withColumn("ar", split(col("col1"), ",")) \
  .select(
     col("ar")[0].alias("col1"), 
     slice(col("ar"), 2, array_len).alias("col2")
  )

# +----+---------------------------+
# |col1|col2                       |
# +----+---------------------------+
# |1   |[val1,  val4]              |
# |2   |[val1]                     |
# |3   |[val1,  val2,  val3]       |
# |4   |[val1,  val2,  val3,  val4]|
# +----+---------------------------+

首先，我们将数组拆分为ar并存储到ar中，然后使用select检索数组的第一个项和slice（col（“ar”）,2,array_len)，这将返回除第一个项之外的所有项。