如何在pyspark中获取数组类型（）的另一列中一列的值索引？

Question

我使用的是火花 2.4。
我在火花数据帧中有一个数组类型（字符串类型（））列和一个字符串类型（）列。我需要在数组类型（字符串类型（））列中找到字符串类型（）列的位置。

样本输入:

+---------------+---------+
|arrayCol       |stringCol|
+---------------+---------+
|['a', 'b', 'c']|'b'      |
+---------------+---------+
|['a', 'b', 'c']|'d'      |
+---------------+---------+

样本输出:

+---------------+---------+-----+
|arrayCol       |stringCol|Index|
+---------------+---------+-----+
|['a', 'b', 'c']|'b'      |2    |
+---------------+---------+-----+
|['a', 'b', 'c']|'d'      |null |
+---------------+---------+-----+

我试过了array_position但它不起作用，我得到了“列不可迭代”错误。
我也尝试过组合exr、变换和array_position，但我想知道是否有不需要使用exr的解决方案。
谢谢：）

Answer 1

使用< code>array_position函数尝试使用< code>expr。

示例：

df.show()
#+---------+---------+
#| arrayCol|stringCol|
#+---------+---------+
#|[a, b, c]|        b|
#|[a, b, c]|        d|
#+---------+---------+

from pyspark.sql.functions import *
df.withColumn("Index",expr('if(array_position(arrayCol,stringCol)=0,null,array_position(arrayCol,stringCol))')).\
show()
#+---------+---------+-----+
#| arrayCol|stringCol|Index|
#+---------+---------+-----+
#|[a, b, c]|        b|    2|
#|[a, b, c]|        d| null|
#+---------+---------+-----+