在pyspark中，我想把一列数据框中的值传递给一个函数，并对该列数据中的第五个值t进行操作

Question

我在AWS上的EMR集群上使用pySpark V2，我试图将一个dataframe列传递给一个函数，并操作该列中的各个项

假设我有以下设置：

mylist = [x for x in range(0, 10)]
df=spark.createDataFrame(mylist,IntegerType())
df.show()

+-----+
|value|
+-----+
|    0|
|    1|
|    2|
|    3|
|    4|
|    5|
|    6|
|    7|
|    8|
|    9|
+-----+

我想要一个函数，它可以对数据列第5行中包含的值进行测试，并根据找到的内容，将该值赋给一个新变量，或者对新变量进行其他操作

e. g.

myfunc(df.value)

def myfunc(df_col):
#
#   In psuedocode:
#   x = value in row 5 of the data
#   if x = whatever:
#       do something with x
#

谁能帮帮我吗。似乎遇到了心理障碍

Answer 1

谢谢你的链接。这很有帮助。这里有一个可能的答案

from pyspark.sql.types import *
mylist = [x for x in range(0, 10)]
df=spark.createDataFrame(mylist,IntegerType())
df.show()
rn=df.collect()[4]
x=rn.value
if(x == 4):
  print("fifth row value = ", str(x))

+-----+
|value|
+-----+
|    0|
|    1|
|    2|
|    3|
|    4|
|    5|
|    6|
|    7|
|    8|
|    9|
+-----+

fifth row value =  4