有没有任何pyspark UDF函数或内置函数可用于在dataframe中添加新列并基于行值进行行级操作？

Question

我有一个这样的数据帧：

    | col1 | col2 |
    --------------
    | a    | 1    |
    | a    | 2    |
    | b    | 3    |
    | c    | 4    |
    | a    | 5    |

现在，我需要创建新的列“col3”，并且我必须根据col1值在col3中放入新值。生成的数据框如下所示。

比如，如果col1的值为“a”，那么col3中应该有“apple”。如果col1的值为“b”，那么col3中应该有“banana”。如果col1的值为“c”，那么col3中应该有“custard”。

注:col2为正常列，请不要考虑。

    | col1 | col2 | col3    |
    ------------------------
    | a    | 1    |apple    |
    | a    | 2    |apple    |
    | b    | 3    |banana   |
    | c    | 4    |custard  |
    | a    | 5    |apple    |

我可以得到任何PYSpark UDF或内置函数？

提前感谢！！！

Answer 1

from pyspark.sql import SparkSession
spark=SparkSession.builder.appName("test").getOrCreate()
data=[('a',1),('a',2),('b',3),('c',4),('a',5)]
headers = ("col1", "col2")
df=spark.createDataFrame(data,headers)
df.show(truncate=0)

#defining UDF
keywords = {
'a': 'apple',
'b': 'banana',
'c': 'custard'
}

def words(col1Value):
    return keywords.get(col1Value, "Not Found ! ")

from pyspark.sql.functions import udf
from pyspark.sql.types import *
#Converting function to UDF 
convertUDF = udf(lambda z: words(z),StringType())

import pyspark.sql.functions as F
finaloutput=df.withColumn("col3", convertUDF(df['col1']))
finaloutput.show(truncate=0)

数据图表记录:

+----+----+
|col1|col2|
+----+----+
|a   |1   |
|a   |2   |
|b   |3   |
|c   |4   |
|a   |5   |
+----+----+

输出：

+----+----+-------+
|col1|col2|col3   |
+----+----+-------+
|a   |1   |apple  |
|a   |2   |apple  |
|b   |3   |banana |
|c   |4   |custard|
|a   |5   |apple  |
+----+----+-------+

Answer 2

我通过这个功能得到了答案。这可能对某人有帮助。

我使用过这个函数：

    fruits = {
'a': 'apple',
'b': 'banana',
'c': 'custard'
}

    def X(col1Value):
        return fruits.get(col1Value, "Not Found ! ")



    df['col3']= X(col1Value)

修改变量！！！