PySpark或方法异常

Question

我正试图修改PySpark dataframe中的列值，如下所示：

df_cleaned = df_cleaned.withColumn('brand_c', when(df_cleaned['brand'] == "samsung" |\
                                                   df_cleaned['brand'] == "oppo", df_cleaned.brand)\
                                   .otherwise('others'))

这将生成以下异常：

调用O435时出错。跟踪:py4j.py4jException:Method或([class java.lang.string])在py4j.reflection.reflectionEngine.getMethod（reflectionEngine.java:318)在py4j.reflection.reflectionEngine.java:326)在py4j.gateway.invoke(gateway.java:274)在py4j.commands.abstractCommand.invokeMethod（reflectionEngine.java:274)在748）

回溯（最近的调用为last）：文件“/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/column.py”，第115行，在_njc=getattr(self._jc,name）(jc)文件“/usr/lib/spark/python/lib/pyspark/sql/column.py”，第1257行，在call answer,self.gateway_client,self.target_id,self.name）文件“,**kw）文件”/usr/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py“,第332行，格式为get_return_value（target_id,”.“,name,value））py4j.protocol.py4jerro：调用O435时发生错误。或.trace:py4j.py4jException:Method或([class java.lang.string])在Ay.java:274)在py4j.commands.AbstractCommand.InvokeMethod（AbstractCommand.java:132)在py4j.commands.CallCommand.Execute（CallCommand.java：79）在py4j.gatewayconnection.run（gatewayconnection.java:238)在java.lang.thread.run（thread.java:748)

Answer 1

你只是少了几个括号。尝试：

df_cleaned = df.withColumn('brand_c', when((df['Product'] == "apple") |\
                (df['Product'] == "oppo"), df.User).otherwise('others'))

在PySpark中使用比较运算符时始终使用括号。