如何将df列作为参数传递给函数？
scala prettyprint-override">object AgeClassification {
def AgeCategory(age:Int) : String = {
if(age<=30)
return "Young"
else if(age>=65)
return "Older"
else
return "Mid-age"
}
}
我正试图将dataframe列作为参数传递
val df_new = df
.withColumn("Age_Category", AgeClassification.AgeCategory(df("age")))
但是得到错误
：33：错误：类型不匹配；
找到:org.apache.spark.sql.column
必需:int
val df_new=df.withcolumn（“age_category”,ageclassification.agecategory（df（“age”））
val df_new = df
.withColumn("Age_Category",AgeClassification.AgeCategory(df.age.cast(IntegerType)))
val df_new = df
.withColumn("Age_Category", AgeClassification.AgeCategory(df("age").cast(Int)))
共有1个答案
在使用SparkSQL API操作dataframe时，不能直接使用scala函数。只能使用column类或functions类中定义的“column”函数。它们基本上将列转换为列。实际的计算是在Spark中处理的。
为了说明这一点，您可以在REPL中尝试这样做：
scala> df("COL1").cast("int")
res6: org.apache.spark.sql.Column = CAST(COL1 AS INT)
类型是column，而不是int，这就是scala拒绝对这样的对象应用函数的原因。
val ageUDF = udf((age : Int) => AgeClassification.AgeCategory(age))
// or shorter
val ageUDF = udf(AgeClassification.AgeCategory _)
// The you may use it this way:
df.withColumn("classif", ageUDF(df("age")))
-
问题内容： 我已经熟悉Android框架和Java，并希望创建一个通用的“ NetworkHelper”类，该类可以处理大多数联网代码，使我能够从中调用网页。 我遵循了来自developer.android.com的这篇文章来创建我的网络类：http : //developer.android.com/training/basics/network- ops/connecting.html 码：
-
问题内容： 我的密码 第一个文件： 第二档： 在上面的代码中，仅将“数据”字典的键传递给，但我希望键值对传递。如何纠正呢？ 我希望这样被修改 这是我的要求，根据此给出答案 编辑： 字典键 类 更改为 标准 问题答案： 如果要像这样使用它们，请正常定义变量名称的函数： 现在，您可以在 调用 函数时使用： 它会按您想要的方式工作。 PS 请勿使用。等保留字（例如，改用）
-
问题内容： 我正在创建一种通过传递搜索字段从任何表中选择ID的方法。 但是我得到一个有关语法错误的MySqlException。当我查看“异常”消息时，它向我显示带引号的查询表！如何将表格作为不带引号的参数传递？ 问题答案： 大多数数据库不允许您通过参数指定表名或列名。参数用于 值 。如果确实确实需要使它动态化，则应验证输入（它应该是一个已知的表名，并且该表中具有已知的列名），然后将其包括在SQL
-
问题内容： 这似乎是一个愚蠢的问题，但是我是这个话题的新手。我正在致力于关于节点js的承诺。我想将参数传递给Promise函数。但是我不知道。 而功能类似于 问题答案： 将Promise包裹在一个函数中，否则它将立即开始工作。另外，您可以将参数传递给函数： 然后，使用它： ES6： 用：
-
问题内容： 我是ajax和回调函数的新手，如果我弄错了所有概念，请原谅我。 问题： 我可以将 回调 函数作为参数发送给将执行该回调的另一个函数吗？ 问题答案： 对。函数引用与任何其他对象引用一样，您可以将它们传递到您的内心。 这是一个更具体的示例： 您还可以传递以下参数：
-
我有一个Kotlin代码： 现在我想从Java类调用这个方法。我不知道该怎么称呼这个。这是我试过的 但它显示了以下错误。