Scala&Spark：一次强制转换多列

Question

由于VectorAssembler正在崩溃，如果传递的列有NumericType或BooleAntype以外的其他类型，并且我正在处理大量TimestampType列，我想知道：

有没有一种简单的方法，一次强制转换多个列？

def castColumnTo(df: DataFrame, 
    columnName: String, 
    targetType: DataType ) : DataFrame = {
      df.withColumn( columnName, df(columnName).cast(targetType) )
}

Answer 1

在scala中用惯用方法转换所有列

def castAllTypedColumnsTo(df: DataFrame, sourceType: DataType, targetType: DataType) = {
df.schema.filter(_.dataType == sourceType).foldLeft(df) {
    case (acc, col) => acc.withColumn(col.name, df(col.name).cast(targetType))
 }
}