反复更改列类型会触发数据帧

Question

我有一个类似Scala的列名列表

var cols = List("col1", "col2", "col3","col4")

我也有一个包含这些列的数据框架，但都是字符串。现在我想通过遍历数据帧的列表或列来转换数据帧的列，因为我的列列表非常大，我不能使用这么多。与列参数

提前感谢

Answer 1

如果要将特定类型的多个列更改为另一个列，而不指定单独的列名。我已经把答案贴在这里了https://stackoverflow.com/a/60552157/3351492

Answer 2

如果您预先知道输出类型，那么只需在列上映射类似的内容即可

val df = sc.parallelize(Seq(
  ("foo", "1.0", "2", "true"),
  ("bar", "-1.0", "5", "false")
)).toDF("v", "x", "y", "z")

val types = Seq(
  ("v", "string"), ("x", "double"), ("y", "bigint"), ("z", "boolean")
)

df.select(types.map{case (c, t) => col(c).cast(t)}: _*)

如果你不知道类型，问题要复杂得多。虽然可以创建能够处理模式推断的自定义解析器，但修复上游管道可能更有意义。当您忽略数据类型时，使用Avro有什么意义。