如何在Spark中展平元组？

Question

我想展平元组的RDD（使用无操作映射），但我得到了一个类型错误：

val fromTuples = sc.parallelize( List((1,"a"), (2, "b"), (3, "c")) )
val flattened = fromTuples.flatMap(x => x)
println(flattened.collect().toNiceString)

给予

错误：类型不匹配；

找到：（Int，String）必需：TraversableOnce[？]

ap.flat地图（x=

lists或Arrays的等效列表可以正常工作，例如：

val fromList = sc.parallelize(List(List(1, 2), List(3, 4)))
val flattened = fromList.flatMap(x => x)
println(flattened.collect().toNiceString)

Scala能处理吗？如果没有，为什么没有？

Answer 1

  val fromTuples = sc.parallelize(List((1, "a"), (2, "b"), (3, "c")))
  val flattened = fromTuples.flatMap(x => Array(x))
  flattened.collect()

你犯错误的原因是

平面图（func）类似于map，但每个输入项都可以映射到0个或多个输出项（因此func应该返回Seq而不是单个项）。

Answer 2

没有一个很好的方法，但是你可以用这个方法保持一点类型安全：

val fromTuples = session.sparkContext.parallelize(List((1, "a"), (2, "b"), (3, "c")))
val flattened = fromTuples.flatMap(t => Seq(t._1, t._2))
println(flattened.collect().mkString)

扁平化的类型将是元组中所有类型的父类型的RDD。是的，在这种情况下是Any，但如果列表是：list（（“1”，“a”），（“2”，“b”），它将保留字符串类型。

Answer 3

元组不是集合。与Python不同，在Python中元组本质上只是一个不可变的列表，Scala中的元组更像一个类（或者更像Pythonnamedtuple）。你不能“展平”元组，因为它是一组异质的字段。

您可以通过调用将元组转换为可编辑的内容。productIterator，但是你得到的是一个Iterable[Any]。您当然可以将这样的东西展平，但这样就失去了所有编译时类型保护。（大多数Scala程序员一想到类型Any的集合就不寒而栗）