Spark map和flatMap结果类型

Question

看起来map和flatMap返回不同的类型。

myschamard.map(p=>row.fromseq(...))返回applySchema函数（或spark 1.3中的createDataFrame）所需的org.apache.spark.rdd.rdd[org.apache.spark.sql.row]。

但是，myschamardd.flatmap(p=>row.fromseq(...)返回org.apache.spark.rdd.rdd[Any]，我不能调用applySchema()。

如何在flatMap（）之后使用applySchema（）？

Bob, "Software developer"
John, "I like spaghetti"

结果：

Bob, Software
Bob, Developer
John, I
John, like
John, spaghetti

Answer 1

也许我误解了您创建schemardd的方式，或者您误解了flatmap的工作方式。你试过这个吗？

mySchemaRDD.flatMap( p => p.getString(1).split(" +").map( x => Row((p.getString(0), x))))

我认为myschamardd.flatmap(p=>row.fromseq(...))不是flatmap的恰当用法，因为您应该返回嵌入在某个东西中的一系列东西，以便将其扁平化并提取您真正想要返回的东西。在本例中，您将它嵌入到行中，而要返回的结果类型是行本身。