来自元组的Spark RDD管道值

Question

我有一个Spark RDD，其中每个元素都是（key，输入）形式的元组。我想使用管道方法将输入传递给外部可执行文件并生成（key，输出）形式的新RDD。我稍后需要键进行关联。

下面是使用火花壳的示例：

val data = sc.parallelize(
  Seq(
    ("file1", "one"),
    ("file2", "two two"),
    ("file3", "three three three")))

// Incorrectly processes the data (calls toString() on each tuple)
data.pipe("wc")

// Loses the keys, generates extraneous results
data.map( elem => elem._2 ).pipe("wc")

提前谢谢。

Answer 1

考虑到您无法将标签传入/传出可执行文件，这可能行得通：

rdd
  .map(x => x._1)
  .zip(rdd
          .map(x => x._2)
          .pipe("my executable"))

请注意，这可能是脆弱的，如果您的可执行文件没有在每个输入记录上生成恰好一行，则肯定会中断。

Answer 2

使用map的解决方案是不正确的，因为map不能保证保留分区，因此在之后使用zip将失败。您需要使用mapValue来保留初始RDD的分区。

data.zip( 
  data.mapValues{ _.toString }.pipe("my_executable")
).map { case ((key, input), output) => 
  (key, output)
}