在Scala-Spark1.5.2中递归过滤RDD

Question

我有一个有50列的RDD，我想为每一行获取第一个元素和最后5列，其中最后一行的第一个字符的值是一个数字，如果最后一列的第一个字符是一个字符，重复地继续这个过程。例如，让我们假设原始RDD具有以下内容（为了使其更容易被读取，没有包含键）：

[45 first values], 1, 2, a, 3, 4
[44 first values], 0, 1, 2, 3, 4, b
[43 first values], 10, 11, 12, 13, 14, q, a

1, 2, a, 3, 4
0, 1, 2, 3, 4
10, 11, 12, 13, 14

var aux = rdd.map(row => row.slice(0, 1) ++ row.slice(45, 50)).filter(elem => elem(5)._2(0).isDigit == true)

按照这个语法，我还可以过滤原始RDD的第N个元素：

var aux = rdd.map(row => row.slice(0, 1) ++ row.slice(44, 50)).filter(elem => elem(5)._2(0).isDigit == true).map(_.slice(0,6))

我的问题是，是否有任何可能的方法来迭代地指定映射和/或过滤器中的元素范围或类似的东西，并在一对或一个句子中执行这个过程，或者是否需要将这些句子中的每个结果保存在一个辅助变量中，然后尝试将每个结果合并到一个新的RDD中？

Answer 1

您可能需要（在map方法中）类似于

row.dropRightWhile(cell => !cell(0).isDigit)

但是，droprightwhile不是seq上的方法，因此您可能需要在此处理前后执行reverse，如下所示：

row.reverse.dropWhile(cell => !cell(0).isDigit).reverse