用ZipWithIndex/ZipWithUniqueID替换字符串

Question

("u1",("name", "John Sam"))
("u2",("age", "twinty Four"))
("u3",("name", "sam Blake"))

(0,(3,4))
(1,(5,6))
(2,(3,8))

我所做的是提取键值对中的第一个元素

val first = file.map(line=> line._1).distinct()
then apply ZipWithIndex
val z1= first.ZipWithIndex()

我得到了这样的结果

("u1",0)
("u2",1)
("u3",2)

现在我需要采取的ID/号码，并更改它在我的原始文件。我需要在哈希表中保留所有不同的ID/Number，以便以后查找它们。那有什么办法吗？有什么建议吗？

Answer 1

与

val rdd = spark.sparkContext.parallelize(Seq(
  ("name", "John"), ("age", "twinty"), ("name", "sam")
))

平整数据：

val flat = rdd.flatMap { case (x, y) => Seq(x, y) }

获取唯一值：

val unique = flat.distinct

val map = unique.zipWithIndex.collectAsMap

val indexed = rdd.map { case (x, y) => (map(x), map(y)) }

indexed.toLocalIterator.foreach(println)
(2,4)
(3,0)
(2,1)

编辑：

用重写的问题，将第一步替换为：

val flat = rdd.flatMap { case (x, (y, z)) => Seq(x, y, z) }

最后一步是：

val indexed = rdd.map { case (x, (y, z)) => (map(x), (map(y), map(z))) }