星星之火中的排序

Question

有一些类似的问题，比如这个和这个，但他们不能给我足够的帮助。下面是我的一段代码。

val output = abc.collect()
output.foreach(tup => println(tup._1 + "  " + math.ceil(tup._2 * 1000)/1000))

下面是一段输出。

 5         0.835
 1         0.901
 110       0.797
 7         0.821
 11        0.899
 0         0.871
 32        0.313
 78        0.273
 35698     0.333
 119       0.273

我想以排序的形式输出。我尝试了，但是它给出的输出不是我需要的。它是排序的，但是可能是字符串，而不是数字。它类似于

 0          0.871
 1          0.901
 10         1.072
 11         0.899
 110        0.797
 111        0.288
 12         0.288
 123        0.273
 14         0.554
 153        0.228

需要帮忙吗？




Answer 1

您可以先对RDD进行排序，然后创建输出，而不是先从RDD生成输出，然后再应用排序

val abc=sc.parallelize(Array(("5",0.835),("1",0.901),("110",0.797)))
abc.map{case (k,v)=>(k.toInt,v)}.takeOrdered(3).foreach(println(_))
//(1,0.901)
//(5,0.835)
//(110,0.797)

Answer 2

将takeOrdered（n）与collect（）一起使用时出现了一些问题。我尝试了val output=abc。takeOrdered（10000），效果非常好。