在RDD[LabeledPoint]Spark/Scala中查找最小、最大标签

Question

我有一个RDD[标签点]，我想找到标签的最小值和最大值，并应用一些转换，例如从所有这些标签中减去数字5。问题是我已经尝试了各种方法来获取标签，但没有任何工作正常。

如何仅访问 RDD 的标签和功能？有没有办法将它们作为列表[双精度]和列表[向量]例如？

我无法转到数据帧。

Answer 1

好了，在玩了地图功能之后，我想到了这个解决方案

val labels = rdd.map(x=> x.label)
val min = labels.min
val max = labels.max

如果您想要更改标签，您可以再次使用地图功能

rdd.map(x=> x.label - 5)

通过这种方式，您可以使用RDD[LabeledPoint]的标签部分。

在Cyril下面的评论之后，我决定添加一个命令，让您保留RDD，并只更改标签。

val newRdd = rdd.map(x => x.copy(x.label -5))

Answer 2

您可以使用SparkSession.ForDataFrame从现有RDD创建DataFrames，您无论如何都可以操作它。