从spark数据帧获取特定行

Question

在scala火花数据帧中是否有df[100， c（"列"）]的替代方案。我想从火花数据帧的列中选择特定的行。例如，在R等效代码中的第100行

Answer 1

在PySpark中，如果你的数据集很小（可以放入驱动程序的内存），你可以做

df.collect()[n]

其中，df是数据帧对象，n是感兴趣的行。在得到所说的行后，您可以执行行。myColumn或行[“myColumn”]以获取API文档中详细说明的内容。

Answer 2

这就是我在Scala中实现相同的方法我不确定它是否比有效答案更有效但是它需要更少的编码

val parquetFileDF = sqlContext.read.parquet("myParquetFule.parquet")

val myRow7th = parquetFileDF.rdd.take(7).last

Answer 3

首先，您必须了解DataFrames是分布式的，这意味着您不能以典型的程序方式访问它们，您必须首先进行分析。虽然，您正在询问Scala，但我建议您阅读Pyspark文档，因为它的示例比任何其他文档都多。

然而，继续我的解释，我会使用RDDAPI的一些方法，因为所有DataFrames都有一个RDD属性。请看我下面的例子，注意我是如何获得第二条记录的。

df = sqlContext.createDataFrame([("a", 1), ("b", 2), ("c", 3)], ["letter", "name"])
myIndex = 1
values = (df.rdd.zipWithIndex()
            .filter(lambda ((l, v), i): i == myIndex)
            .map(lambda ((l,v), i): (l, v))
            .collect())

print(values[0])
# (u'b', 2)

希望有人给出另一个步骤更少的解决方案。