在 pyspark 数据帧中显示不同的列值

Question

使用pyspark数据帧，你如何做相当于熊猫df['col']unique（）。

我想列出pyspark数据框列中的所有唯一值。

不是 SQL 类型方式（注册模板，然后 SQL 查询不同的值）。

此外，我不需要< code>groupby然后< code>countDistinct，而是希望检查该列中的不同值。

Answer 1

匿名用户

您可以使用< code>df.dropDuplicates(['col1 '，' col2'])来获取数组中基于colX的唯一行。

Answer 2

假设我们正在处理以下数据表示形式（两列，k 和 v，其中 k 包含三个条目，其中两个是唯一的：

+---+---+
|  k|  v|
+---+---+
|foo|  1|
|bar|  2|
|foo|  3|
+---+---+

与熊猫数据帧：

import pandas as pd
p_df = pd.DataFrame([("foo", 1), ("bar", 2), ("foo", 3)], columns=("k", "v"))
p_df['k'].unique()

这将返回一个< code>ndarray，即< code >数组(['foo '，' bar']，dtype=object)

您要求“熊猫 df['col']unique（）的 pyspark 数据帧替代方案”。现在，给定以下 Spark 数据帧：

s_df = sqlContext.createDataFrame([("foo", 1), ("bar", 2), ("foo", 3)], ('k', 'v'))

如果希望从Spark获得相同的结果，即ndarray，请使用toPandas（）

s_df.toPandas()['k'].unique()

或者，如果您不需要专门的 ndarray，而只需要一个列 k 的唯一值列表：

s_df.select('k').distinct().rdd.map(lambda r: r[0]).collect()

最后，您还可以使用列表理解，如下所示：

[i.k for i in s_df.select('k').distinct().collect()]

Answer 3

这应该有助于获取列的不同值：

df.select('column1').distinct().collect()

请注意<代码>。collect()对于可以返回多少个值没有任何内置限制，因此这可能是一个很慢的用法< code >。请改为show()或添加< code >。在< code >之前限制(20)。collect()来管理它。