如何从pyspark数据帧中计算所有列的最小和最大频率？

Question

我有一个pyspark数据框，在这里我可以找到每列的最小/最大值和最小/最大值计数。我可以使用：
df选择最小/最大值。选择（[min（col（c））.alias（c）代表df.columns中的c]）
我希望在同一数据帧中也有最小/最大值的计数。我需要的具体输出：
…|col|n|col|m|
…|xn | xm |。。。最小值（col（coln））
计数（col_n==xn）|计数（col_m==xm）|。。。

Answer 1

试试这个，

from pyspark.sql.functions import udf,struct,array
from pyspark.sql.window import Window
tst= sqlContext.createDataFrame([(1,7,2,11),(1,3,4,12),(1,5,6,13),(1,7,8,14),(2,9,10,15),(2,11,12,16),(2,13,14,17)],schema=['col1','col2','col3','col4'])
expr=[F.max(coln).alias(coln+'_max') for coln in tst.columns]
tst_mx = tst.select(*expr)
#%%
tst_dict = tst_mx.collect()[0].asDict()
#%%
expr1=( [F.count(F.when(F.col(coln)==tst_dict[coln+'_max'],F.col(coln))).alias(coln+'_max_count') for coln in tst.columns])
#%%
tst_res = tst.select(*(expr+expr1))

在expr中，我刚刚尝试了max函数。您可以将其扩展到其他函数，如min、mean等，甚至可以对函数列表使用列表理解。关于这种缩放，请参考这个答案：pyspark:groupby和aggregate avg，首先在多个列上解释了聚合，也可以执行select语句。