在Spark2.4的pyspark.sql.functions.max（）.over（window）上使用。where（）会引发Java异常

Question

我关注了StackOverflow上关于返回由另一列分组的一列的最大值的帖子，并得到了一个意外的Java异常。

import pyspark.sql.functions as f
data = [('a', 5), ('a', 8), ('a', 7), ('b', 1), ('b', 3)]
df = spark.createDataFrame(data, ["A", "B"])
df.show()

+---+---+
|  A|  B|
+---+---+
|  a|  5|
|  a|  8|
|  a|  7|
|  b|  1|
|  b|  3|
+---+---+

from pyspark.sql import Window
w = Window.partitionBy('A')
df.withColumn('maxB', f.max('B').over(w))\
    .where(f.col('B') == f.col('maxB'))\
    .drop('maxB').show()

#+---+---+
#|  A|  B|
#+---+---+
#|  a|  8|
#|  b|  3|
#+---+---+

相反，我得到：

java.lang.UnsupportedOperationException: Cannot evaluate expression: max(input[2, bigint, false]) windowspecdefinition(input[0, string, true], specifiedwindowframe(RowFrame, unboundedpreceding$(), unboundedfollowing$()))

我只在数据库上的Spark2.4上尝试过这一点。我尝试了等效的SQL语法，得到了相同的错误。

Answer 1

Databricks支持能够在Spark2.4上重现这个问题，但在早期版本上没有。显然，它是由物理计划制定方式的不同引起的（如果请求，我可以发布他们的响应）。计划好了一个修复方案。

同时，这里有一个解决原始问题的替代方案，它不会成为2.4版本问题的牺牲品：

df.withColumn("maxB", f.max('B').over(w)).drop('B').distinct().show()

+---+----+
|  A|maxB|
+---+----+
|  b|   3|
|  a|   8|
+---+----+