Spark Streaming Dataframe执行、有状态、分区本地groupBy，避免混乱

Question

在这一点上感觉有点失落。

我有一个基于Spark 2.4.2的流媒体应用程序

• [DF1]流式预分区数据帧（在Key上），即保证K每次到达同一分区的流

    DF1.join(DF2, "df1.a" === "df2.b", "left")
       .withWatermark("timestamp", "24 hours")
       .groupBy(window('timestamp, "24 hours"), 'theKey)
       .agg(collect_list('payload) as "payload")

问题：洗牌。通过预先对数据集进行分区（在Kafka中），我希望实现分区本地groupBy。不幸的是，这不起作用。

问题是，实现这一目标的正确方法是什么，没有洗牌？有吗？

到目前为止，我一直在探索解决方案：

1. “窗口上方的agg…”：流媒体中不支持（Spark throws：流媒体数据帧/数据集上不支持非基于时间的窗口）

我正在考虑的解决方案（不情愿）：

1. 数据帧上的映射分区，具有自定义状态管理。但是，这使得Spark的有状态流毫无用处。
2. 以某种方式将原始哈希分区（来自Kafka dataframe）插入Spark，以便它永远处理随机播放（并且不使用默认的200），但我还没有找到明确的来源。

非常感谢您的帮助！

Answer 1

实际上，查找表导致了所有的混乱。我希望Spark更喜欢对较大的数据集进行分区，而不是对较小的查找表进行分区，但事实并非如此。它使用流式数据集，忽略分区，并将它们洗牌到查找表分区所在的位置。

当我按照流式数据帧重新划分查找表时，Spark很高兴。尽管如此，Spark并没有将较大数据集的划分优先于较小数据集的划分，这与直觉背道而驰。