如何使用Spark执行程序单独并行处理Kafka分区？

Question

我使用Spark 2.1.1。

我使用结构化流从2个Kafka分区读取消息。我正在向Spark Standalone集群提交我的应用程序，其中有一个工人和两个执行者（每个2个核心）。

./bin/spark-submit \
  --class MyClass \
  --master spark://HOST:IP \
  --deploy-mode cluster \
  /home/ApplicationSpark.jar

我想要这样的功能，来自每个Kafka分区的消息应该由每个单独的执行器独立处理。但现在正在发生的是，执行器分别读取和映射分区数据，但在映射之后，形成的无边界表被普遍使用，并且具有来自两个分区的数据。

当我对表运行结构化查询时，查询必须处理来自两个分区的数据（更多的数据量）。

select product_id, max(smr.order_time), max(product_price) , min(product_price) 
from OrderRecords
group by WINDOW(order_time, "120 seconds"), product_id

Kafka分区在Product_id

有没有办法从执行程序映射到的Kafka分区并行但分别对数据运行相同的结构化查询？

Answer 1

但现在发生的事情是，执行器分别读取和.map分区数据，但是在映射通常使用的无界表并且具有来自两个分区的数据之后。因此，当我对表运行结构化查询时，查询必须处理来自两个分区的数据（更多的数据量）。

这是了解在不导致随机播放和跨分区（甚至可能通过网络）发送数据的情况下可以执行的内容和方式的关键。

最终的答案取决于你的查询是什么。如果它们在记录组上工作，其中组分布在多个主题分区中，因此在两个不同的Spark执行器上，你必须格外小心你的算法/转换，以便在单独的分区上进行处理（仅使用分区中可用的内容）并仅聚合结果。