使用Spark Streaming时限制Kafka批大小

Question

是否可以限制Kafka消费者返回Spark Streaming的批的大小？

我这么问是因为我得到的第一批记录有上亿条记录，处理和检查它们需要很长时间。

Answer 1

我想你的问题可以通过火花流背压来解决。

检查spark.streaming.backpressure.enabled和spark.streaming.backpressure.initialrate。

默认情况下，spark.streaming.backpressure.initialrate未设置，spark.streaming.backpressure.enabled默认情况下禁用，所以我想spark将尽可能多地使用。

来自Apache Spark Kafka配置

spark.streaming.backpressure.enabled:

这使得火花流能够基于当前批调度延迟和处理时间来控制接收速率，使得系统仅以系统能够处理的速度接收。在内部，这动态设置接收器的最大接收速率。此速率的上限为spark.streaming.receiver.maxrate和spark.streaming.kafka.maxratePerpartition值（如果已设置）（见下文）。

spark.streaming.backpressure.initialrate:

这是初始最大接收速率，当背压机制启用时，每个接收器将接收第一批数据。

当您的Spark工作（分别是Spark workers）能够处理来自kafka的10000条消息，但kafka经纪人给您的工作提供了100000条消息时，这是很好的。

也许您还会有兴趣查看spark.streaming.kafka.maxrateperpartition，以及Jeroen van Wilgenburg在其博客上对这些属性的一些研究和建议。