如何在Spark Streaming DirectAPI中从每个Kafka分区并发读取

Question

如果我是正确的，默认情况下，spark streaming 1.6.1使用单线程从每个Kafka分区读取数据，假设我的Kafka主题分区是50，这意味着每50个分区中的消息将按顺序读取，或者可能以循环方式读取。

案例1：

-如果是，那么我如何在分区级别并行化读取操作？创建多个< code > kafkautils . createdirectstream 是唯一的解决方案吗？

e.g.
      val stream1 = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](
        ssc, kafkaParams, topicsSet).map(_._2)

      val stream2 = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](
        ssc, kafkaParams, topicsSet).map(_._2)

案例2：

-如果我的kafka分区每秒接收5条消息，那么在这种情况下，< code > "-conf spark . streaming . Kafka . maxratepartition = 3 " 和< code > "-conf spark . streaming . block interval " 属性是如何出现的？

Answer 1

在情况二：

spark.streaming.blockInterval

只有冲击接收器，您可以看到文档：

在将 Spark 流式处理接收器存储在 Spark 中之前，将这些数据块分块到数据块的时间间隔。

spark.streaming.kafka.maxRatePerPartition = 3 < 5(you say)

总延迟会增加，你可以看到这一点

http://spark . Apache . org/docs/latest/streaming-programming-guide . html # setting-the-right-batch-interval

Answer 2

在直接模型中：

• 按顺序访问每个分区
• 并行访问不同的分区

在第二种情况下，它取决于时间间隔，但通常如果maxRatePerPartition低于每秒实际速率乘以批处理窗口，您将始终滞后。