火花流从Kafka源返回到检查点或重绕

Question

当streaming Spark DStreams作为来自Kafka源的消费者时，可以检查Spark上下文，因此当应用程序崩溃（或受到kill-9的影响）时，应用程序可以从上下文检查点恢复。但如果应用程序“意外地部署了错误的逻辑”，您可能想要倒回到最后一个主题+分区+偏移量，以重播某个Kafka主题的分区偏移量位置的事件，这些位置在“错误逻辑”之前正常工作。当检查点生效时，流式应用程序如何被重绕到最后的“好点”（主题+分区+偏移量）？

注意：在I（心脏）日志中，Jay Kreps写到使用并行的消费者（组）进程，它从发散的Kafka偏移量位置开始，直到赶上原始的，然后杀死原始的。（关于从某些分区/偏移量位置开始的第二个火花流进程是什么样子的？）

侧栏：这个问题可能与中流更改配置有关，因为可能需要部署一个类似的机制。

Answer 1

您将无法倒回正在运行的sparkstreamingcontext中的流。记住以下几点很重要（直接从文档中）：

• 一旦上下文启动，就不能设置或添加新的流计算。
• 上下文一旦停止，就无法重新启动。
• 一个JVM中同时只能有一个StreamingContext处于活动状态。
StreamingContext上的
• stop()也会停止SparkContext。若要仅停止StreamingContext，请将stop（）的可选参数stopSparkContext设置为false。
• 只要在创建下一个StreamingContext之前停止前一个StreamingContext

相反，您将不得不停止当前流，并创建一个新的流。您可以使用createdirectstream的某个版本从特定的偏移量集启动流，该版本采用fromoffsets参数，其签名为map[TopicAndPartition,Long]--它是主题和分区映射的起始偏移量。

另一种理论上的可能性是使用kafkautils.createrdd，它将偏移量范围作为输入。假设您的“坏逻辑”是从偏移量X开始的，然后在偏移量Y处修复的。对于某些用例，您可能只想用从X到Y的偏移量来执行createrdd并处理这些结果，而不是尝试将其作为流来执行。