Kafka流：标点与过程
在stream应用程序内的单个任务中，以下两种方法是否独立运行（这意味着当方法“process”处理来自上游源的传入消息时，方法“标点”也可以基于指定的时间表和作为标点类型的WALL_CLOCK_TIME并行运行？）或者它们是否共享同一个线程，因此它是在给定时间运行的线程，如果是这样的话，如果进程方法不断从上游源获取消息，标点符号方法是否永远不会被调用？
>
ProcessorContext。调度（长间隔、标点类型、标点或回调）
为处理器调度周期性操作。
另外，请澄清在标点法中分区id值为-1是什么意思。标点法不是特定于任何分区的吗？
- int ProcessorContext。partition（）
返回当前输入记录的分区id；如果不可用，则可能为-1（例如，如果从标点符号调用调用此方法）
共有1个答案
这两种方法都在一个线程中执行。如果有输入数据或没有输入数据，将独立调用基于挂钟的标点符号（）：在调用进程（）之间，线程检查系统时间，并在必要时调用标点符号（）。
对于分区信息：是的，标点符号独立于分区。当然，标点符号是特定于一个任务的，但是，一个任务可能有多个输入分区（例如，如果它执行合并或加入），因此不清楚要传递什么分区信息。为简单起见，单分区情况与多分区情况的处理方式相同，标点符号与分区解耦。
-
我一直在检查Kafka流。我一直在测试下面的Kafka流代码 生产者主题：（这是第一个生产者主题-发送以下json数据） JSON-主题的生产者： Stream Topic代码：（这是第二个Streaming代码和主题） 如果UserID值为“1”，我想对其进行归档，然后将该数据发送到目标流媒体主题。 当我使用“.filter”并打印System.out时。println（“value:”valu
-
本文向大家介绍Kafka流的特点？相关面试题，主要包含被问及Kafka流的特点？时的应答技巧和注意事项，需要的朋友参考一下 答：Kafka流的一些最佳功能是 Kafka Streams具有高度可扩展性和容错性。 Kafka部署到容器，VM，裸机，云。 我们可以说，Kafka流对于小型，中型和大型用例同样可行。 此外，它完全与Kafka安全集成。 编写标准Java应用程序。 完全一次处理语义。 而且
-
我们正在构建一个使用Spark Streaming和Kafka的容错系统，并且正在测试Spark Streaming的检查点，以便在Spark作业因任何原因崩溃时可以重新启动它。下面是我们的spark过程的样子： Spark Streaming每5秒运行一次（幻灯片间隔），从Kafka读取数据 Kafka每秒大约接收80条消息 我们想要实现的是一个设置，在这个设置中，我们可以关闭spark流作业（
-
我最近开始学习Kafka，最后就问了这些问题。 > 消费者和流的区别是什么？对我来说，如果任何工具/应用程序消费来自Kafka的消息，那么它就是Kafka世界中的消费者。 流与Kafka有何不同？为什么需要它，因为我们可以使用消费者API编写自己的消费者应用程序，并根据需要处理它们，或者将它们从消费者应用程序发送到Spark？ 我做了谷歌对此，但没有得到任何好的答案。抱歉，如果这个问题太琐碎了。
-
我正在Kafka流中的处理器节点上工作。对于一个简单的代码，我编写如下代码只是为了过滤用户ID，这是在kafka流中处理处理器节点的正确方法吗？ 但是，下面的代码没有编译，抛出了一个错误：
-
我想使用spring cloud stream手动提交偏移量-仅当消息处理成功时。这是我的代码应用程序。yml公司 但我的确认对象为空，因为在标头中，对象“kafka\u确认”本身不存在。 如何获取确认对象