当前位置: 首页 > 知识库问答 >
问题:

KafkaKTABLE:如何安排物化

凌成天
2023-03-14

是否有一种方法来设置一个时间表,在这个时间表中,应该将KTable中的数据持久化(.to())到一个主题中?实质上,让KTable累积所有数据,在特定的时间,数据被写入主题。

共有1个答案

赫连睿
2023-03-14

但是,KTable没有显式的控制,KTable内部缓存下游数据以压迫对同一密钥的连续更新(参见https://kafka.apache.org/11/documentation/streams/developer-guide/memory-mgmt.html和https://www.confluent.io/blog/watermarks-tables-event-time-dataflow-model/)。同时,每次提交Kafka流时都会刷新这个缓存。

因此,如果缓存足够大,可以容纳所有数据,则可以通过相应地配置commit.interval.ms来模拟所需的行为。请注意,这可能只是所需行为的近似值。

作为另一种选择,您可以通过标点符号构建自定义解决方案。这个想法是不通过ktable#to()运算符写入任何数据,而是使用标点符号调度扫描整个存储区以将数据写入主题。这种方法是相当先进的,但有些“拙劣”,并不是一个干净的解决方案。

 类似资料:
  • 我在Tomcat中部署了一个web应用程序。我有一套代码,它检查数据库中的某些数据,然后根据这些数据向用户发送邮件。有人能建议如何在Tomcat中安排这项工作吗。

  • 问题内容: 使用three.js我有以下内容。 包含多个Object3D实例的场景 几个预定义的摄像机Vector3位置 屏幕调整大小时画布的动态宽度/高度 用户可以选择一个对象(从上方) 用户可以选择相机位置(从上方) 给定正在查看的对象和摄像机位置,他们选择了如何计算最终摄像机位置以“最适合”屏幕上的对象? 如果在某些屏幕上按原样使用摄像机位置,则对象在我的视口边缘上流血,而其他对象看起来较小

  • 我有一个使用Kafka Streams中的KTable的单实例java应用程序。直到最近,当一些消息突然消失时,我才可以使用KTable检索所有数据。那里应该有~33k条带有唯一密钥的消息。 当我想通过键检索消息时,我不会得到一些消息。我使用ReadOnlyKeyValueStore检索邮件: 这些是我为KafkaStreams设置的配置设置。 Kafka:0.10.2.0-cp1 合流:3.2.

  • 问题内容: 如果我希望每N秒重新加载整个页面,则可以在HTML中输入以下内容: 是否有针对AJAX调用执行相同操作的标准做法?我想安排一个AJAX调用每10秒关闭一次,以便更新页面的某些部分,而不刷新整个页面。如果我可以在不同的时间安排多个AJAX调用会更好,因为页面的某些部分可能需要比其他部分更频繁地更新。 TIA 问题答案: 您可以使用或(后者可能最适合您想要的操作)。 …其中是一个通过AJA

  • 问题内容: 我要延迟设置某项倒计时计时器的时间,该计时器将在一定时间后“做某事”。 我希望我的程序的其余部分在等待时继续运行,所以我尝试制作自己的程序,其中包含一分钟的延迟: 尽管这种方法行之有效,但似乎应该有一种更好的方法。 我不需要任何复杂的东西。我只想在一定时间后做一件事情,而让程序的其余部分仍然运行。 我应该如何安排一次任务来“做某事”? 问题答案: 虽然过去曾经是安排未来任务的好方法,但

  • 问题内容: “现代” 守护程序如何在 内部 安排作业?有些人经常通过来安排一次跑步。因此,在写出crontab之后,会执行以下操作: 解析crontab以了解所有将来的事件,并hibernate间隔时间? 每分钟轮询一次汇总的crontab数据库,以确定当前时间是否与计划模式匹配? 其他? 谢谢, 问题答案: 在这个问题上听到了几声。不错的RTFC,其中包含一些离散事件模拟论文和Wikipedia