当前位置: 首页 > 知识库问答 >
问题:

春云流手工偏移管理

袁元明
2023-03-14

我是否可以按以下方式使用Spring Cloud Steam实现手动Kafka偏移管理:

  1. 每当我的使用者处理消息时,它都会将其偏移量提交到DB中。不喜欢Kafka
  2. 每当我的使用者重新启动时,它就从数据库中读取上次处理的偏移量,查找该偏移量并开始处理下一条消息。

暂时还没有答案

 类似资料:
  • Spring Cloud Kafka Streams与Spring Cloud Stream、Spring Cloud Function、Spring AMQP和Spring for Apache Kafka有什么区别?

  • 我正在研究为Spark结构化流在kafka中存储kafka偏移量,就像它为DStreams工作一样,除了结构化流,我也在研究同样的情况。是否支持结构化流?如果是,我如何实现? 我知道使用进行hdfs检查点,但我对内置的偏移量管理感兴趣。 我期待Kafka存储偏移量只在内部没有火花hdfs检查点。

  • 我们正在使用JavaInputDStream 我们按照Spark Streaming-Kafka集成指南中的描述实施了偏移管理,但现在我们刚刚意识到偏移管理不适合我们,并且如果当前小批量中出现故障,Stream不会再次读取消息。即使我们跳过这一行,它也不会再次读取消息: 我们将代码分解为以下内容,并期望流最终在循环中一次又一次地读取相同的消息,但事实并非如此: 消费者配置参数enable.auto

  • 我用的是Apache Kafka 2.7.0和Spring Cloud Stream Kafka Streams。 在我的Spring Cloud Stream (Kafka Streams)应用程序中,我已经将我的application.yml配置为当输入主题中的消息出现反序列化错误时使用sendToDlq机制: 我启动了我的应用程序,但我看不到这个主题存在。文档指出,如果 DLQ 主题不存在,

  • 现在我正在尝试用kafka创建消息服务功能以使用< code > spring-cloud-stream-bind-Kafka ,但效果不太好。 Spring罩1.4.2 当我使用此错误日志启动项目时失败 我在怀疑我的春靴版本。这么低配的版本。< br >我认为< code > spring-cloud-stream-binder-Kafka 在spring boot 2.0版本下无法使用或者其他

  • 我有一个关于基于Spring Cloud Netflix(Zuul、Eureka)、Spring Security OAuth和Spring Cloud Security的微服务生态系统之间安全下游调用的问题。 例如,我有WEB应用程序(WEB)和以下微服务:A、B、X、Y、Z。 null null 而我想解决以下问题(困惑的副手问题): 服务A应该不能对服务Z执行任何操作(即使经过身份验证的用户