当前位置: 首页 > 知识库问答 >
问题:

Kafka流重试PAPI和一纸空文

百里杰
2023-03-14

如果发送到原始接收器主题时出现异常,我应该使用什么标准来将消息重新发送到备用接收器主题。这是否可以从生成器异常处理程序中的异常类型推导出来,而不损害Kafka流中内部生成器的事务性质。

如果我们决定在某些不可恢复的错误中从生产异常处理程序产生一个死信队列,那么这是否可以在“EOS”保证的上下文中完成,或者它必须是拓扑不知道的自定义生产者。

共有1个答案

闻梓
2023-03-14

Kafka Streams没有内置对死信队列的支持。因此,你要“靠自己”去实现它。

如果发送到原始接收器主题时出现异常,我应该使用什么标准来将消息重新发送到备用接收器主题。

不知道你这是什么意思?你能详细说明一下吗?

而不损害Kafaka流中内部生产者的交易性质。

那是不可能的。您没有访问内部生产者的权限。

如果我们决定在某些不可恢复的错误中从生产异常处理程序产生一个死信队列,那么这是否可以在“EOS”保证的上下文中完成,或者它必须是拓扑不知道的自定义生产者。

 类似资料:
  • PAPI (Performance Application Programming Interface) 是一组用于访问处理器硬件性能计数器的本地接口,用户可以利用它获得程序运行过程中产生的各种处理器事件的发生次数,进而将这些数据作为评估和分析程序性 能的可靠依据,有助于更准确地发现程序性能问题的根源。

  • 我有一个使用kafka活页夹的spring cloud stream应用程序,它可以消费和发送消息。在应用程序中,我使用重试策略配置自定义错误处理程序,并将不可重试的异常添加到处理程序中。配置示例: 但是我看到,如果异常抛出,比应用程序重试处理消息3次。预期行为-如果App. MyCustomException.class抛出,将不会重复消费消息。如何为Spring云流kafka绑定应用程序配置重

  • 例如,我想用和测试Kafka/Flink的集成。 该过程将是: 与Flink一起阅读Kafka主题 用Flink进行一些操作 和Flink一起写另一个Kafka主题 以字符串为例,从输入主题中读取字符串,转换为大写,写入新主题。 问题是如何测试流量? 当我说测试时,这是单元/集成测试。 谢谢!

  • 在Spring Boot应用程序中,我试图配置Kafka流。用简单的Kafka主题,一切都很好,但我无法得到工作SpringKafka流。 这是我的配置: 我想创建一个基于主题的流。应用一个简单的转换并将此流中的消息发送到test主题。 我向发送以下消息,其中是我自己的复杂类型,但是我现在不知道如何将它转换为中的,以便能够在中使用它。 请建议如何使其工作。

  • 我需要在Spring云流kafka活页夹错误处理场景的帮助。我的应用程序有一个java 8消费者,其绑定在application.yaml中指定。 application.yaml: 现在,我正在处理错误,有两个问题: > 我正在尝试手动包装消息的消费,而不是使用自动提交偏移设置为真。因此,当我将自动提交偏移设置设为假并测试错误场景时,会面临奇怪的行为,即每当抛出异常时,消息都会重试n次,即使在服

  • 听说发面经能攒好运#叠纸# C++多态有哪几种 虚函数怎么实现 C++内存管理 常量区有什么 const的作用 const修饰的变量放在哪里 new的流程 C++如何分配内存 操作系统的内存管理 如何解决内存碎片 linux常见命令 怎么查看进程占用的内存大小 竖线表示什么含义 管道怎么实现的 vector增删改查的复杂度,为什么 vector尾插的复杂度,为什么 一个整数划分成连续正整数,遍历,