我有一个Kafka消费者。如果消费者未能阅读任何信息,我需要将其发送到死信主题。我使用的是Spring cloud Kafka stream,我在这样的配置中启用了DLQ。
spring:
cloud:
stream:
function:
definition: myConsumer
kafka:
binder:
consumer-properties:
auto.offset.reset: earliest
bindings:
myConsumer-in-0:
consumer:
**enableDlq: true
dlqName: api-consumer-count-request-DLT** ( this is in different cluster, this has its own broker list.)
bindings:
myConsumer-in-0:
binder: myBinder
destination: api-consumer
group: count-execution
binders:
myBinder:
type: kafka
environment:
spring:
cloud:
stream:
kafka:
binder:
brokers:{regular broker list for consumer}
但我的常规消费者话题与DLQ话题不同。有可能做到这一点吗?如果是,你能指导我完成配置吗?
不这在目前是不可能的;活页夹将只发布到同一个Kafka集群。
Spring Cloud Kafka Streams与Spring Cloud Stream、Spring Cloud Function、Spring AMQP和Spring for Apache Kafka有什么区别?
我用的是Apache Kafka 2.7.0和Spring Cloud Stream Kafka Streams。 在我的Spring Cloud Stream (Kafka Streams)应用程序中,我已经将我的application.yml配置为当输入主题中的消息出现反序列化错误时使用sendToDlq机制: 我启动了我的应用程序,但我看不到这个主题存在。文档指出,如果 DLQ 主题不存在,
当一个DLQ被设置为一个Spring云流Kafka消费者时,DLQ写入的主题可以被分区吗?我有一个要求,使密钥等于一个特定的字段,我想知道这将如何与Spring云流。
这就是我如何开始我的3个Kafka节点: 动物园管理员和Kafka集群在独立测试时表现良好。 我的意思是,我可以连接到一个Zookeeper节点(比如zoo1),并创建一个zNode。我可以在之后停止节点(例如,docker停止zoo1),并且我仍然可以从Zookeeper集群中的任何其他节点查询znode。 我将收到一个未知的HostException: 但是,我确实需要Kafka集群能够充分发
现在我正在尝试用kafka创建消息服务功能以使用< code > spring-cloud-stream-bind-Kafka ,但效果不太好。 Spring罩1.4.2 当我使用此错误日志启动项目时失败 我在怀疑我的春靴版本。这么低配的版本。< br >我认为< code > spring-cloud-stream-binder-Kafka 在spring boot 2.0版本下无法使用或者其他
我们有kafka集群,包含3个kafka代理节点和3个zookeepers服务器 Kafka版本- 10.1 ( hortonworks) 根据我的理解,因为所有的元数据都位于zookeeper服务器上,kafka代理正在使用这些数据(kafka通过端口2181与zookeeper服务器对话) 我只是想知道是否每台kafka机器都与集群中的其他kafka交谈,或者kafka可能只在动物园管理员服务