用于春云流的DLQ分区Kafka主题
当一个DLQ被设置为一个Spring云流Kafka消费者时，DLQ写入的主题可以被分区吗？我有一个要求，使密钥等于一个特定的字段，我想知道这将如何与Spring云流。
共有1个答案
Kafka绑定器中的主题配置器将使用为相应消费者主题配置的相同数量的分区创建DLQ主题。当错误消息发送到DLQ时，它会将它们适当地发送到消费者从原始主题接收记录的同一分区。
如果您在预配器之外创建DLQ，您可能需要确保创建的DLQ具有与使用者主题相同数量的分区。
-
我用的是Apache Kafka 2.7.0和Spring Cloud Stream Kafka Streams。 在我的Spring Cloud Stream (Kafka Streams)应用程序中，我已经将我的application.yml配置为当输入主题中的消息出现反序列化错误时使用sendToDlq机制: 我启动了我的应用程序，但我看不到这个主题存在。文档指出，如果 DLQ 主题不存在，
-
Spring Cloud Kafka Streams与Spring Cloud Stream、Spring Cloud Function、Spring AMQP和Spring for Apache Kafka有什么区别？
-
我有一些关于Kafka主题分区->spark流媒体资源利用的用例，我想更清楚地说明这些用例。 我使用spark独立模式，所以我只有“执行者总数”和“执行者内存”的设置。据我所知并根据文档，将并行性引入Spark streaming的方法是使用分区的Kafka主题->RDD将具有与Kafka相同数量的分区，当我使用spark-kafka直接流集成时。 因此，如果我在主题中有一个分区和一个执行器核心，
-
在使用ErrorHandlingDeserializer处理Avro组合的错误时，我无法发布到Dlq主题。以下是发布时的错误。 主题Topic_DLT在60000毫秒后不在元数据中。错误KafkaConsumerDestination｛consumerDestination Name='Topic‘，partitions=6，dlqName='TOIC_DLT‘｝。container-0-C-1
-
spring cloud stream如何将多个Kafka分区分配给属于同一消费者组的反应流？ 我注意到，如果我使用普通的非反应流侦听器，每个线程将被分配到一个分区，这取决于使用者并发配置。然而，在流（流量输入）的情况下，我没有注意到任何这样的并行行为。似乎只定义了一个流来处理来自所有分区的消息。 我的期望是每个Kafka主题分区都有独立的流，即使在由不同线程备份的同一节点上也是如此。
-
我有一个Kafka消费者。如果消费者未能阅读任何信息，我需要将其发送到死信主题。我使用的是Spring cloud Kafka stream，我在这样的配置中启用了DLQ。 但我的常规消费者话题与DLQ话题不同。有可能做到这一点吗？如果是，你能指导我完成配置吗？