如何使用spring integration kafka确认消费者阅读的kafka消息

Question

我们使用的是spring集成kafka版本3.1.2。RELEASE and int kafka：消息驱动的通道适配器，用于使用来自远程kafka主题的消息。生产者发送加密消息，我们使用反序列化器解密实际消息。我们可以使用主题中发布的所有消息。我们将自动提交用作false。我们想知道在成功处理消息后如何从我们的服务提交或确认消息。有人能帮助我们如何提交从消息驱动通道读取的消息并提供一些参考实现吗？

当我们将自动提交设置为true时，我们假设它将在提交间隔之后提交消息，但我们希望在我们的服务中处理它。我遇到了下面的示例，但我们在反序列化后收到了一个自定义对象，而不是spring集成消息。因此，我们想知道如何在转换器中实现类似的确认，以便在转换过程中出现任何错误时不会提交消息。成功转换后提交消息。

  Acknowledgment acknowledgment = message.getHeaders().get(KafkaHeaders.ACKNOWLEDGMENT, Acknowledgment.class); 
  if(acknowledgment != null) { System.out.println("Acknowledgment provided");
  acknowledgment.acknowledge(); }
   }



<int-kafka:message-driven-channel-adapter
    id="kafkaMessageListener"
    listener-container="kafkaMessageContainer" auto-startup="true"
    phase="100" send-timeout="5000" mode="record"
    message-converter="messageConverter"
    recovery-callback="recoveryCallback" error-message-strategy="ems"
    channel="inputFromKafkaChannel" error-channel="errorChannel" />

<int:transformer id="transformerid"
    ref="transformerBean"
    input-channel="inputFromKafkaChannel" method="transform"
    output-channel="messageTransformer" />

<bean id="container1" class="org.springframework.kafka.listener.KafkaMessageListenerContainer">
    <constructor-arg>
        <bean class="org.springframework.kafka.core.DefaultKafkaConsumerFactory">
            <constructor-arg>
                <map>
                    <entry key="bootstrap.servers" value="${spring.kafka.bootstrap-servers}" />
                    <entry key="enable.auto.commit" value="false" />
                    <entry key="auto.commit.interval.ms" value="100" />
                    <entry key="session.timeout.ms" value="15000" />
                    <entry key="group.id" value="${spring.kafka.consumer.group-id}" />
                    <entry key="key.deserializer"
                        value="org.apache.kafka.common.serialization.StringDeserializer" />
                    <entry key="value.deserializer"
                        value="com.test.CustomDeserializer" />
                </map>
            </constructor-arg>
        </bean>
    </constructor-arg>
    <constructor-arg>
        <bean class="org.springframework.kafka.listener.ContainerProperties">
            <constructor-arg name="topics" value="${spring.kafka.topics}" />
        </bean>
    </constructor-arg>
</bean>

Answer 1

auto.commit.offset=true表示kafka客户端库提交偏移量。

如果为false（对于Apache Kafka，首选Spring），默认情况下，侦听器容器在轮询（）收到每个批之后提交偏移量，但机制由容器的AckMode属性控制。

请参见提交偏移。

如果您将容器的AckMode设置为MANUAL或MANUAL_IMMEDIATE，那么您的应用程序必须使用确认对象执行提交。

当使用Spring集成时，确认对象在KafkaHeaders中可用。ACKNOWLEDGENT标头。

在大多数情况下，AckMode。BATCH（默认）或AckMode。应该使用RECORD，并且您的应用程序不需要担心提交偏移量。