如果在处理步骤中出现故障，如何使Spring cloud stream Kafka streams binder重试处理消息？

Question

我正在使用Spring Cloud Stream制作Kafka流。在消息处理应用程序中，可能会产生错误。因此，不应再次提交和重试消息。

我的申请方法-

@Bean
public Function<KStream<Object, String>, KStream<String, Long>> process() {
return (input) -> {
KStream<Object, String> kt = input.flatMapValues(v -> Arrays.asList(v.toUpperCase().split("\\W+")));
KGroupedStream<String, String> kgt =kt.map((k, v) -> new KeyValue<>(v, v)).groupByKey(Grouped.with(Serdes.String(), Serdes.String()));
KTable<Windowed<String>, Long> ktable = kgt.windowedBy(TimeWindows.of(500)).count();
KStream<String, WordCount> kst =ktable.toStream().map((k,v) -> {
WordCount wc = new WordCount();
wc.setWord(k.key());
wc.setCount(v);
wc.setStart(new Date(k.window().start()));
wc.setEnd(new Date(k.window().end()));

dao.insert(wc);

return new KeyValue<>(k.key(),wc);
});
return kst.map((k,v) -> new KeyValue<>(k, v.getCount()));
};
}

这里，如果DAO insert方法失败，则不应将消息发布到输出主题，并应重试处理同一消息。

我们如何配置kafka streams binder来执行此操作？。非常感谢您的帮助。

Answer 1

Spring Cloud Stream Kafka Streams绑定器本身在业务逻辑的执行中不提供这样的重试机制。但是，解决此用例的一种方法可能是将您的关键调用（dao.insert（）在本例中）包装在您在本地定义的RetryTemboard中。这是一个可能的实现，它以1秒的退避策略重试10次。如果您正在尝试此解决方案，请确保从您的主要业务逻辑中提取RetryTemboard相关的通用代码。我还没有尝试过这个，但它应该可以工作。

KStream<String, WordCount> kst =ktable.toStream().map((k,v) -> {
  WordCount wc = new WordCount();
  ...

  org.springframework.retry.support.RetryTemplate retryTemplate = new 
   RetryTemplate();

  RetryPolicy retryPolicy = new SimpleRetryPolicy(10);
  FixedBackOffPolicy backOffPolicy = new FixedBackOffPolicy();
  backOffPolicy.setBackOffPeriod(1000);

  retryTemplate.setBackOffPolicy(backOffPolicy);
  retryTemplate.setRetryPolicy(retryPolicy);

  retryTemplate.execute(context -> {
    try {
      dao.insert(wc);
    }
    catch (Exception e) {
      throw new IllegalStateException(..);
   }
  });

  return new KeyValue<>(k.key(),wc);
});

重试道插入操作10次后的事件，如果仍然失败，将抛出异常，该异常将终止应用程序，在这种情况下不会提交偏移量。重新启动时，在修复了底层问题后，您的应用程序仍应从该偏移量继续。