Spring cloud kafka Stream Binder transactionIdPrefix性能大获成功

Question

我们有一个Kafka过程，在这个过程中，我们消费来自一个主题的消息，然后进行一些充实，然后我们将消息发布到另一个主题。以下是事件

• 消费者-消费信息

我正在使用Spring Cloud kafka活页夹版本3.0.0-RELEASE，事情进展顺利。最近我们引入了幂等生产者，并包含了transactionIdPrefix属性，我们观察到我们开始出现性能问题。以下是统计数据。

• 在transactionIdPrefix之前，系统需要大约20秒来处理具有30个并发用户的10k消息。
• 在transactionIdPrefix之后，系统平均花费165秒处理30个并发用户的10k消息。

下面是我们的代码和配置。

@StreamListener("INPUT")
@SendTo("OUTPUT")
public void consumer(Message message){
Acknowledgement ack = messge.getHeaders().get(KafkaHeaders.ACKNOWLEDGEMENT,Acknowledgement.class))
try{
    String inputMessage = message.getPayload.toString();
    String enrichMessage = // Enrichment on inputMessage
    ack.acknowledgement()   
    return enrichMessage;
}catch( Exception exp){
    ack.acknowledgement();
    throw exp;  
}
}

配置是

1. Spring。云流动Kafka。粘合剂交易transactionIdPrefix=TX-
2. Spring。云流动Kafka。粘合剂交易制作人配置确认=全部
3. Spring。云流动Kafka。粘合剂交易制作人配置重试次数=10次
4. Spring。云流动Kafka。绑定。输入消费者autocommitofset=false
5. Spring。云流动Kafka。绑定。输入消费者并发性=30
6. Spring。云流动Kafka。绑定。输入消费者enableDlq=true
7. Spring。云流动Kafka。绑定。输入消费者dlqName=错误。话题
8. Spring。云流动Kafka。绑定。输入消费者自动提交错误=true
9. Spring。云流动Kafka。绑定。输入消费者最大尝试=3
10. Spring。云流动Kafka。粘合剂交易制作人配置使可能幂等性=真

我预计性能会有一点下降，但这看起来是一个巨大的性能差异。有没有人遇到过这样的问题，以及我们如何使用transactionIdPrefix属性提高性能的建议？

Answer 1

交易总是很昂贵；尤其是每次读取仅执行一次写入时。

使用功能模型（Consumer）

public Consumer<List<Message>> () {
    messages -> {...}
}

这样，事务将适用于整个列表。