如何使用Spring Cloud Stream Kafka在微服务事件源架构中查询事件存储库

Question

澄清：请注意，这个问题与这个问题不同：如何使用Spring Cloud Stream Kafka和每个服务的数据库实现微服务事件驱动架构

这一个是关于使用Kafka作为唯一的存储库（事件），不需要DB，另一个是关于使用每个服务的数据库（MariaDB）。

我想实现一个事件源架构来处理分布式事务：

OrdersService <------------> | Kafka Event Store | <------------>PaymentsService
                subscribe/                           subscribe/
                   find                                 find

OrdersService接收订单请求并将新订单存储在代理中。

private OrderBusiness orderBusiness;    

@PostMapping
public Order createOrder(@RequestBody Order order){
    logger.debug("createOrder()");
    //do whatever
    //Publish the new Order with state = pending
    order.setState(PENDING);
    try{       
       orderSource.output().send(MessageBuilder.withPayload(order).build());
    }catch(Exception e){
        logger.error("{}", e);
    }
    return order;
}

这是我的主要疑问：我如何查询Kafka经纪人？假设我想按用户/日期、状态等搜索订单。

Answer 1

简短回答：您无法查询代理，但可以利用Kafka的Streams API和“交互式查询”。

长答案：读取Kafka主题的访问模式是线性扫描，而不是随机查找。当然，您也可以通过#search（）随时重新定位，但只能按偏移量或时间重新定位。主题也被分片成分区，数据（默认情况下）由key分区（数据模型是键值对）。所以有一个键的概念。

然而，您可以使用Kafka的Streams API，它允许您构建一个保持当前状态的应用程序——基于Kafka主题，这是基本事实——作为物化视图（基本上是缓存）。“交互式查询”允许您查询此物化视图。

有关更多详细信息，请参阅以下两篇博文：

• https://www.confluent.io/blog/unifying-stream-processing-and-interactive-queries-in-apache-kafka/