利用kafka和cassandra进行事件来源的类别预测

Question

>

聚合命令处理程序基本上是一个kafka使用者，它使用与某一主题相关的消息：

1.1当它接收到命令时，它会加载聚合的所有事件，并为每个事件重放聚合事件处理程序，以使聚合达到当前状态。

1.2根据命令和businiss逻辑，它将一个或多个事件应用到事件存储区。这涉及到将新事件插入到Cassandra中的事件存储表中。事件被标记为聚合的版本号--对于新的聚合，从版本0开始，这使得预测成为可能。此外，它将事件发送到另一个主题（出于投影目的）。

我只是在挠头如何完成这件事。我很想知道是否有其他人使用卡桑德拉和Kafka作为活动来源。我读过一些地方，有些人不鼓励它。也许这就是原因。

我知道EventStore内置了对此的支持。也许使用Kafka作为事件存储会是一个更好的解决方案。

Answer 1

对于这种体系结构，您必须在以下两个方面做出选择：

• 每个类型的全局事件流-简单
• 每个类型的分区事件流-可伸缩

除非您的系统具有相当高的吞吐量（例如，对于所讨论的流类型，每秒至少有10s或100s的事件），否则全局流是更简单的方法。有些系统（例如事件存储）通过具有非常细粒度的流（例如每个聚合实例），但能够以一种性能良好且可预测的方式将它们组合成更大的流（每个流类型/类别/分区、每个多个流类型，等等），从而为您提供了两个世界的最佳选择，同时仍然简单，只需要跟踪单个全局事件位置。

• 当处理需要进入相同模型的不同分区的事件时，投影代码将需要处理访问相同读取模型的并发使用者组。根据投影的目标存储，有很多方法来处理这个问题（事务、乐观并发、原子操作等），但是对于一些目标存储来说这是个问题
• 投影代码需要跟踪每个分区的流位置，而不仅仅是单个位置。如果投影从多个流读取数据，它必须跟踪许多位置。

使用全局流消除了这两个问题-性能通常可能足够好。

在任何一种情况下，您都可能希望将流位置放入长期事件存储（即Cassandra）中--您可以通过使用一个专用进程从事件流（分区或全局）中读取并使用每个事件的全局或分区位置更新Cassandra中的事件来做到这一点。（我在MongoDB中也有类似的事情--我有一个读取'oplog'并将oplog时间戳复制到事件中的过程，因为oplog时间戳是完全有序的）。

另一个选择是将Cassandra从最初的命令处理中删除，转而使用Kafka流：

• 分区命令流是通过与已分区聚合KTable联接来处理的
• 计算命令结果和事件
• 原子上，使用更改的聚合更新KTable，将事件写入事件流，并将命令响应写入命令响应流。

然后，您将有一个下游事件处理器，该处理器将事件复制到Cassandra中，以便于查询等（它可以在每个事件中添加Kafka流位置，从而给出类别排序）。如果您不想使用Kafka进行长期事件存储，这可以帮助您赶上订阅等。（为了跟上，您只需尽可能多地阅读Cassandra的内容，然后从最后一个Cassandra事件的位置切换到Kafka的流媒体）。另一方面，Kafka本身可以永远存储事件，所以这并不总是必要的。