Kafka的主题--我应该多一些还是少一些？

Question

我们是新的Kafka，所以我正在寻找一些高水平的指导。我们有一个实体（我们可以称之为“订单”）的数据，该实体本质上是许多不同的实体（我们可以将一个称为“小部件”，一个称为“小玩意”，但大约有20种不同的实体类型）。

显然，将订单作为一个单一的主题来思考是有好处的，因为所有的部分都与一个订单相关。但在设计上，将这些主题分开（订单、小部件、小发明等）是否更有意义？

小部件和小玩意之间没有直接的关联--将它们放在一起的好处是处理顺序等，建议或好的阅读资源将是非常有帮助的。谢谢！

Answer 1

我建议首先将事件记录为单个原子消息，而不要将其拆分为多个主题中的多个消息。最好是在你收到事件的时候准确地记录它们，以一种尽可能原始的形式记录它们。您总是可以在以后使用流处理器将复合事件拆分--但是如果过早地将其拆分，则很难重建原始事件。更好的是，您可以给初始事件一个唯一的ID（例如，UUID)；这样，以后当您将原始事件拆分为涉及到的每个实体的一个事件时，您可以将该ID向前传递，从而使每个事件的出处可跟踪。