Kafka Topic-过滤和分派消息

Question

我们的软件解决方案为每个客户收集数据（“事件”）<一些客户（一小部分约3%）要求将这些数据输入“他们的系统”（他们需要为此服务付费）<我们需要发送这些事件的目标系统可能是：

1. AWS S3
2. Azure存储
3. Splunk
4. 数据狗
5. 未来会有更多的目标系统...

上面的所有目标系统都有众所周知的Kafka Connect接收器连接器，因此我们的想法是使用这些连接器来导出数据。

1. 所有客户事件都转到一个“输入”主题
2. 自定义软件使用来自Kafka“输入”主题的消息
3. 该软件查看消息属性，并根据其中一个属性值（称为customer\u id）决定是否应删除消息或将其发布到另一个名为'

目标主题可能是另一个集群的一部分。我知道这可以很容易地做到使用Kafka流。

请注意，我知道Kafka流中的Disperse消息线程

我的问题是-可以使用Kafka Connect和SMT吗<我正在寻找一个“托管”解决方案，因为我们的Kafka在AWS MSK中运行，所以我不需要管理Kafka Connect群集。有了Kafka Streams，我必须在EC2/ECS上安装我的软件，不是吗

Answer 1

目标主题可能是另一个集群的一部分。我知道使用Kafka流很容易做到这一点

Kafka流只能/应该写入同一个集群。它不能保证交付给其他人。

对于将数据发送到其他集群，MirrorMaker将是一个起点。

如您所知，RegexRout可以重命名主题，但它不能从记录中提取动态字段并重命名主题-您需要为此编写自己的转换。

您还应该能够使用过滤器转换来检查/删除事件，但这只适用于顶级字段，而不适用于嵌套字段。

总的来说，我发现“每个id”有一个主题名是一个糟糕的设计，假设你可能（最终）有成千上万个id。

或者，“每个客户”管理数万到数千个集群（或者，至少使用“每个客户”的配额分割集群，尽管不确定多租户如何处理重复的主题名称）可能也很困难，但这基本上是MSK或融合云正在做的事情。