Python：如何模拟单元测试的Kafka主题？

Question

我们有一个消息调度程序，它在将消息属性放入带有密钥的Kafka主题队列之前，从消息属性生成一个散列密钥。

这样做是为了消除重复。但是，我不确定如果不实际设置本地集群并检查它的运行是否符合预期，如何能够测试重复数据删除。

Answer 1

如果您需要验证特定于Kafka的特性，或者使用特定于Kafka的特性实现，那么唯一的方法就是使用Kafka！

Kafaka的重复数据删除逻辑是否有测试？如果是这样，以下因素的组合可能足以减轻组织所感知的失败风险：

• 哈希逻辑的单元测试（确保同一个对象确实生成了相同的哈希）
• Kafka主题重复数据删除测试（Kafka项目内部）
• 飞行前烟雾测试，以验证应用程序与Kafka的集成

null

我认为重要的是确保Kafka集成测试最小化到只包含绝对依赖Kafka特定功能的测试。即使使用docker-compose，它们也可能比单元测试慢几个数量级，~1ms vs 1秒？要考虑的另一件事是维护集成管道的开销可能值得冒险相信Kakfa会提供它声称的主题重复数据删除。