如何消费来自Kafka主题的特定消息

Question

有人能帮我弄清楚这件事吗。

谢了！

Answer 1

只要你把数据保存在Kafka（即主题保持期），你就可以随时阅读相同的主题。

因此，如果您想处理没有在Elasticsearch中索引的数据，您可以简单地重读主题并应用反向筛选器来获取所有没有在Elasticsearch中结束的消息。为此，我建议使用不同的消费者组ID。

当然，您也可以在将主题加载到Elasticsearch的同时将未加载到Elasticsearch中的消息写入新主题（即，在该日期内一次性将其放入Elasticsearch和新主题中）。但有些数据要存储两次。因此，对于以后处理非索引数据，您有一个空间/时间权衡：假设90%的数据都在Elasticsearch中结束，那么复制10%的数据并在以后加快处理这些数据可能是值得的（您只需要阅读10倍小的新主题）。如果只有10%的数据被索引，那么重复90%的数据似乎是一种浪费，只节省了10%的读取开销。