kafka-elasticsearch集成的logstash/不logstash？

Question

我读到elasticsearch Rivers/River插件不推荐使用。所以我们不能直接进行elasticsearch-kafka积分。如果我们想这样做，那么我们需要在两者之间有一个java（或任何语言）层，使用它的API将数据从kafka放到弹性搜索。

另一方面，如果我们有kafka-logstash-elasticsearch，那么我们可以去掉上面的中间层，并通过logstash来实现，只需配置即可。但我不确定在两者之间设置logstash是否是一种开销？

我的理解对吗？提前感谢您的投入。

问候你,Priya

Answer 1

你的问题相当笼统。理解你的体系结构、它的目的和你所做的假设是很好的。

正如在其文档中所述，Kafka是一个大规模可伸缩的发布-订阅消息传递系统。我的假设是，您将它用作体系结构中的数据代理。

另一方面，Elasticsearch是一个搜索引擎，因此我假设您将它用作数据访问/搜索/聚合层。

另一种方法是使用Kafka连接器，构建自定义工具，例如基于Kafka流或消费者，但这实际上取决于您的体系结构的概念--用途、堆栈、数据需求等等。