Kafka到Elasticsearch、HDFS with Logstash或Kafka Streams/Connect
-
null
在没有任何测试的情况下，我会说第二种选择更好/更干净、更可靠？
共有1个答案
Logstash将数据输入ElasticSearch的“最佳实践”。然而，WebHDFS不具备作为Kafka Connect插件一部分的Java API的原始性能。
Grok可以在Kafka Streams进程中完成，因此您的解析可以在任一位置完成。
如果你是弹性订阅，那么他们会想出售logstash。汇流公司希望出售Kafka Streams+Kafka Connect。
-
我需要从Kafka主题获取消息并通过基于HTTP的API通知其他系统。也就是说，从主题获取消息，映射到第三方API并调用它们。我打算为此编写一个Kafka Sink连接器。 对于这个用例，Kafka Connect是正确的选择还是我应该使用Kafka客户端。
-
spring-cloud-stream-kafka-elasticsearch The goal of this project is to implement a "News" processing pipeline composed of five Spring Boot applications: producer-api, categorizer-service, collector-se
-
我从机器上读取数据，并将其作为JSON流式传输到一个kafka主题。我想阅读这个主题，并使用Confluent将streamdata存储到elasticsearch中。 我的步骤：1。创建KSQL流以从JSON转换为AVRO json流： avro流： 在此之后,我将得到以下avro流： 我的连接-Avro-Distributed。属性：
-
我想知道什么是最适合我的：Kafka流或Kafka消费者api或Kafka连接？ 我要插入记录的数据库是：HDFS-（插入原始JSON）MSSQL-（处理过的JSON） 另一个选择是Kafka connect，但我发现到现在为止hdfs接收器和jdbc接收器连接器还没有json支持（我不想用avro编写），并且创建模式对于复杂的嵌套消息来说也是一件痛苦的事情。 或者我应该编写自定义Kafka连接来
-
我有四个Kafka流应用程序实例使用相同的应用程序id运行。所有输入主题都属于一个分区。为了实现可伸缩性，我通过一个具有多个分区的中间虚拟主题来传递它。我已经将< code>request.timeout.ms设置为4分钟。 Kafka 实例进入 ERROR 状态，而不会引发任何异常。很难弄清楚确切的问题是什么。有什么想法吗？
-
我正在使用Python语言。我有csv文件，我需要转换成json并发送到kafka，然后发送到ElasticSearch。 我能够将Csv转换为Json并发送给Kafka消费者。如何从Kafka Consumer向ElasticSearch获取数据