Kafka-Connect vs Filebeat和Logstash
我正在寻找从Kafka消费，并将数据保存到Hadoop和ElasticSearch中。目前我已经看到了两种实现方法：使用Filebeat从Kafka消费并将其发送到ES，以及使用Kafka-Connect框架。有一个Kafka-Connect-HDFS和Kafka-Connect-Elasticsearch模块。
我不确定使用哪一个来发送流数据。虽然我认为如果我想在某个时候从Kafka获取数据并将其放入Cassandra中，我可以使用Kafka-Connect模块来实现，但Filebeat没有这样的特性。
共有1个答案
Kafka Connect可以处理流数据，而且更加灵活。如果您只是要使用弹性文件，那么Filebeat是日志源的一个干净的集成。然而，如果你要从Kafaka到许多不同的汇，Kafaka连接可能是你想要的。我建议查看connector hub以查看一些可供您使用的开源连接器示例http://www.confluent.io/product/connectors/
-
在Spring Boot应用程序中，我试图配置Kafka流。用简单的Kafka主题，一切都很好，但我无法得到工作SpringKafka流。 这是我的配置： 我想创建一个基于主题的流。应用一个简单的转换并将此流中的消息发送到test主题。 我向发送以下消息，其中是我自己的复杂类型，但是我现在不知道如何将它转换为中的，以便能够在中使用它。 请建议如何使其工作。
-
例如，我有以下角色绑定： 角色1：读/写topic1，如果用户是LDAP组的成员，则读/写topic2 角色2：读/写topic3、topic4（如果用户是LDAP组的成员）2 不管用.有没有正确的方法去做我想做的事？
-
问题内容： 我希望从Kafka消费数据并将数据保存到Hadoop和Elasticsearch中。我目前已经看到了两种方法：使用Filebeat从Kafka消费并将其发送到ES，以及使用Kafka- Connect框架。有一个Kafka-Connect-HDFS和Kafka-Connect-Elasticsearch模块。 我不确定要使用哪个发送流数据。尽管我认为如果我想在某个时候从Kafka中获取
-
问题内容： 在kerberosed环境中向kafka主题发送消息时出错。我们在hdp 2.3上有集群 我遵循了这个http://henning.kropponline.de/2016/02/21/secure-kafka-java-producer- with-kerberos/ 但是对于发送消息，我必须先显式地执行kinit，然后才能将消息发送到kafka主题。我试图通过java类进行编织，但是
-
我已经在集群中配置了3个kafka，我正在尝试与sping-kafka一起使用。 但是在我杀死kafka领导者后，我无法发送其他消息到队列。 我将Spring.kafka.bootstrap-servers属性设置为：“kafka-1：9092;kafka-2：9093，kafka-3：9094”以及我的主机文件中的所有名称。 Kafka0.10版 有人知道如何正确配置？ 编辑 我测试过一个东西，
-
我们有一个“Kerberized Kafka集群”，运行Apache Kafka 0.11版的代理。这个集群由另一个团队管理，我们对此没有任何控制权。 我们现在正在尝试在我们自己的K8S集群上安装Kafka Connect集群。 我们遵循这个兼容性矩阵https://docs.confluent.io/current/installation/versions-interoperability.h