Logstash不能从Kafka消费

Question

我的结构是这样的：日志文件

但我卡在Kafka到Logstash部分。

首先，Filebeat可以向Kafka生成消息，我可以使用以下方式检查它：

kafka-console-consumer.bat --zookeeper localhost:2181 --topic {topicName} --from-beginning

也可以由命令使用：

kafka-console-consumer.bat --zookeeper localhost:2181 --topic {topicName}

但是，当我尝试使用logstash来消费主题时，没有任何东西可以被检索到，Zoomaster一直在抛出：

2017-11-13 16:11:59205[myid:]-信息[NIOServerCxn.工厂：0.0.0.0/0.0.0.0:2181：NIOServerCnxnFactory@215]-接受来自/127.0.0.1:53201的插座连接

2017-11-13 16:11:59207[myid:]-警告[NIOServerCxn.工厂：0.0.0.0/0.0.0.0:21 81：NIOServerCnxn@383]-导致会话0x0关闭的异常：null

2017-11-13 16:11:59209[myid:]-信息[NIOServerCxn.工厂：0.0.0.0/0.0.0.0:2181：NIOServerCnxn@1040]-客户端的闭合套接字连接/127.0.0.1:53201（未为客户端建立会话）

此外，此语句中的端口号不断增加“从/127.0.0.1:53201接受套接字连接”。它正在扫描端口吗？

以下是一些背景。版本：

动物园管理员-3.4.11

Kafka大学2.10-0.10.2.1

logstash-5.4.0

（插件）logstash输入kafka（5.1.6）

这是我的配置：

Zoo.cfg（动物园管理员）

tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181

服务器财产（Kafka）

listeners=PLAINTEXT://localhost:9092
zookeeper.connect=127.0.0.1:2181

日志存储。配置（日志存储）

input {
    kafka {
        bootstrap_servers => "localhost:2181"
        topics => "test"
    }   
}

我想问题是由于动物园管理员和Kafka之间的配置问题，但我不知道如何解决。请帮忙。

Answer 1

您需要使用localhost:9092作为配置参数bootstrap_servers-您将Logstash指向Zoomaster，但您需要指向Kafka本身。

另一个错误是主题需要一个数组，所以它应该是数组而不是测试