Logstash-Kafka集成不工作

Question

我们希望使用logstash获取日志并将其传递给Kafka。

我们已经为logstash1.5.0beta1和kafka 2.9.2_0.8.1.1编写了以下conf文件

**

input {    
         file {    
         type => "apache"    
         path => ["/var/log/apache2/access.log", "/var/log/apache2/error.log"]    
     }
}




output {    
    kafka {    
        codec => plain {    
            format => "%{message}"    
        }
    topic_id => "example1"    
    }    
}

**

运行以下命令后：bin/logstash代理-ftest.conf--logex.log

test.conf是我们的conf文件。ex.log是我们为要存储的日志创建的空白文件。

我们得到以下输出

发送logstash日志到ex.log.使用里程碑2输入插件文件。这个插件应该是稳定的，但是如果你看到奇怪的行为，请让我们知道！有关插件里程碑的更多信息，请参见http://logstash.net/docs/1.5.0.beta1/plugin-milestones{： level=

我们尝试在bashrc中设置CLASSPATH。没有工作。请告诉我们哪里出了问题。提前感谢！

Answer 1

您可以检查以下事项：主题示例1是否可用？如果没有，您是否在Kafka中使用了自动创建？检查现有主题，如：

bin/kafka-topics.sh --list --zookeeper localhost:2181

示例1应该在返回的项目之间，如果不是，您也可以手动创建主题。

bin/kafktopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic example1

要查看Kafka是否收到启动消费者的消息，请执行以下操作：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic example1

我启动了一个简单的logstash实例，它监听并使用消费者中的标准，我可以看到消息是否以kafka的形式到达。这是我的logstash配置：

input {
        stdin { }
}

output {
    kafka {
        codec => plain {
            format => "%{message}"
        }
        topic_id => "example1"
    }
}

希望这能有所帮助