如何给Kafka制作人写一个文件

Question

我正在尝试加载一个简单的文本文件，而不是Kafka中的标准输入。下载Kafka后，我执行了以下步骤：

开始动物园管理员：

zookeeper-server-start.sh配置zookeeper.properties

已启动服务器

kafka-server-start.sh配置server.properties

创建了一个名为“test”的主题：

＜code＞bin/kafka主题。sh--创建--zookeeper本地主机：2181--复制因子1--分区1--主题测试

制片人跑了:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
Test1
Test2

消费者听到的:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
Test1
Test2

我想将数据文件甚至简单的文本文件传递给生产者，而不是标准输入，消费者可以直接看到。任何帮助都将不胜感激。谢谢！

Answer 1

这里有几个稍微通用的方法，但是对于简单的文件来说可能是多余的

尾巴

尾部 -n0 -F my_file.txt | kafka-console-producer.sh --代理列表本地主机：9092 --主题my_topic

解释

1. 尾部在文件增长或日志不断添加时从文件末尾读取
2. -n0表示输出最后0行，因此只选择新行
3. ＜code＞-F＜/code＞按名称而不是描述符跟随文件，因此即使旋转也能正常工作

设置

options {                                                                                                                             
    flush_lines (0);                                                                                                                
    time_reopen (10);                                                                                                               
    log_fifo_size (1000);                                                                                                          
    long_hostnames (off);                                                                                                           
    use_dns (no);                                                                                                                   
    use_fqdn (no);                                                                                                                  
    create_dirs (no);                                                                                                               
    keep_hostname (no);                                                                                                             
};

source s_file {
    file("path to my-file.txt" flags(no-parse));
}


destination loghost {
    tcp("*.*.*.*" port(5140));
} 

消耗

< code > NC-k-l 5140 | Kafka-console-producer . sh-broker-list localhost:9092-topic my _ topic

解释（来自man nc）

-k' Forces nc to stay listening for another connection after its current connection is completed. It is an error to use this option without the -l option.

-l' Used to specify that nc should listen for an incoming connection rather than initiate a connection to a remote host. It is an error to use this option in conjunction with the -p, -s, or -z options. Additionally, any timeouts specified with the -w option are ignored.

裁判

系统日志-ng

Answer 2

$ kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic < my_file.txt

在Kafka中为我工作-0.9.0

Answer 3

你可以通过管道输入：

kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic
--new-producer < my_file.txt

在这里找到的。

从 0.9.0 开始：

kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic < my_file.txt