如何生成从公共计算机到专用网络上的Kafka安装的消息？

Question

我的Kafka服务器运行的系统有两个NIC，一个具有公共IP(135.220.23.45)，另一个具有私有IP(192.168.1.14)。私有网卡连接到总共由7台机器组成的子网（地址均为192.168.1.xxx)。Kafka已作为使用HDP的服务安装，并使用zookeeper.connect=192.168.1.14:2181和listeners=plaintext://192.168.1.14:6667配置。我已经使用[bin/kafka-console-consumer.sh--bootstrap-server 192.168.1.14:6667--topic test--from-beginition]在承载kafka服务器的系统上启动了一个使用者。

当我在专用子网上的任何机器上启动生产者（使用[bin/kafka-console-producer.sh--broker-list 192.168.1.14:6667--topic test])时，使用者通常会接收到消息。

我想在公共系统上启动生产者，并通过在kafka服务器上运行的消费者接收消息。我认为这可以通过IP伪装和将所有外部请求转发到135.220.23.45:15501（我选择15501接收kafka消息）到192.168.1.14:6667来实现。为此，我在Firewalld上设置了此端口转发规则:[port=15501:proto=tcp:toport=6670:toaddr=192.168.1.14]。

但是，这似乎不起作用，因为当我使用[bin/kafka-console-producer.sh--broker-list 135.220.23.45:15501-topic]在外部系统上启动一个生产者时，消费者无法接收到消息。

我尝试了侦听器和Advertised.listeners的不同kafka配置设置，但都不起作用。任何帮助都将不胜感激。

Answer 1

您需要为您的内部和外部通信定义不同的端点，以便使其工作。按照目前的配置，当您连接到135.220.23.45:15501时，Kafka会回复“请在192.168.1.14:6667与我通话，从外部无法到达，从那里到外面的一切都失败了。

在KIP-103中，Kafka被扩展以满足这些场景，它允许您定义多个端点。完全披露，我还没有尝试过这个，但是沿着下面的路线至少应该让你开始正确的道路。

advertised.listeners=EXTERNAL://135.220.23.45:15501,INTERNAL://192.168.1.14:6667
inter.broker.listener.name=INTERNAL
listener.security.protocol.map=EXTERNAL:PLAINTEXT,INTERNAL:PLAINTEXT

更新：

null

# internal ip: 172.31.61.130
# external ip: 184.72.211.109

listeners=INTERNAL://:9092,EXTERNAL_PLAINTEXT://:9094
advertised.listeners=INTERNAL://172.31.61.130:9092,EXTERNAL_PLAINTEXT://184.72.211.109:9094
listener.security.protocol.map=INTERNAL:PLAINTEXT,EXTERNAL_PLAINTEXT:PLAINTEXT
inter.broker.listener.name=INTERNAL

null

# Create topic 
kafka-topics --create --topic testtopic --partitions 9 --replication-factor 3 --zookeeper 127.0.0.1:2181

# Produce messages from internal machine
[ec2-user@ip-172-31-61-130 ~]$ kafka-console-producer --broker-list 127.0.0.1:9092 --topic testtopic                                                                                                               
>internal1
>internal2
>internal3

# Produce messages from external machine
➜  bin ./kafka-console-producer --topic testtopic --broker-list 184.72.211.109:9094
external1
external2
external3

# Check topic
[ec2-user@ip-172-31-61-130 ~]$ kafka-console-consumer --bootstrap-server 172.31.52.144:9092 --topic testtopic --from-beginning
external3
internal2
external1
external2
internal3
internal1