无法从Windows生成在WSL 2上运行的Kafka主题

Question

我正在Ubuntu WSL2上成功运行最新的Kafka。我可以在WSL上运行的Ubuntu中启动zookeeper、kafka服务器、创建主题、控制台制作和控制台消费。然而，当我进入Windows上的Intellij并创建一个简单的Java生成器时，它似乎无法连接到代理

版本

    Java version: 1.8
    Kafka Version: 2.6
    hostname (from Ubuntu): KDAAPPDEV04
    hostname (from Powershell): KDAAPPDEV04
    java.net.InetAddress.getLocalHost().getHostName() = KDAAPPDEV04
    java.net.InetAddress.getLocalHost().getCanonicalHostName() = KDAAPPDEV04
    netstat from CMD:
        TCP    [::1]:9092             [::]:0                 LISTENING

服务器属性我在另一个SO答案中找到了此设置，但这些设置对我不起作用。

advertised.listeners=PLAINTEXT://127.0.0.1:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT
listeners=PLAINTEXT://0.0.0.0:9092

然后尝试（并重新启动动物园管理员和Kafka）

advertised.listeners=PLAINTEXT://KDAAPPDEV04:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT
listeners=PLAINTEXT://0.0.0.0:9092

生产者

我用三个不同的值运行这个生产者：主机名、localhost和127.0.0.1但它从来没有连接到代理

    public class ProducerDemo{

    private static Logger logger = LoggerFactory.getLogger(ProducerDemo.class);

    public static void main(String[] args) throws UnknownHostException{

        System.out.println(InetAddress.getLocalHost().getHostName());
        System.out.println(InetAddress.getLocalHost().getCanonicalHostName());

        String bootstrapServers = "127.0.0.1:9092";
//        String bootstrapServers = "localhost:9092";
//        String bootstrapServers = "KDAAPPDEV04:9092";

        //create Producer properties
        Properties properties = new Properties();
        properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,bootstrapServers);
        properties.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());

        //create the producer
        KafkaProducer<String,String> producer = new KafkaProducer<String, String>(properties);

        //create a producer record
        ProducerRecord<String,String> record = new ProducerRecord<String, String>("first-topic","hola mundo");

        //send data
        producer.send(record);

        //flush + close
        producer.flush();
        producer.close();
    }
}

错误

[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version: 2.6.0
[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka commitId: 62abe01bee039651
[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka startTimeMs: 1601666175706
[kafka-producer-network-thread | producer-1] WARN org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Connection to node -1 (KDAAPPDEV04/my-ipconfig-address-here:9092) could not be established. Broker may not be available.

Answer 1

WSL2 在虚拟机监控程序上运行，您需要端口代理来连接在 WSL2 上运行的 Kafka Broker。

步骤 1 .使用以下命令检查 WSL2 IP 并复制 inet 值

$ ifconfig
inet 172.X.X.X 

第二步。使用管理员权限打开cmd

   netsh interface portproxy add v4tov4 listenport=9092 listenaddress=0.0.0.0 connectport=9092 connectaddress=172.X.X.X

你现在应该可以连接了

注意:每次重新启动机器时，WSL2 IP都会改变

Answer 2

我有确切的问题，你有，我解决如下：

1. 我在WSL2 Ubuntu shell中运行了以下命令： ip addr | grep “eth0” 我记下了 inet 属性的 ip 地址，例如 172.27.10.68
2. 在我的Kafka server.properties中，我替换了监听器的属性值，如下所示：listeners=PLAINTEXT：//172.27.10.68：9092 我注释掉了 advertised.listeners 属性。但是，您也可以将有问题的 ip 分配给此属性，并将侦听器属性设置为 0.0.0.0。但是我假设您正在使用Kafka安装进行测试/学习目的，因此我会保持简单。
3. 我没有对动物园管理员的默认 ip：port 进行任何更改
4. 我正在使用模式注册表，所以我html" target="_blank">修改了 Kafka 引导属性，如下所示：kafkastore.bootstrap.servers=PLAINTEXT：//172.27.10.68：9092 我没有对默认模式注册表侦听器侦听器侦听器=http：//0.0.0.0：8081
5. 我在我的IntelliJ Kafka Producer中使用相同的ip（如上所列）。然后，它愉快地连接到我在 WSL2 中的 Kafka 代理。

有关 WSL2 网络的详细信息，请访问 https://learn.microsoft.com/en-us/windows/wsl/compare-versions 。

此设置的唯一问题是，每次关闭或重新启动Windows计算机或关闭Ubuntu终端时，eth0的IP地址都会更改。这会导致重做步骤 2、4 和 5。我相信有更好的方法，但我尝试的一切都失败了，除了这个。

Answer 3

也有同样的问题。根本原因似乎是WSL2在IPv6和本地主机方面出现了问题(参见:https://github.com/microsoft/WSL/issues/4851)

我发现的唯一不涉及每次重新启动时更改配置的修复方法（根据上面的“172.*”建议）是在Linux中运行的Kafka服务器配置和Windows中的Java客户端中使用IPv6环回地址：：1。

在服务器属性中，我有这个：

listeners=PLAINTEXT://[::1]:9092

同样，在我的Java客户端引导服务器配置中，我使用

"[::1]:9092"