在SSL模式下使用apache kafka

Question

我正在尝试在SSL[1-way]模式下设置kafka。我已经通过了官方留档并成功生成了证书。我会记下2种不同情况下的行为。这个设置只有一个经纪人和一个动物园管理员。

我的server.properties文件中的相关条目如下：

listeners=PLAINTEXT://localhost:9092, SSL://localhost:9093
ssl.keystore.location=/Users/xyz/home/ssl/server.keystore.jks
ssl.keystore.password=****
ssl.key.password=****

我在kafka配置目录中添加了一个< code > client-SSL . properties ，包含以下条目:

security.protocol=SSL
ssl.truststore.location=/Users/xyz/home/ssl/client.truststore.jks
ssl.truststore.password=****

如果我将bootstrap.servers=localhost:9093或bootstrap.servers=localhost:9092放在我的config/producer.properties文件中，我的控制台生产者/消费者工作正常。这是预期的行为吗？如果是，那是为什么？因为我特别尝试以SSL模式从生产者/消费者连接到localhost:9093。

我的server.properties文件中的相关条目如下：

security.inter.broker.protocol=SSL
listeners=SSL://localhost:9093
ssl.keystore.location=/Users/xyz/home/ssl/server.keystore.jks
ssl.keystore.password=****
ssl.key.password=****

我的client-ssl.properties文件保持不变。我将bootstrap.servers=localhost:9093放在producer.properties文件中。现在，我的生产者/消费者都无法连接到kafka。我收到以下消息：

WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

我做错了什么？

在所有这些情况下，我都使用以下命令启动生产者/消费者：

./kafka-console-producer.sh --broker-list localhost:9093 --topic test --producer.config ../config/client-ssl.properties
./kafka-console-consumer.sh --bootstrap-server localhost:9093 --topic test --consumer.config ../config/client-ssl.properties

Answer 1

两个答案都指出了正确的方向，但是需要增加更多的细节来结束这种混乱。

我使用这个bash脚本从confluent生成证书，当我查看文件内部时，它是有意义的。我将在此处粘贴相关部分：

echo "     NOTE: currently in Kafka, the Common Name (CN) does not need to be the FQDN of"
echo "     this host. However, at some point, this may change. As such, make the CN"
echo "     the FQDN. Some operating systems call the CN prompt 'first / last name'"

给你。生成证书时，请确保在请求名字/姓氏时输入localhost（或FQDN）。请记住，您需要使用相同的endpoint来公开代理。

Answer 2

有关此情况的一个重要信息：可以通过向 server.properties 添加以下行来停用 CN 必须与主机名相等的行为：

    ssl.endpoint.identification.algorithm=

此设置的默认值设置为https，这最终会激活主机进行CN验证。这是自Kafka 2.0以来的默认值。

我已经成功测试了具有以下属性的SSL设置（虽然只是在代理端）：

    ############################ SSL Config #################################
    ssl.truststore.location=/path/to/kafka.truststore.jks
    ssl.truststore.password=TrustStorePassword
    ssl.keystore.location=/path/to/kafka.server.keystore.jks
    ssl.keystore.password=KeyStorePassword
    ssl.key.password=PrivateKeyPassword
    security.inter.broker.protocol=SSL
    listeners=SSL://localhost:9093
    advertised.listeners=SSL://127.0.0.1:9093
    ssl.client.auth=required
    ssl.endpoint.identification.algorithm=

您还可以在这个github项目中找到生成SSL证书（带有密钥库和信任库）的Shell脚本以及一些文档：https://github.com/confluentinc/confluent-platform-security-tools

Answer 3

确保证书中的通用名称（CN）与您的主机名匹配。SSL协议根据主机名验证CN。我想你应该有CN=localhost。我有一个类似的问题，这就是我如何修复的。