Kafka Streams应用程序GSSAPI身份验证

Question

我有一个使用Kafka Streams API的应用程序。我在当地工作时没有问题。我想连接到远程Kafka代理进行阶段测试。远程Kafka代理设置为使用GSSAPI sasl机制并使用Kerberos。我运行用java编写的Streams应用程序时出错。在我查找错误消息后，我找到了答案，但仍然有问题。

错误消息；获取相关id为3的元数据时出错：｛[APPID]-KTABLE-AGGREGATE-STATE-STORE-000000000 8-repartition=UNKNOWN_TOPIC_OR_PARTITION

我找到的答案说；

当使用授权器且用户没有主题的描述授权时，代理将不再向请求返回topic_authorization_FAILED错误，因为这会泄漏主题名称。相反，将返回UNKNOWN_TOPIC_OR_PARTITION错误代码。在使用生产者和消费者时，这可能会导致意外的超时或延迟，因为Kafka客户端通常会在未知主题错误时自动重试。如果您怀疑可能发生这种情况，应查阅客户端日志。

所以我实际的问题是如何授权使用GSAPI sasl机制的远程主题？

Answer 1

有点晚了，但这是答案。有两种方法可以将Kerberized Kafka集群与流应用程序连接起来。

详细资料

> 缓存凭据

：使用缓存凭据创建 jaas.conf 文件。若要使用缓存的 Kerberos 凭据（首先使用 kinit），请使用此配置。它只适用于手动运行。

< code > KafkaClient { com . sun . security . auth . module . krb 5 log in module必需的useTicketCache = true};

通过使用键选项卡：创建一个包含键选项卡和主体信息的jaas.conf文件。它适合自动运行。

< code > KafkaClient { com . sun . security . auth . module . krb 5 log in module必需的useKeyTab = true keyTab = "/etc/security/key tabs/mykafclient . keyTab " principal = " mykafclient/clients . hostname . com @ EXAMPLE。COM”；};

使用定义环境变量

导出KAFKA_OPTS="-Djava.security.auth.login.config=/home/user/jaas.conf"

不要忘记控制访问名为KRB5.conf（在unix中）或KRB5.ini（在Windows中）的文件

krb5型

当然，有一些参数必须正确定义。如果要使用 Kafka CLI 访问 kafka 主题，请创建一个包含以下内容的 client.properties 文件

<code>security.protocol=SASL_PLAINTEXT
sasl.kerberos.service.name=kafka
sasl.mechanism=GSSAPI
</code>

使用Kafka流应用程序，您将在属性中提供这些参数。

• Kerberos是一个复杂的主题。如果有人对它的细节感兴趣，我强烈推荐“Hadoop和Kerberos：超越大门的疯狂”这本书