无法设置 kerberized kafka 代理：使用动物园管理员仲裁成员进行身份验证时出错：仲裁成员的 saslToken 为空

Question

所以我一直试图在启用kerberos的单个节点上设置kafka broker和zookeeper。

大部分都是基于这个教程：https://qiita.com/visualskyrim/items/8f48ff107232f0befa5a

系统:Ubuntu 18.04设置:一个EC2盒子里有zoopeeker实例和kafka broker进程，另一个EC2盒子里有KDC。两者都在同一个安全组上，UDP 88端口开放。

以下是我迄今为止所做的工作。

1. 从这里下载了Kafka经纪人：https://kafka.apache.org/downloads
2. 创建KDC并正确生成keytab（通过kinit-t验证）。然后定义krb5_config文件，并在 /etc/hosts文件中宿主kdc条目。
3. 创建了两个jaas配置

猫动物园管理员_jaas.conf

Server {
  com.sun.security.auth.module.Krb5LoginModule required debug=true
  useKeyTab=true
  keyTab="/etc/kafka/zookeeper.keytab"
  storeKey=true
  useTicketCache=false
  principal="zookeeper";
};

猫kafka_jaas.conf

cat /etc/kafka/kafka_jaas.conf
KafkaServer {
  com.sun.security.auth.module.Krb5LoginModule required debug=true
  useKeyTab=true
  useTicketCache=false
  storeKey=true
  keyTab="/etc/kafka/kafka.keytab"
  principal="kafka";
};

Client {
  com.sun.security.auth.module.Krb5LoginModule required debug=true
  useKeyTab=true
  storeKey=true
  useTicketCache=false
  keyTab="/etc/kafka/kafka.keytab"
  principal="kafka";
};

config/zookeeper文件添加了这些额外的行

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
jaasLoginRenew=3600000
kerberos.removeHostFromPrincipal=true
kerberos.removeRealmFromPrincipal=true

和config/server。属性（代理的配置文件）添加了这些额外的行

listeners=SASL_PLAINTEXT://kafka.com:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
sasl.enabled.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

在一个屏幕会话中，我做到了

5. export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/etc/kafka/zookeeper_jaas.conf -Dsun.security.krb5.debug=true"

然后跑

bin/zookeeper-server-start.sh config/zookeeper.properties

这正确运行，动物园管理员启动。

在另一个屏幕会话中，我这样做

6. export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/etc/kafka/kafka_jaas.conf -Dsun.security.krb5.debug=true"

然后运行

bin/kafka-server-start.sh config/server.properties

但是这个失败了，除了这个例外

[2020-02-27 22:56:04,724] ERROR SASL authentication failed using login context 'Client' with 
exception: {} (org.apache.zookeeper.client.ZooKeeperSaslClient)
javax.security.sasl.SaslException: Error in authenticating with a Zookeeper Quorum member: 
the quorum member's saslToken is null.
        at org.apache.zookeeper.client.ZooKeeperSaslClient.createSaslToken(ZooKeeperSaslClient.java:279)
    at org.apache.zookeeper.client.ZooKeeperSaslClient.respondToServer(ZooKeeperSaslClient.java:242)
    at org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:805)
    at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:94)
    at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:366)
    at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1141)
[2020-02-27 22:56:04,726] ERROR [ZooKeeperClient Kafka server] Auth failed. 
(kafka.zookeeper.ZooKeeperClient)
[2020-02-27 22:56:04,842] ERROR Fatal error during KafkaServer startup. Prepare to shutdown 
(kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$AuthFailedException: KeeperErrorCode = AuthFailed for 
/consumers
    at org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
    at org.apache.zookeeper.KeeperException.create(KeeperException.java:54)
    at kafka.zookeeper.AsyncResponse.maybeThrow(ZooKeeperClient.scala:560)
    at kafka.zk.KafkaZkClient.createRecursive(KafkaZkClient.scala:1610)
    at kafka.zk.KafkaZkClient.makeSurePersistentPathExists(KafkaZkClient.scala:1532)
    at kafka.zk.KafkaZkClient.$anonfun$createTopLevelPaths$1(KafkaZkClient.scala:1524)
    at kafka.zk.KafkaZkClient.$anonfun$createTopLevelPaths$1$adapted(KafkaZkClient.scala:1524)
    at scala.collection.immutable.List.foreach(List.scala:392)
    at kafka.zk.KafkaZkClient.createTopLevelPaths(KafkaZkClient.scala:1524)
    at kafka.server.KafkaServer.initZkClient(KafkaServer.scala:388)
    at kafka.server.KafkaServer.startup(KafkaServer.scala:207)
    at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:38)
    at kafka.Kafka$.main(Kafka.scala:84)
    at kafka.Kafka.main(Kafka.scala)

我还启用了kerberos调试日志

这是Kerberos的凭证记录

调试:-凭据-
客户端:kafka@VISUALSKYRIM
服务器:zookeeper/localhost @ VISUALSKYRIM < br >票证:sname:zookeeper/localhost @ VISUALSKYRIM < br >结束时间:1582881662000
-凭据结束-

这意味着Client jaas config在某种程度上是一个问题，该问题源于以下代码行：https://github.com/apache/zookeeper/blob/master/zookeeper-server/src/main/java/org/apache/zookeeper/client/ZooKeeperSaslClient.java#L310但我一辈子都不知道为什么。我将其与合并文档交叉引用https://docs.confluent.io/2.0.0/kafka/sasl.html看来我做的是对的。那又有什么呢？

任何人都可以帮我解决这个问题吗？谢谢。

Answer 1

也许可以尝试查看< code > KAFKA _ HOME/config/server . properties 并将< code > zookeeper . connect = localhost:2181 中的默认< code>localhost更改为< code>your-host

作为主体，cname与sname不同。例子：

cname zk/[e-mail]
sname zookeeper/[e-mail]

最后我还使用了EXTRA_ARGS选项-Dzookeeper.sasl.client。username=zk如文档中所述。

对我有用。看起来像代码1，2应该处理这个问题，但它忽略了它，而是使用了这个属性。

Answer 2

原来Kafka含蓄地认为动物园管理员的校长是

zookeeper/localhost

为了取得进步，我

> < li >在KDC创建了zookeeper/localhost主体。 < li >为此创建了一个名为zookeeper-server.keyta的keytab < li>

将zookeeper jaas配置更新为

服务器{com.sun.security.auth.module.Krb5LoginModule required debug=true useKeyTab=true keyTab=“/etc/kafka/zookeeper Server.keyTab”storeKey=true useTicketCache=false principal=“zookeaper/localhost”；}；

现在不再显示该错误。

kafka producer似乎基于我的/etc/hosts配置获得了SPN

# Replace there keberos KDC server IP with the appropriate IP addresses
172.31.40.220 kerberos.com
127.0.0.1 localhost