JavaHadoop Kerberize群集的Http请求

Question

我需要发送Http请求到Hadoop群集与Kerberos授权，我想与Keytab进行身份验证。我发现一个库HttpClient的Apache和我写了这个代码来获得HttpClient：

    private static CloseableHttpClient getHttpClient() {
    CredentialsProvider provider = new BasicCredentialsProvider();
    provider.setCredentials(
            AuthScope.ANY,
            new UsernamePasswordCredentials("YarnManager", "YarnManager")
    );
    return HttpClientBuilder.create()
            .setDefaultCredentialsProvider(provider)
            .build();
}

但我只能在对KeyTab执行Kinit命令后进行身份验证。如何在httpclient中传递密钥表的路径？你知道其他图书馆也能做到这一点吗？

Answer 1

我最近实现了一个类似的东西，但是它不是Java，而是在C.

没有直截了当的办法来解决这个问题。执行kinit是用户的责任。

Answer 2

关于ApacheHttpClient：引用SteveLoughran的Hadoop和Kerberos，《门外的疯狂》（从他必须维护Hadoop auth库时开始）

ApacheHTTP客户机/HTTP组件因其是处理远程HTTP服务器的优秀库而享有当之无愧的声誉
您是否应该将它们用于Kerberos/SPNEGO身份验证的应用程序？

编号：
（…）<不要浪费时间或让事情变得更糟：使用JDK库

关于Kerberos-auth-over-HTTP：标准是使用SPNego，它由任何语言的每个体面的HTTP客户机实现。通过任何严肃的HTTP服务器或代理，尽管服务器端的设置更加复杂。

Java客户端的问题在于，再次引用Steve Lougran的话，

公共JavaAPI在不同版本和JDK之间都很脆弱。。。Java版本中的发布可能会破坏内部和/或公共API的行为。

这可能解释了为什么“本地”JavaHTTP客户端比Apache客户端更健壮，当涉及到Kerberos的Java实现时，即JAAS--如果您希望能够使用keytab，这就是您需要配置的。

现在，Kerberos的Java实现不仅脆弱，而且不完整（无法写入票证缓存，无法创建可更新的票证，等等），而且没有很好的文档记录——再次引用s.L

JAAS是企业JavaBean时代的噩梦，它从深处浮出水面，把粗心的人拉到
（...）
一个jaas.conf文件可以有多个上下文...不同的上下文可以有不同的登录/授权机制，包括Kerberos和LDAP

有趣的事实：实际上，一个上下文可以定义多个机制（尝试第一个条目，如果尝试第二个条目不成功，等等）——对于每个机制，都有多种获取凭据的方法。有关语法，请参见这些帖子

您将需要覆盖它，从一个键表创建一个私有的、内存中的票证；还需要一些没有很好的文档记录的调整——例如，参见那篇文章
https://stackoverflow.com/a/42506620/5162372

上面的帖子关注JDBC，但也适用于SPNego，有两个警告：

• JAAS部分必须标记为com.sun.security.jgss.krb5.initiate
• 有一个额外的调试标志-Dsun.security.spnego.debug=true

此外，来自Oracle的"教程"不包括keytab选项，但可能对上下文有用：
https://docs.oracle.com/javase/8/docs/technotes/guides/security/jgss/lab/part6.html