在没有SPnego的情况下访问由kerberos保护的WebHDFS

Question

我有一个使用WebHDFS管理HDFS的有效应用程序。我需要能够在Kerberos受保护的群集上执行此操作。

问题是，没有库或扩展程序可以为我的应用程序协商票证，我只有一个基本的HTTP客户端。

是否有可能创建一个处理票证交换的Java服务，一旦获得服务票证即可将其传递给应用程序以用于HTTP请求中？换句话说，我的应用程序将要求Java服务协商票证，然后将服务票证以字符串或原始字符串的形式返回给我的应用程序，而该应用程序会将其附加到HTTP请求？

编辑：是否为HTTPfs描述了类似@SamsonScharfrichter的优雅解决方案？（据我所知，它不支持委托令牌）

EDIT2：大家好，我还是完全迷路了。我试图找出Hadoop-
auth客户端，但没有任何运气。您能再帮我一下吗？我已经花了几个小时阅读它，没有运气。这些示例说要这样做：

* // establishing an initial connection
*
* URL url = new URL("http://foo:8080/bar");
* AuthenticatedURL.Token token = new AuthenticatedURL.Token();
* AuthenticatedURL aUrl = new AuthenticatedURL();
* HttpURLConnection conn = new AuthenticatedURL(url, token).openConnection();
* ....
* // use the 'conn' instance
* ....

我已经在这里迷路了。我需要什么初始连接？怎么能

new AuthenticatedURL(url, token).openConnection();

取两个参数？在这种情况下没有构造函数。（因此导致错误）。校长不应该在某处指定吗？可能不会那么容易。

    URL url = new URL("http://<host>:14000/webhdfs/v1/?op=liststatus");
    AuthenticatedURL.Token token = new AuthenticatedURL.Token();

    HttpURLConnection conn = new AuthenticatedURL(url, token).openConnection(url, token);

Answer 1

使用Java代码和Hadoop Java
API打开一个以Kerberized进行的会话，获取该会话的委派令牌，然后将该Token传递给另一个应用程序（如@tellisnz所建议的那样）有一个缺点：Java
API需要 很多资源依赖关系 （即很多JAR，以及Hadoop本机库）。尤其是如果您在Windows上运行应用程序，这将是一个艰难的过程。

另一个选择是使用Java代码和WebHDFS来运行单个SPNEGOed查询并 获取 委托令牌，然后将其传递给另一个应用程序-该选项
在服务器上完全不需要Hadoop库 。准系统版本会像

URL urlGetToken = new URL("http://<host>:<port>/webhdfs/v1/?op=GETDELEGATIONTOKEN") ;
HttpURLConnection cnxGetToken =(HttpURLConnection) urlGetToken.openConnection() ;
BufferedReader httpMessage = new BufferedReader( new InputStreamReader(cnxGetToken.getInputStream()), 1024) ;
Pattern regexHasToken =Pattern.compile("urlString[\": ]+(.[^\" ]+)") ;
String httpMessageLine ;
while ( (httpMessageLine =httpMessage.readLine()) != null)
{ Matcher regexToken =regexHasToken.matcher(httpMessageLine) ;
  if (regexToken.find())
  { System.out.println("Use that template: http://<Host>:<Port>/webhdfs/v1%AbsPath%?delegation=" +regexToken.group(1) +"&op=...") ; }
}
httpMessage.close() ;

这就是我用来从Windows
Powershell脚本（甚至是Excel宏）访问HDFS的方式。注意：在Windows中，必须通过将指向适当的keytab文件的JAAS配置传递给JVM，来动态创建Kerberos
TGT。但是无论如何，该警告也适用于Java API。