在没有SPnego的情况下访问kerberos安全的WebHDFS

Question

我有一个使用webhdfs管理HDFS的工作应用程序。我需要能够在Kerberos安全集群上执行此操作。

问题是，没有库或扩展来协商我的应用程序的票，我只有一个基本的HTTP客户端。

是否可以创建一个Java服务来处理票证交换，并且一旦它获得服务票证，就将其传递给应用程序以在HTTP请求中使用？换句话说，我的应用程序会要求Java服务协商票证，它会将服务票证以字符串或原始字符串的形式返回给我的应用程序，而应用程序只会将它附加到HTTP请求中？

* // establishing an initial connection
*
* URL url = new URL("http://foo:8080/bar");
* AuthenticatedURL.Token token = new AuthenticatedURL.Token();
* AuthenticatedURL aUrl = new AuthenticatedURL();
* HttpURLConnection conn = new AuthenticatedURL(url, token).openConnection();
* ....
* // use the 'conn' instance
* ....

我已经迷失在这里了。我需要什么初始连接？怎么能

new AuthenticatedURL(url, token).openConnection();

取两个参数？这种情况没有构造函数。（我得到错误，因为这）。难道不应该指定一个校长吗？可能不会这么容易。

    URL url = new URL("http://<host>:14000/webhdfs/v1/?op=liststatus");
    AuthenticatedURL.Token token = new AuthenticatedURL.Token();

    HttpURLConnection conn = new AuthenticatedURL(url, token).openConnection(url, token);

Answer 1

使用Java代码加上Hadoop Java API来打开Kerberized会话，获取该会话的委托令牌，并将该令牌传递给其他应用程序--正如@Tellisnz所建议的--有一个缺点：Java API需要相当多的依赖项（即大量JAR，加上Hadoop本机库）。如果你在Windows上运行你的应用程序，尤其是，它将是一个艰难的旅程。

另一种选择是使用Java代码和WebHDFS来运行一个SPNEGOed查询并获得委托令牌，然后将其传递给其他应用程序--该选择完全不需要服务器上的Hadoop库。赤裸裸的版本就像sthg

URL urlGetToken = new URL("http://<host>:<port>/webhdfs/v1/?op=GETDELEGATIONTOKEN") ;
HttpURLConnection cnxGetToken =(HttpURLConnection) urlGetToken.openConnection() ;
BufferedReader httpMessage = new BufferedReader( new InputStreamReader(cnxGetToken.getInputStream()), 1024) ;
Pattern regexHasToken =Pattern.compile("urlString[\": ]+(.[^\" ]+)") ;
String httpMessageLine ;
while ( (httpMessageLine =httpMessage.readLine()) != null)
{ Matcher regexToken =regexHasToken.matcher(httpMessageLine) ;
  if (regexToken.find())
  { System.out.println("Use that template: http://<Host>:<Port>/webhdfs/v1%AbsPath%?delegation=" +regexToken.group(1) +"&op=...") ; }
}
httpMessage.close() ;

这就是我用来从Windows Powershell脚本（甚至Excel宏）访问HDFS的方法。注意：在Windows中，您必须通过向JVM传递指向适当keytab文件的JAAS配置来动态创建Kerberos TGT。但无论如何，这一警告也适用于Java API。