为Java webapp中嵌入的客户端设置hadoop系统用户

Question

我想将MapReduce作业从java Web应用程序提交到远程Hadoop集群，但无法指定应为哪个用户提交作业。我想配置和使用应用于所有MapReduce作业的系统用户。

目前我无法指定任何用户，无论hadoop作业在客户端系统当前登录用户的用户名下运行什么。这会导致消息出错

Permission denied: user=alice, access=WRITE, inode="staging":hduser:supergroup:rwxr-xr-x

... 其中，“alice”是客户端计算机上的本地登录用户。

我试过了

1. 创建用户组信息实例（代理和普通用户）和
2. 使用Duser设置Java系统属性。name=hduser，将用户更改为envar，并将其作为硬编码系统。setProperty（“user.name”，“hduser”）调用

... 无济于事。关于1）我承认我不知道这些类应该如何使用。另外请注意，更改Java System属性显然不是web应用程序中使用的真正解决方案。

有没有人知道如何指定Hadoop使用哪个用户连接到远程系统？

PS/Hadoop使用默认配置，这意味着连接到集群时不使用身份验证，并且Kerberos不用于与远程机器通信。

Answer 1

我可以通过使用安全模拟功能解决类似问题http://hadoop.apache.org/docs/stable1/Secure_Impersonation.html

下面是代码段

    UserGroupInformation ugi = UserGroupInformation.createProxyUser("hduser", UserGroupInformation.getLoginUser()); 

    ugi.doAs(new PrivilegedExceptionAction() { 
    public Void run() throws Exception { 
      Configuration jobconf = new Configuration(); 
      jobconf.set("fs.default.name", "hdfs://server:hdfsport"); 
      jobconf.set("hadoop.job.ugi", "hduser"); 
      jobconf.set("mapred.job.tracker", "server:jobtracker port"); 
      String[] args = new String[] { "data/input", "data/output" }; 
      ToolRunner.run(jobconf, WordCount.class.newInstance(), args); 
      return null; 
    } });

远程（Windows桌面主机在我的情况下）登录用户ID应添加在core-site.xml如上面提到的URL

Answer 2

下面的代码对我的作用与

System.setProperty("HADOOP_USER_NAME", "hduser")

UserGroupInformation ugi = UserGroupInformation.createRemoteUser("hduser"); 
ugi.doAs(new PrivilegedExceptionAction<Void>() {
    public Void run() throws Exception {
        Configuration configuration = new Configuration(); 
        configuration.set("hadoop.job.ugi", "hduser");
        int res = ToolRunner.run(configuration, new YourTool(), args);
        return null; 
    }
});

Answer 3

最后我偶然发现了常数

static final String HADOOP_USER_NAME = "HADOOP_USER_NAME";`

在UserGroupInformation类中。

将其设置为环境变量，作为启动时的Java系统属性（使用-D）或以编程方式使用System.set属性（"HADOOP_USER_NAME"，"hduser"）；使Hadoop使用您想要的任何用户名连接到远程Hadoop集群。