hadoop-映射减少任务和静态变量

Question

我刚刚开始使用hadoop / hbase MapReduce工作（使用cloudera），但我有以下问题：

假设我们有一个带有主要和静态viariable的java类。该类定义与Mapper和Reducer任务相对应的内部类。在启动作业之前，主程序初始化静态变量。在Mapper类中读取此变量。然后使用群集上的“
hadoop jar”启动该类。

我的问题：我看不到其他节点上的Map和Reduce任务如何看到该静态变量。是否有任何允许节点共享jvm或静态变量的“
hadoop魔术”？这怎么工作？我必须在一个类上这样做，而我无法弄清楚在非单节点群集中怎么做。谢谢

Answer 1

在分布式Hadoop集群中，每个Map /
Reduce任务都在其自己的单独JVM中运行。因此，无法在运行在不同JVM（甚至不同节点）上的不同类实例之间共享静态变量。

但是，如果要在任务之间共享一些不可变的数据，则可以使用Configuration类：

// driver code
Configuration config = Configuration.create();
config.setLong("foo.bar.somelong",1337);
...

// mapper code
public class SomeMapper ... {
    private long someLong = 0;
    public void setup(Context context) {
        Configuration config = context.getConfiguration();
        someLong = config.getLong("foo.bar.somelong");
    }
}