Hadoop-Map减少任务和静态变量

Question

我刚开始处理一些Hadoop/HBase MapReduce作业（使用cloudera)，我有以下问题：

我的问题是：我不明白其他节点上的Map和Reduce任务是如何看到那个静态变量的。是否存在允许节点共享jvm或静态变量的“Hadoop魔术”？这怎么能起作用呢？我必须在一个类上做这件事，我不知道在一个非单节点集群中这是怎么行的。谢谢你

Answer 1

在分布式Hadoop集群中，每个map/reduce任务都运行在自己单独的JVM中。因此，在不同JVM（甚至不同节点）上运行的不同类实例之间无法共享静态变量。

但如果希望在任务之间共享一些不可变的数据，则可以使用Configuration Class：

// driver code
Configuration config = Configuration.create();
config.setLong("foo.bar.somelong",1337);
...

// mapper code
public class SomeMapper ... {
    private long someLong = 0;
    public void setup(Context context) {
        Configuration config = context.getConfiguration();
        someLong = config.getLong("foo.bar.somelong");
    }
}