在Hadoop中传播自定义配置值

Question

在Map / Reduce期间，有什么方法可以设置和（以后）在Hadoop中获取自定义配置对象？

例如，假定一个应用程序预处理一个大文件并动态确定与该文件有关的某些特征。此外，假定那些特征保存在自定义Java对象（例如，Properties但不是唯一的对象，因为某些可能不是字符串）中，并且随后对于每个映射和reduce作业都是必需的。

应用程序如何“传播”此配置，以便每个映射器和化简器功能在需要时可以访问它？

一种方法可能是使用该类的set(String, String)方法JobConf，例如，通过JSON第二个参数传递配置为字符串的配置对象，但这可能太多了，因此无论如何JobConf都必须访问适当的html" target="_blank">实例（例如，遵循前面问题中建议的方法）。Mapper``Reducer

Answer 1

除非缺少我的东西，否则如果您有一个Properties包含M /
R作业中所需的每个属性的对象，则只需要将Properties对象的内容写入Hadoop Configuration对象。例如，如下所示：

Configuration conf = new Configuration();
Properties params = getParameters(); // do whatever you need here to create your object
for (Entry<Object, Object> entry : params.entrySet()) {
    String propName = (String)entry.getKey();
    String propValue = (String)entry.getValue();
    conf.set(propName, propValue);
}

然后在M /
R作业内部，您可以使用该Context对象Configuration在映射器（map函数）或化简器（函数）中找回自己reduce，如下所示：

public void map(MD5Hash key, OverlapDataWritable value, Context context)
    Configuration conf = context.getConfiguration();
    String someProperty = conf.get("something");
    ....
}

需要注意的是使用时Configuration的对象，您还可以访问Context中setup和cleanup方法，有用的，如果需要做一些初始化。

同样值得一提的是，您可能可以直接addResource从Configuration对象调用该方法以将属性直接添加为InputStream一个文件或文件，但是我认为这必须是像常规Hadoop
XML配置一样的XML配置，因此这可能会显得过大。

编辑
：对于非字符串对象，我建议使用序列化：您可以序列化对象，然后将它们转换为字符串（例如，可能使用Base64对其进行编码，因为我不确定如果使用不寻常的字符会发生什么情况），然后在mapper
/ reducer上，从您从内部属性获得的字符串中反序列化对象Configuration。

另一种方法是执行相同的序列化技术，而是写入HDFS，然后将这些文件添加到中DistributedCache。听起来有点矫kill过正，但这可能行得通。