MapReduce-使用hadoop配置对象读取文本文件

Question

1. 0 0.64 0.64 0 0.32
2. 0.21 0.28 0.5 0 0.14
3. 0.06 0 0.71 0 1.23 
4. 1.03 1.36 0.32 0.51 0
5. 0 0 0 0 0.63

...行号不在文件中。每一行都是一个5维向量，并表示k-means算法的初始聚类质心。这里我们有5个初始集群。

接下来，我们有一个必须分配给集群的数据点文件，称为data.txt，如下所示：

1. 0 0.64 0.64 0 0.32
2. 0.21 0.28 0.5 0 0.14
3. 0.06 0 0.71 0 1.23
4. 0 0 0 0 0.63 
5. 0 0 0 0 0.63 
6. ... 
... 

这里的...表示我们有很多行数据点（对于这个问题，~10000）。同样，每一行都是一个5维向量。

这都有点让人摸不着头脑。我在main（）或run（）函数中创建hadoop配置对象吗？我在main函数中set（）然后在map函数中调用get()，还是在run函数中set（）？它使我不得不在for循环中运行映射和reduce函数n次，每次都使用一个新的/更新的centroids.txt文件。

对此有何感想！

Answer 1

其实很简单。Hadoop映射器具有#setup方法，在开始时调用该方法来配置映射器。您要做的是在此方法中读取Centroids.txt文件：

class MyMapper extends Mapper {

    double[][] centroids = new double[5][];

    public void setup(Configuration conf) {
         InputStream is = FileSystem.get(conf).open(new Path("centroids.txt"));
         // read centroid values
    }
}

如果您不想在映射器代码中硬编码文件路径，可以在提交作业之前将其传递给配置对象：

conf.set("centroids.path", "centroids.txt");

然后在mapper中读取

InputStream is = FileSystem.get(conf).open(new Path(conf.get("centroids.path")));