分布式缓存文件检索问题

Question

因此，对于第一次迭代，我将样例质心文件放在分布式缓存中，使用

if (iteration == 0) {
    Path hdfsPath = new Path(input + "/centroid.txt");
    DistributedCache.addCacheFile(hdfsPath.toUri(), conf);
} else {
    Path hdfsPath = new Path(again_input + "/part-00000");
    DistributedCache.addCacheFile(hdfsPath.toUri(), conf);

在下一次迭代中，我将获取again_input目录，该目录与第一次迭代的输出相同，其中存储了新计算的质心

然而，映射器再次获取它在第一次迭代中获取的质心文件。
下面是在mapper类中提取质心文件的代码：

Path[] cacheFiles = DistributedCache.getLocalCacheFiles(job);
BufferedReader cacheReader = new BufferedReader(new FileReader(cacheFiles[0].toString()));

疑问1：分布式缓存是否会在作业完成后清除所有文件，还是保留这些文件？例如，centroid.txt在迭代1后被清除。

疑点2：我访问的文件是否正确？

Answer 1

在本例中，您是否在迭代中重用配置类对象conf？

我认为这就是问题所在。您能检查一下哪些所有文件被添加到第二个迭代作业的分布式缓存中吗？

可以通过遍历PATH[]数组来实现

Path[] cacheFiles;