R减速器在Amazon EMR中无法正常工作

Question

我在R中做了一个map reduce代码，在Amazon EMR中运行。

我的输入文件格式：URL1 word1 word2 word3 URL2 word4 word2 word3 URL3 word1 word7 word2

我期待输出为：URL与空格word1 URL1 URL3 word2 URL1 URL2 URL3 word3 URL1 URL2......

但是EMR使用3个还原器并创建3个输出文件。文件输出是正确的，它是组合值，没有重复的键。但是如果我们一起看到3个文件，就会有重复的键。

输出文件1:word1 URL1 URL3 word2 URL1

输出文件2：word2 URL2 URL3 word3 URL1...

请参阅，word2被分发到2个文件。我只需要一个文件中有一个密钥。

我在EMR中使用Hadoop流媒体。请建议我正确的设置，以删除不同文件中的重复密钥。

我想我的地图绘制器工作正常。这是我的减速机：

process <- function(mat){

rows = nrow(mat)
cols = ncol(mat)

for(i in 1:rows)
{

    for(j in i+1:rows)
    {
        if(j<=rows)
        {
            if(toString(mat[i,1])==toString(mat[j,1]))
            {
            x<-paste(mat[i,2],mat[j,2],sep=" ")
            mat[i,2]=x
            mat<-mat[-j,]
            rows<-rows-1
            }
        }
    }
}

write.table(mat, file=stdout(), quote=FALSE, row.names=FALSE, col.names=FALSE)
}

reduce <- function(input){
  #create column names to make is easier to work with the data set
  names <- c("word", "value")
  cols = as.list(vector(length=2, mode="character"))
  names(cols) <- names

  #read from the input
  hsTableReader(file=input, cols, ignoreKey=TRUE, chunkSize=100000, FUN=process, sep=" ")


}

Answer 1

您是否尝试过使用组合器将相同的密钥收集到同一个减速机中？通过这种方式，您应该能够将具有类似键的所有单词收集到一个减缩器中。使用合并器检查一些字数示例，以了解合并器类的工作方式。