删除重复项，使用“饼干屑”记住删除的原因

Question

我有一个约500000行45列的数据集。我想删除彼此重复的行，就像R“unique（）”函数所做的那样（保留第一个匹配项，删除其余的），但是对于删除的每一行，我想存储保留的行与之相等的行。

我要用另一种方式说同样的话，因为我觉得这有点难以解释。对于数据集中的每一组相同行（称为S），我只希望在数据集中保留其中一行（称为保留的行K）。我想丢弃其他大小相同的行（称它们为D）。对于D中的每个元素，我想知道K的索引。

我可以用for循环来实现这一点，但我想知道是否有一种更优雅的方法可以使用unique（）、duplicated（）等。注意，我使用变量名“preventors”表示K，“dups”表示D，“dups.I”表示D的索引。

pioneers <- unique(genos.varying)
dupes.i <- duplicated(genos.varying)
dupes <- genos.varying[dupes.i,]

# note -- look at the rowname of the pioneer to see where it was in the 'original' dataset
which.pioneer.by.dupes <- matrix(data=NA, nrow=nrow(dupes))

for(d in 1:nrow(dupes)) {

    for(p in 1:nrow(pioneers)) {

        if (all(pioneers[p,] == dupes[d,])) {

            which.pioneer.by.dupes[d] <- p
        }
    }
}

谢谢你提供的任何建议！

此外，这里还有一个实践数据集，以便于人们使用：

genos.varying <- matrix(c(1,2,3,7,6,4,1,2,3,4,3,6), ncol = 3, byrow=TRUE)

输出应大致如下：

Keep rows 1,2, and 4.  Row 3 is a duplicate of row 1.

Answer 1

使用按行散列的解决方案：

library(digest)
g <- matrix(c(1,2,3,7,6,4,1,2,3,4,3,6, 1,2,3, 7,6,4), ncol = 3, byrow=TRUE)
df <- as.data.frame(g)
df$digest <- apply(g,1,digest)

keep <- sort(as.integer(by(df, df$digest, function(x) rownames(x)[1])))
cat('keeping rows ', paste0(keep, collapse=', '), '\n')

res <- by(df, df$digest, function(x) {
    set <- sort(as.integer(rownames(x)))
    if (length(set) > 1)
      cat('row(s) ', paste0(set[-1], collapse=', '), ' are duplicates of row ', set[1], '\n')
    set
 })

输入是：

     [,1] [,2] [,3]
[1,]    1    2    3
[2,]    7    6    4
[3,]    1    2    3
[4,]    4    3    6
[5,]    1    2    3
[6,]    7    6    4

输出为：

keeping rows  1, 2, 4
row(s)  6  are duplicates of row  2 
row(s)  3, 5  are duplicates of row  1