如何有效地计算数据的唯一（数字）列向量。桌子

Question

foo <- data.table(x = 1:5/sum(1:5),
                  y = (-4):0/sum((-4):0),
                 z1 = 2:6/sum(2:6),
                 z2 = 2:6/sum(2:6))

假设我有foo数据表（如上所述）：

            x   y   z1   z2
1: 0.06666667 0.4 0.10 0.10
2: 0.13333333 0.3 0.15 0.15
3: 0.20000000 0.2 0.20 0.20
4: 0.26666667 0.1 0.25 0.25
5: 0.33333333 0.0 0.30 0.30

如何有效地计算唯一列？在这种情况下，只有3个。

请假设一般情况下：

1. foo始终是数据表而不是矩阵；尽管列始终是数字

是否可以在不制作额外数据副本的情况下执行此操作？

我目前的方法是使用粘贴对列应用，为每列获取一个值，然后执行长度（唯一（） 在结果上。。。

数据有什么魔力吗。表：：transpose（），数据。表：：uniqueN，还有其他朋友？




Answer 1

另一种方法可能更快，如果你期望大量重复：

n_unique_cols <- function(foo) {
  K <- seq_along(foo)
  for (j in seq_along(foo)) {
    if (j %in% K) {
      foo_j <- .subset2(foo, j)
      for (k in K) {
        if (j < k) {
          foo_k <- .subset2(foo, k)
          if (foo_j[1] == foo_k[1] && identical(foo_j, foo_k)) {
            K <- K[K != k]
          }
          rm(foo_k)
        }
      }
    }
  }
  length(K)
}

时间：

library(data.table)
create_foo <- function(row, col) {
  foo <- data.table(x = rnorm(row), 
                    y = seq_len(row) - 2L)

  set.seed(1)
  for (k in seq_len(col %/% 2L)) {
    foo[, (paste0('x', k)) := x + sample(-4:4, size = 1)]
    foo[, (paste0('y', k)) := y + sample(-2:2, size = 1)]
  }
  foo
}

library(bench)
res <- 
  press(rows = c(1e5, 1e6, 1e7), 
        cols = c(10, 50, 100), 
        {

          foorc <- create_foo(rows, cols)
          bench::mark(n_unique_cols(foorc), 
                      length(unique(as.list(foorc))))
        })
plot(res)

此函数的数据消耗量是其唯一性的两倍（） 。

Answer 2

转置并检查是否存在非重复项

ncol( foo[ , which( !duplicated( t( foo ) ) ), with = FALSE ])

3

Answer 3

另一种可能性：

length(unique(as.list(foo)))

它给出了预期的结果：

> length(unique(as.list(foo)))
[1] 3

注意：必须使用length（unique（）），因为uniqueN（）将返回错误。

根据@Ryan的评论，你也可以这样做：

length(unique.default(foo))

关于速度，这两种方法是可比的（当在5M行的更大数据集上测量时）：

> fooLarge <- foo[rep(1:nrow(foo),1e6)]
> microbenchmark(length(unique.default(fooLarge)), length(unique(as.list(fooLarge))))
Unit: milliseconds
                              expr     min       lq     mean   median       uq       max neval cld
  length(unique.default(fooLarge)) 94.0433 94.56920 95.24076 95.01492 95.67131 103.15433   100   a
 length(unique(as.list(fooLarge))) 94.0254 94.68187 95.17648 95.02672 95.49857  99.19411   100   a

如果只保留唯一的列，可以使用：

# option 1
cols <- !duplicated(as.list(foo))
foo[, ..cols]

# option 2 (doesn't retain the column names)
as.data.table(unique.default(foo))

其中给出（显示输出选项1）：

            x   y   z1
1: 0.06666667 0.4 0.10
2: 0.13333333 0.3 0.15
3: 0.20000000 0.2 0.20
4: 0.26666667 0.1 0.25
5: 0.33333333 0.0 0.30