加速data.table中的逐行操作

Question

与数据帧相比，我对使用< code>data.table的< code>tapply类操作的速度提升印象极为深刻。

例如：

df = data.frame(class = round(runif(1e6,1,1000)), x=rnorm(1e6))
DT = data.table(df)

# takes ages if somefun is complex
res1 = tapply(df$x, df$class, somefun) 

# takes much faster 
setkey(DT, class)
res2 = DT[,somefun(x),by=class] 

然而，我并没有完全设法让它比应用类操作中的数据帧工作得更快（即，需要将函数应用于每一行的情况）。

df = data.frame(x1 = rnorm(1e6), x2=rnorm(1e6))
DT = data.table(df)

# takes ages if somefun is complex
res1 = apply(df, 1, somefun) 

# not much improvement, if at all 
DT[,rowid:=.I] # or: DT$rowid = 1:nrow(DT)
setkey(DT, rowid)
res2 = DT[,somefun1(x1,x2),by=rowid] 

这真的只是意料之中还是有一些技巧？

Answer 1

使用＜code＞set＜/code＞可能会大大提高行操作的速度。这里有一个很好的基准：数据中的行操作。使用“by=.I”的表格`

Answer 2

如果你不能向量化你的函数(因为递归...)然后您就进入了< code>Rcpp的领域。使用< code>Rcpp和< code>data.table的通常规则是

1. 相应地调整您的数据表（设置键...）
2. 写你 C？C 函数说 f，这将采取一个 Rcpp：:D ataFrame 并返回一个 Rcpp：：列表
3. 通过引用进行更新 cppOut 列表

这样做通常会让你节省几个数量级