如何快速将数据输入h2o

Question

我的问题不是：

< li >维护h2o数据帧的有效方法 < li>H2O运行速度比data.table R慢 < li >在h2o中加载大于内存大小的数据

硬件/空间：

• 32 个至强线程，带 ~256 GB 内存
• 要上传约 65 GB 的数据。（约56亿个细胞）

问题：
将数据上传到h2o需要几个小时。这不是任何特殊处理，只是“as.h2o（...）”。

使用“fread”将文本放入空间只需要不到一分钟的时间，然后我进行一些行/列转换（diff、lags）并尝试导入。

在尝试任何类型的“as.h2o”之前，总的R内存为~56GB，所以分配的128不应该太疯狂，是吗？

问题：
我该怎么做才能使它在一个小时内装入h2o？这应该需要一分钟到几分钟，不再需要了。

我所尝试的：

• 在'h2o.init'中高达128 GB的颠簸内存
• 使用slm、data.table和选项（…
• 转换为"as. h2o"前的"as.data.frame"
• 写入csv文件（rwrite.csv会阻塞并花费很长时间。不过它会写入很多GB，所以我明白）。
• 写入sqlite3，表格列太多，很奇怪。
• 检查驱动器缓存/交换以确保那里有足够的GB。也许java正在使用缓存。（仍在工作）

更新:< br >所以看起来我唯一的选择是创建一个巨大的文本文件，然后使用“h2o.importFile(...)“为了它。我最多写15GB。

Update2:
这是一个可怕的csv文件，大小约为22GB（约2.4M行，约2300列）。值得一提的是，从中午12:53到下午2:44编写csv文件。在编写之后，导入速度大大加快。

Answer 1

将 as.h2o（） 视为一个方便的函数，它执行以下步骤：

1. 将R数据转换为数据。框架，如果还没有
2. 保存数据。帧到本地磁盘上的临时文件（如果可用，它将使用data.table:：fwrite（）（*），否则写入。csv（））
3. 呼叫<代码>h2o。该临时文件上的uploadFile（）
4. 删除临时文件

正如你的更新所说，将巨大的数据文件写入磁盘需要一段时间。但是这里的另一个难点是使用< code>h2o.uploadFile()而不是更快的< code>h2o.importFile()。决定使用哪个是可见性:

< li >使用< code>h2o.uploadFile()时，您的客户端必须能够看到该文件。 < li >通过< code>h2o.importFile()，您的群集必须能够看到该文件。

当客户机与某个集群节点在同一台机器上运行时，客户机和集群都可以看到您的数据文件，因此，请始终选择h2o.importFile（）。（它执行多线程导入。）

另外还有一些提示：只将您实际需要的数据带入R会话。记住R和H2O都是面向列的，所以cbind可以很快。如果您只需要在R中处理2300列中的100列，将它们放在一个csv文件中，并将其他2200列保存在另一个csv文件中。然后h2o.cbind（）将它们分别加载到H2O中。

*：使用h2o::：as.h2o.data.frame（不带括号）查看实际代码。data.table编写，您需要首先执行选项（h2o.use.data.table=TRUE）；您也可以选择使用h2o.fwrite选项打开/关闭它。