H2o：迭代大于内存的数据，而不将所有数据加载到内存

Question

有没有一种方法可以使用H2O迭代大于集群累积内存大小的数据？我有一个大数据集，我需要批量迭代并输入Tensorflow进行梯度下降。在给定的时间，我只需要在内存中加载一批（或少数）。有没有一种方法可以设置H2O来执行这种迭代，而无需将整个数据集加载到内存中？

这是一个相关的问题，一年多前就已经回答了，但没有解决我的问题：在h2o中加载大于内存大小的数据

Answer 1

简而言之，这并不是H2O设计的目的。所以不幸的是，今天的答案是否定的。

更长的答案...(假设问题的意图是关于H2O-3.x的模型训练...)

我可以想到至少两种使用H2O的方式：一次流式传输和交换。

可以把一遍流想象成有一个连续的数据流输入，数据不断地被处理，然后被丢弃(或传递)。

将交换视为交换的计算机科学等价物，其中有快速存储（内存）和慢速存储（磁盘），算法不断扫描数据并将数据从磁盘交换到内存。

从性能的角度来看，数据越大，交换越糟糕。H2O从来没有这样测试过，你只能靠自己。也许你可以从另一个引用的堆栈溢出问题（或源代码）中的线索/提示中找到如何启用不受支持的交换模式，但没有人这样运行，你只能靠自己。H2O被设计成通过将数据保存在内存中来快速进行机器学习。机器学习算法一次又一次地迭代扫描数据。如果每次数据触摸都击中磁盘，那就不是内存H2O-3平台旨在提供的体验。

流媒体用例，尤其是对于一些算法，如深度学习和DRF，对于H2O来说无疑更有意义。H2O算法支持检查点，您可以想象这样一个场景：读取一些数据，训练模型，然后清除数据并读取新数据，然后从检查点继续训练。在深度学习的情况下，您将使用新数据更新神经网络权重。在DRF案例中，您将根据新数据添加新树。