当前位置: 首页 > 知识库问答 >
问题:

AWS抛出内存错误的H2O.AI建模

颜志业
2023-03-14

我们在AWS上运行h2o,在GBM algo上用14GB CSV数据集训练一个模型,它达到36%,然后失败,出现错误:

“Java堆空间”,由Java.lang.OutOfMemoryError引起:Java堆空间

h2o Cluster Version: 3.17.0.4153
R Version: 3.4.3
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)
Algorithm: GBM
Training DataSet: CSV with 1000 cols, 2,695,297 lines, that is 14gb in size
AWS:
Model       vCPU    Mem (GiB)    Storage
t2.2xlarge  8       32           EBS-Only

更新:

因此,我们将java选项-XMX设置为14G,并将其增加到25G,从而允许它继续运行。

共有1个答案

陆曜文
2023-03-14

我推荐4-5倍的数据集大小。所以至少64 GB。

 类似资料:
  • 问题内容: 我正在关注控制台错误。 这是我进入控制台的完整错误。我该怎么办? 问题答案: 当我第一次尝试节点js时,我遇到了同样的问题。 我注意到此问题正在发生,因为我在不同的目录中有一些具有相同名称的.js文件,这些文件位于同一主目录中。 我在主项目文件夹之外创建了另一个目录,并创建了一个.js文件。 在那之后,它运行良好。 前app.js

  • 最近我被要求在我的代码中捕获可抛出的内容。所以我们遇到了一个争论,我们是否应该这样做,我给出了一个OutOfMemoryError的例子,在这种情况下,即使我们捕获到错误,我们的代码也不会被进一步处理。 所以为了测试这个理论,我们为它创建了示例代码。 在Wed Jun 16 14:20:41 IST 2021时间运行测试 try Block内部 catch Block内部 Java.lang.Ou

  • 问题内容: 我只是使用a 从这样的用户那里获取最新的tweet: 这在我的本地主机上运行良好,但是当我将其上传到服务器时会引发以下错误: 警告: file_get_contents(http://api.twitter.com/1/statuses/user_timeline/User.json)[function.file- get-contents]:无法打开流:HTTP请求失败!HTTP /

  • 当我尝试使用JQuery POST向服务器发送数据时,我得到以下错误。 我做错了什么? 未捕获的TypeError:在e处非法调用(https://ajax.googleapis.com/ajax/libs/jquery/3.2.1/jquery.min.js:4:7727)在Ab(https://ajax.googleapis.com/ajax/libs/jquery/3.2.1/jquery.

  • 我已经安装了用于PHP开发的XAMPPv3.2.1。由于我已经安装了Skype并使用端口80和443,我将XAMPP配置为在端口1333(http.conf)和3333(https.conf)上运行。 我启动了xampp MySQL服务并成功启动。 当我导航到超文本传输协议://: 1333 xampp工作正常,但是如果我点击phpmyadmin我得到以下错误。 MySQL说:文档 服务器没有响应

  • 为了参考,我的“jps”命令的输出结果是