在Spark中训练word2vec模型时如何解决Java.lang.OutOfMemoryError：Java堆空间？
Solu：我把params驱动程序-内存40G放在spark-submit中。
问题：我的Spark集群由5台ubuntu服务器组成，每个服务器有80G内存和24个内核。word2vec大约是10G新闻数据。并且我以独立模式提交作业,如下所示：
spark-submit--名称trainNewsdata--类word2vec.trainNewsdata--主spark://master:7077--executor-memory 70g--total-executor-cores 96 sogou.jar hdfs://master:9000/user/bd/newsdata/*hdfs://master:9000/user/bd/word2vecmodel_newsdata
当我在spark中训练word2vec模型时，occure：线程“main”Java.lang.OutOfMemoryError：Java堆空间中的异常，并且我不知道如何解决，请帮助我：）
共有1个答案
我把params驱动-内存40G放在spark-submit中，然后解决它。
-
当我使用spark运行一个模型训练管道时，我产生了上面的错误 oom错误由org.apache.spark.util.Collection.ExternalSorter.WritePartitionedFile（ExternalSorter.Scala:706)触发（在堆栈跟踪的底部） 日志： 任何建议都会很棒：）
-
问题内容： 我在执行多线程程序时遇到以下错误 上面的错误发生在其中一个线程中。 据我所知，堆空间仅由实例变量占用。如果这是正确的，那么为什么在运行一段时间后会出现此错误，因为在创建对象时分配了实例变量的空间。 有什么办法可以增加堆空间？ 我应该对程序进行哪些更改，以使其占用更少的堆空间？ 问题答案： 如果要增加堆空间，可以 -在命令行上使用。默认情况下，这些值基于JRE版本和系统配置。你可以在Ja
-
本文向大家介绍如何使用Tensorflow训练'Word2Vec'算法？，包括了如何使用Tensorflow训练'Word2Vec'算法？的使用技巧和注意事项，需要的朋友参考一下 Tensorflow是Google提供的一种机器学习框架。它是一个开放源代码框架，与Python结合使用以实现算法，深度学习应用程序等等。它用于研究和生产目的。它具有优化技术，可帮助快速执行复杂的数学运算。 这是因为它使
-
我正在尝试训练名称查找器模型来检测名称，但它没有给出正确的结果。这是代码。 这是iam得到的输出： 检测到的名称：[07-20 19:35:47.516 8799:8799 I/Adreno EGL] en-ner-person.train内容是： 请帮忙。
-
我想做一个图像分类器，但是我不懂Python。js与我熟悉的javascript一起工作。模型可以用它来训练吗？这样做的步骤是什么？坦白地说，我不知道从哪里开始。 ========================================= 说我有一堆图像和标签。我如何使用它们来训练一个模型？
-
问题内容： 如何处理“ java.lang.OutOfMemoryError：Java堆空间”错误？ 问题答案： 最终，无论你在什么平台上运行，都始终可以使用有限的最大堆。在Windows 32位环境中2GB（不是专门用于堆，而是每个进程的内存总量）。碰巧的是，Java选择减小默认值（大概是为了让程序员在没有遇到这个问题且不必仔细检查它们在做什么的情况下，无法创建内存分配失控的程序）。 因此，考虑