当spark容器上发生OutOfMemory错误时会发生什么
我在yarn cluster上运行的spark应用程序崩溃了，我正在试图确定根本原因。在我使用yarn logs-applicationid
从yarn获得的日志中，我看到在块获取期间有一大堆连接被拒绝，还有一个内存不足错误。很难说出根本原因是什么。我的问题是当容器因为OutOfMemory异常而被杀死时会发生什么。因此，在容器日志中，我看到这是如何在容器上启动执行器的
我还看到许多容器因超出内存限制而被YARN杀死。使用6 GB物理内存的6.0 GB。考虑提升spark.yarn.executor.memoryoverhead。在应用程序崩溃之前，似乎有多个这样的问题。spark重试一个阈值次数来重新启动容器吗？
共有1个答案
当在驱动程序和执行程序上的内存分配不合适时，通常会发生这种情况。您可以尝试在spark conf中使用spark.driver.memory显式分配驱动程序的内存。
有关其他设置，请参阅https://spark.apache.org/docs/latest/configuration.html#application-properties
-
1.1.1. 当发生了错误 1.1.1. 当发生了错误 若琪会使用 Skill 的错误消息告知用户发生了什么错误，并如何解决该错误；如果 Skill 没有返回标准的错误格式，若琪将无法告知用户如何解决问题。 { "header": { "messageId": "789-123", "namespace": "Rokid", "name": "ErrorResponse
-
下面的错误会不时弹出，但并不总是在同一个地方。不太清楚为什么。有线索吗？这里的完整代码：完整代码 文件“/users/davidkasapchuk/pycharmprojects/test/homedepotfridges.py”，第257行，在price=item.find_element_by_class_name('product-display-price')文件“/library/fra
-
问题内容： 几分钟前，我回答了一个问题，询问“ Java中HashMap的最大可能大小 ”。正如我一直阅读的那样， HashMap是一个可扩展的数据结构。 它的大小仅受JVM内存大小的限制。 因此，我认为它的大小没有硬性限制，因此做出了相应的回答。（同样适用于HashSet。） 但有人纠正我说，既然 大小（） HashMap中的方法返回一个 INT ，还有 就是 它的大小有限制。完全正确的一点。我
-
我做了研究，发现应该这样做我不知道java对象像指针一样工作。我以为只有当两个对象相等时才会传递值。我甚至创建了一个简单的测试应用程序，它可以设置和获取一个对象的数量。再一次，我把这两个对象都等同起来。更改一个对象的元素似乎也会影响另一个对象。我不知道该怎么在谷歌上搜索这个。所以我才把整个故事都告诉你。我只得到与c编程有关的文档。我觉得我的底子都碎了。我现在才知道是如何工作的。我试着做 这不影响N
-
我已经从服务器的category类中提取了数据。getcategories方法返回包含旋转器项的字符串列表。当我点击旋转器项时。什么都没发生。我的代码有什么错误吗。请帮帮忙。 这是我的Java密码。 这是我的布局