当前位置: 首页 > 知识库问答 >
问题:

Storm 2.0.0内存不足

上官和韵
2023-03-14

我将代码库从1.1.1升级为使用storm 2.0.0。现在我观察到,如果我在本地模式下运行拓扑,几分钟后它就会耗尽内存。

[THREAD ID=AsyncLocalizer执行器-2-EventThread]Dev-APC180-本地o. a. s. s. o. a. z.ClientCnxn错误,同时调用监视器java.lang.OutOfMemoryError:无法创建新的本机线程在java.lang.Thread.start0(本机方法)在java.lang.Thread.start(Thread.java:717)在<-org.apache.storm.shade.org.apache.zookeeper.ZooKeeper的ClientCnxn.start(ClientCnxn.java:421)ZooKeeper.java:454)在org.apache.storm.shade.org.apache.curator.utils.DefaultZookeeperFactory.newZooKeeper(DefaultZookeeperFactory.java:29)在org.apache.storm.shade.org.apache.curator.framework.imps.CuratorFrameworkImpl$2.newZooKeeper(CuratorFrameworkImpl.java:213)在org.apache.storm.shade.org.apache.curator.HandleHolder$1.getZooKeeper(HandleHolder.java:101)在org. apache. storm. shade. org. apache. curator。HandleHolder. getZooKeeper(HandleHolder. java: 57)在org. apache. storm. shade. org. apache. curator。重置(ConnectionState. java: 204)在org. apache. storm. shade. org. apache. curator。ConnectionState. handleExpired会话(ConnectionState. java: 380)在org. apache. storm. shade. org. apache. curator。ConnectionState. check State(ConnectionState. java: 315)位于org. apache. storm. shade. org. apache. curator。在org. apache. storm. shade. org. apache. zookeeper上的ConnectionState.流程(ConnectionState. java: 169)。ClientCnxn$EventThread.处理事件(ClientCnxn. java: 533)在org. apache. storm. shade. org. apache. zookeeper。ClientCnxn$EventThread. run(ClientCnxn. java: 508)

上面是错误的堆栈跟踪。在更深入的分析中,我发现大约有5000个线程的“AsyncLocalizer事件线程”和“AsyncLocalizer SendThread”。它由AsyncLocalizer.updateBlob生成。

异步定位器。updateBlobs是一项计划任务,每30秒运行一次。请给我指一下正确的方向。我不知道我错过了什么。

共有1个答案

越风史
2023-03-14

这很可能是由于https://issues.apache.org/jira/browse/STORM-3501.Blob清理在2.0.0中中断,因此主管一直试图下载实际删除的Blob。我认为这也导致它启动了大量的馆长实例。

 类似资料:
  • 我正在努力解决古老的字谜问题。多亏了许多教程,我能够迭代一组字符串,递归地找到所有的排列,然后将它们与英语单词列表进行比较。我发现的问题是,在大约三个单词之后(通常是关于“变形”之类的东西),我会得到一个OutOfMemory错误。我试着把我的批分成小的集合,因为它似乎是消耗我所有内存的递归部分。但即使只是“变形”也把它锁起来了... 编辑:根据出色的反馈,我已经将生成器从排列更改为工作查找: 它

  • 问题内容: 我今天遇到一个奇怪的问题。对于其他人来说,这可能是一个简单的答案,但这让我感到困惑。为什么下面的代码会导致内存错误? 我得到了这两个错误之一…第一个是在节点的解释器中运行此代码时,第二个是通过nodeunit运行它时: 严重错误:CALL_AND_RETRY_2分配失败-内存不足 严重错误:JS分配失败-内存不足 问题答案: 当我尝试访问阵列时会发生这种情况。但是获取长度却没有。

  • 问题内容: 今天,我运行了用于文件系统索引编制的脚本,以刷新RAID文件索引,并在4小时后崩溃并出现以下错误: 服务器配备16GB RAM和24GB SSD交换。我非常怀疑我的脚本是否超过了36gb的内存。至少不应该 脚本使用文件元数据(修改日期,权限等,无大数据)创建存储为对象数组的文件索引 过去,我曾经用此脚本经历过奇怪的节点问题,这使我不得不这样做。在处理诸如String之类的大文件时,由于

  • 我正在PyTorch中运行一个评估脚本。我有许多经过训练的模型(*.pt文件),我将其加载并移动到GPU,总共占用270MB的GPU内存。我使用的批量大小为1。对于每个示例,我加载一个图像并将其移动到GPU。然后,根据样本,我需要运行一系列经过训练的模型。有些模型以张量作为输入和输出。其他模型的输入是张量,输出是字符串。序列中的最终模型总是有一个字符串作为输出。中间张量临时存储在字典中。当模型使用

  • STS不断崩溃,项目文件夹中的日志如下: 它始于我使用Winmerge比较和修改STS之外的java、pom和属性文件时

  • 我是刚到爪哇的。我只是试图了解如何处理堆内存溢出及其原因。有人能在下面的代码中帮助我为什么它会抛出这个错误吗。我怎么能避免。 错误: 线程“main”Java.lang.OutOfMemoryError中出现异常:Java.util.arrays.copyof(arrays.Java:2361)在Java.lang.AbstractStringBuilder.ExpandCapacity(Abst