当前位置: 首页 > 知识库问答 >
问题:

线程消耗的内存

暴乐邦
2023-03-14

我需要监控应用程序生成的线程所消耗的内存量。如果贪婪的线程占用了太多内存,那么我们可以采取纠正措施。我提到了我的java线程需要多少内存?。关于该链接的建议之一是在ThreadMXBean中使用getThreadAllocatedBytes 我用以下作业试验了getThreadAllocatedBytes。

List<Long> primes = new ArrayList<Long>();
long i = 0;
while (true) {
            primes.add(++i);
            if ((i % 10) == 0) {
                primes.clear();
                System.runFinalization();
                System.gc();
            }
        }

我在四个线程上运行了相当长的时间。虽然作业不会连续累积内存,但getThreadAllocatedBytes返回的值会不断增加,甚至不会下降一次。这意味着getThreadAllocatedBytes不会返回线程使用的堆上的实际内存量。它返回自线程启动以来在堆上为其分配的内存总量。我的平台详细信息如下:

Linux PG85213。egi。爱立信。com 3.5.0-030500-generic#201207211835 SMP Sat Jul 21 22:35:55 UTC 2012 x86\u 64 x86\u 64 GNU/Linux java version“1.7.0\u 45”
java(TM)SE运行时环境(build 1.7.0\u 45-b18)java HotSpot(TM)64位服务器虚拟机(build 24.45-b08,混合模式)

上述行为是getThreadAllocatedBytes的期望行为吗?如果是这样,是否没有办法在线程使用的堆上找到有效的内存。

我列出了完整的程序供参考:

package workbench;

import java.lang.management.ManagementFactory;
import com.sun.management.ThreadMXBean;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.Executors;
import java.util.logging.Level;
import java.util.logging.Logger;

public class AnotherWorkBench {

private static final CountDownLatch latch = new CountDownLatch(4);
static final List<Long> threadIds = Collections.synchronizedList(new ArrayList<Long>());

private void dummyJob() {
    List<Long> primes = new ArrayList<Long>();
    long i = 0;
    while (true) {
        primes.add(++i);
        if ((i % 10) == 0) {
            primes.clear();
            //introduce sleep to prevent process hogging 
            try {
                Thread.currentThread().sleep(2000);
            } catch (InterruptedException ex) {
                Logger.getLogger(AnotherWorkBench.class.getName()).log(Level.SEVERE, null, ex);
            }
            System.runFinalization();
            System.gc();
        }
    }
}

private void runDummyJobs() {

    Runnable dummyJob = new Runnable() {
        @Override
        public void run() {
            threadIds.add(Thread.currentThread().getId());
            latch.countDown();
            dummyJob();
        }
    };

    Runnable memoryMonitorJob = new Runnable() {
        @Override
        public void run() {

            System.out.println(Thread.currentThread().getName() + " : Monitor thread started");
            ThreadMXBean threadMxBean = (ThreadMXBean) ManagementFactory.getThreadMXBean();
            threadMxBean.setThreadAllocatedMemoryEnabled(true);

            while (true) {
                for (Long threadId : threadIds) {
                    System.out.println(Thread.currentThread().getName() + " : Thread ID : " + threadId + " : memory = " + threadMxBean.getThreadAllocatedBytes(threadId) + " bytes");
                }

                //wait between subsequent scans
                try {
                    System.out.println(Thread.currentThread().getName() + " : secondary sleep");
                    Thread.currentThread().sleep(5000);
                    System.out.println(Thread.currentThread().getName() + " : out of secondary sleep");
                } catch (InterruptedException ex) {
                    Logger.getLogger(WorkBench.class.getName()).log(Level.SEVERE, null, ex);
                }
            }


        }
    };

    Executors.newSingleThreadExecutor().submit(dummyJob);
    Executors.newSingleThreadExecutor().submit(dummyJob);
    Executors.newSingleThreadExecutor().submit(dummyJob);
    Executors.newSingleThreadExecutor().submit(dummyJob);

    try {
        latch.await();
    } catch (InterruptedException ex) {
        Logger.getLogger(AnotherWorkBench.class.getName()).log(Level.SEVERE, null, ex);
    }
    Executors.newSingleThreadExecutor().submit(memoryMonitorJob);
}

/**
 * @param args the command line arguments
 */
public static void main(String[] args) {
    new AnotherWorkBench().runDummyJobs();
}
}

共有2个答案

羊渝
2023-03-14

JavaVisualVM可用于“监控本地应用程序并查看内存堆、线程活动和Java虚拟机(JVM)中加载的类上的实时高级数据。监控应用程序会带来较低的开销,并且可以长时间使用。”

另请参阅如何监视Java内存使用?其他可能性。

林正平
2023-03-14

据我所知,在运行时没有可靠的方法可以做到这一点。正如在源代码问题中指出的那样,堆是一个共享资源,因此单个线程的堆大小没有意义,因为它将与来自其他线程的对象引用重叠。

也就是说,当我确实想知道单个线程的“保留”大小时,是的,保留大小与您要求的度量不同但相似,然后我通过进行堆转储然后使用MAT(http://www.eclipse.org/mat/)来做到这一点。

我知道人们使用Java代理来检测对象的分配,然后使用弱引用来监控它何时得到GC'd。然而,这样做对性能的影响很大。非常高。

您最好在运行时和单元测试中使用启发式方法来确保内存保持在范围内。例如,您可以使用JMX来监控堆大小,当您看到旧的gen正在增长时,您可以发出警报。使用getThreadAllocatedBytes计算分配率也可能很有用。

良好的运行时监控工具:appdynamics、newrelic、visualvm和yourkit

对于离线内存分析,mat和jclarity非常好。

一个非常有用的工具可以帮助确定是否存在泄漏,或者至少运行与预期不同,它可以打印每个类当前在堆上的实例数:jcmd

 类似资料:
  • 问题内容: 我需要监视应用程序产生的线程消耗的内存量。如果贪婪的线程消耗太多内存,则想法是采取纠正措施。我已提到Java线程占用多少内存?。关于该链接的建议之一是在我尝试以下工作时使用。 我在四个线程上运行了很长时间。尽管作业不会连续地累积内存,但是所返回的值会不断增加,甚至不会下降。这意味着不会返回线程使用的堆上的实际内存量。它返回自线程启动以来在堆上为线程分配的内存总量。我的平台详细信息如下:

  • 问题内容: 我的问题: 当线程处于状态(非休眠)> 99.9%的时间时,JVM中的大量线程是否会消耗大量资源(内存,CPU)吗?当线程正在等待时,如果根本需要维护它们,需要花费多少CPU开销? 答案是否也适用于与非JVM相关的环境(例如linux内核)? 内容: 我的程序收到大量占用空间的程序包。它在不同的程序包中存储相似属性的计数。在收到包裹后的给定时间(可能是数小时或数天)之后,该特定包裹将过

  • 关于Java应用程序使用的驻留内存,我有两个问题。 一些背景细节: 我用-xms2560m-xmx2560m设置了一个java应用程序。 java应用程序在容器中运行。k8s允许容器最多消耗4GB. 堆:应用程序的工作方式似乎是使用所有内存,然后释放,然后使用等等。 这张快照说明了这一点。Y列是空闲堆内存。(由应用程序通过)提取) 我还可以使用HotSpotDiagnosticMXBean来确认它

  • 不是内存泄漏或类似的问题,因为第一次连接后内存使用量不会增加,所以优化可能是加载更少的模块或做一些不同的事情...

  • 问题内容: 给定的:使用Android Studio向导创建的简单Activity, 内部没有任何自定义代码 ,会永久占用调用dumpGfxInfo()的内存。 Android Studio在Allocation Tracker中的构建至少揭示了 三个 相同的线程: 显然,dumpGfxInfo()通过为空字符串分配内存来消耗内存。编译中唯一相关的依赖项是 com.android.support:

  • 问题内容: 当我尝试对我的RDD进行cache()或持久化(MEMORY_ONLY_SER())时,我的Spark集群挂起。它运行良好,并在大约7分钟内计算出结果。如果我不使用cache()。 我有6个c3.xlarge EC2实例(4个内核,每个7.5 GB RAM),总共提供24个内核和37.7 GB。 我在master上使用以下命令运行应用程序: SPARK_MEM = 5g MEMORY_