ConcurrentLinkedQueue$Node 实例增长，JVM 抛出 OOM

Question

我在生产者-消费者场景中使用 ConcurrentLinkedQueue。我的生产者是一个由我的应用程序中的所有方法调用的单例：Producer.getInstance（）.add（“foo”）;add（） 方法调用 ConcurrentLinkedQueue offer 方法。

public void add(String message) {
    myQueue.offer(message);
}

否则，我会让我的消费者在另一个线程中运行，并简单地在生产者内部的并发链接队列上调用轮询方法。

编辑：

在if（（缓冲区=myQueue.poll ()) ! = 空）{}之间添加代码

CRActiveMQProducer是一个单例，它初始化与我的ActiveMQ服务器的连接并使用send（）方法发送消息。

private StringBuffer stringBuffer = new StringBuffer();

public void run() {
    while(condition) {
        String buffer = null;
        if ((buffer = myQueue.poll()) != null) {
            stringBuffer.append(buffer);
            numberMessage++;
            if (numberMessage >= 10000) {
                CRActiveMQProducer.getInstance().send(stringBuffer.toString());
                stringBuffer = stringBuffer.delete(0, stringBuffer.length());
                numberMessage = 0L;
            }
        }
    }
} 

我调用 Producer add（） 方法就像 5000 万次一样（是的，它很大，但它只是应该完成的调用数量的 2，5%）

无论如何，我得到了一个OutOfMemory异常，我尝试用VisualVM读取堆转储，我发现这个OOM是由大量的ConcurrentLinkedQueue$Node实例(超过3000万个)引起的。我想我对每个offer()或poll()方法调用都有一个新的节点，但不是100%确定(不能加载完整的堆转储...).

您认为这是ConcurrentLinkedQueue的正常行为吗？还是我做错了什么？谢谢

Answer 1

几个建议：

< li >为您的应用程序添加更多内存。尝试类似于< code>-Xmx2g的内容 < li >尝试添加额外的线程以从队列中读取数据 < li >尽快完成“使用缓冲区做点什么” < li >将“用缓冲区做点什么”剥离到它自己的线程中(可能使用线程池),以防止它阻塞从队列中读取更多内容

你有没有对读者服务中的所有内容进行计时，看看需要多长时间？如果你真的把东西放在队列上的速度快于你能读完的速度，那么你就需要找到加快读取器速度的方法。你的记忆力不足只是真正问题的副作用。问题是你处理排队工作的速度不够快。

Answer 2

队列显然必须存储你放在队列中的所有元素，它使用相互链接的节点来做到这一点。这就是链接队列的原则。你的生产者生产itels太快了，消费者没有时间消费它们，所以最终，你得到了一个OOM。

您应该考虑使用绑定的BlockingQueue：当队列包含太多元素时，它会强制生产者线程阻塞，从而避免OOM。