用多线程和通道发布时，线程都被阻塞，rabbitmq
我在我产品环境中发现了一个问题。
我们在一个mq集群中有6个队列，我们有200个线程的线程池（实际上会更多，因为它会在一个独立的线程池中安排一些特殊任务）来处理来自上游的请求，当处理请求时，我会发布一个消息给rabbitmq Broker。
所以我有200个线程将消息发布到这6个队列。
对于每个队列，我将创建一个AMQP连接，对于每个线程，我有一个Channel的threadlocal，这样每个线程都可以有自己的Channel，而不需要同步，因为Channel不是线程安全的。
所以，实际上，我将开放1200个频道。请求的qps在4000/s左右，在某些特定的时间会稍大一些。
DubboServerHandler-10.12.26.124:9000-thread-200 - priority:10 - threadId:0x00007f6708030800 - nativeId:0x680d - state:BLOCKED
stackTrace:
java.lang.Thread.State: BLOCKED (on object monitor)
at com.rabbitmq.client.impl.SocketFrameHandler.writeFrame(SocketFrameHandler.java:170)
- waiting to lock <0x0000000738ad0190> (a java.io.DataOutputStream)
at com.rabbitmq.client.impl.AMQConnection.writeFrame(AMQConnection.java:542)
at com.rabbitmq.client.impl.AMQCommand.transmit(AMQCommand.java:104)
- locked <0x000000074e085338> (a com.rabbitmq.client.impl.CommandAssembler)
at com.rabbitmq.client.impl.AMQChannel.quiescingTransmit(AMQChannel.java:337)
- locked <0x000000074656eeb0> (a java.lang.Object)
at com.rabbitmq.client.impl.AMQChannel.transmit(AMQChannel.java:313)
- locked <0x000000074656eeb0> (a java.lang.Object)
at com.rabbitmq.client.impl.ChannelN.basicPublish(ChannelN.java:686)
at com.rabbitmq.client.impl.ChannelN.basicPublish(ChannelN.java:668)
at com.rabbitmq.client.impl.ChannelN.basicPublish(ChannelN.java:658)
at com.rabbitmq.client.impl.recovery.AutorecoveringChannel.basicPublish(AutorecoveringChannel.java:192)
这是我的jstack报表：http://fastthread.io/my-thread-report.jsp？p=C2HHCMVKLZIWMTGVMDIVMTEVLS0YNJE3OS50EHQTLTMTNTMTMZG=
我的问题是：
1.Why I have different channels to publish but they are all trying acquire the same lock
2.What will be the cause for this since this only happens tens of times in a day
3. Do I use a poor implementations for this? How can I improve it.
共有1个答案
- 查看源代码，每个连接都有一个SocketFrameHandler。套接字帧处理程序在以下https://github.com/rabbitmq/rabbitmq-java-client/blob/master/src/main/java/com/rabbitmq/client/impl/socketframehandler.java中对writeFrame方法中的输出流进行同步。这基本上意味着如果您有200个通道（每个线程一个）共享一个连接，那么由于write方法中的同步，一次只有一个线程能够发送数据。
- 我不确定。您通常每秒向RabbitMQ发送多少消息？一天中是否有发送很少消息的时段，而其他时段发送很多消息？
- 由于SocketFrameHandler中的同步，我认为每个连接有多个线程和通道没有任何好处。尝试重构您的应用程序，以便将需要发送的任何数据提供到内存队列中，一个线程负责从队列中读取数据并将数据发送到RabbitMQ。通过这种方式，您可以有多个线程进行工作并生成数据，而一个线程负责发送数据。
-
我有4-5个工作线程处理大型消息队列。我还有另一段代码，它使用2-3个worker运行。我想在处理大型消息队列时阻止所有其他工作者。 我正在使用JDK6和Jms 编辑： 队列进程工作者从未终止。当没有消息时，它们阻塞队列。这些工作者由执行器线程池管理，如果我使用读写锁，其中一个工作者也会被阻塞。此外，如果使用循环屏障，那么我必须终止线程，以便重新传递阻塞的第二个进程。由于工作者是由线程池管理的，所
-
我不确定为什么所有的线程都被阻塞了。我以为类只加载一次，以后就不需要带任何锁了。
-
我试图用一个自定义对象创建一个新线程，然后从主线程调用这个自定义对象方法。其思想是，主线程可以继续执行其他任务，而自定义对象可以继续在第二个线程中工作： 输出为： 它应该更像这样： 所以主线程被阻塞，直到方法完成。主线程是否在第二个线程中等待完成（作为返回类型为空，我认为情况不会如此）？还是在第一个线程中执行，因此阻塞了它？ 我知道使用下面的代码，我可以在另一个线程中执行，但它每次都会从头开始创建
-
我正在尝试用Python编写一个程序。我想写的是一个脚本，它会立即向用户返回一条友好的消息，但会在后台生成一个长的子进程，它会处理几个不同的文件，并将它们写入一个祖父文件。我已经做了一些关于线程和处理的教程，但我遇到的是，无论我尝试什么，程序都会一直等待，直到子进程完成，然后才会向用户显示前面提到的友好消息。以下是我尝试过的： 线程示例： 我读过这些关于多线程的SO帖子如何在Python中使用线程
-
我们有一个由2个节点a和B组成的集群。 如果我们在节点a上阻止线程的执行（我是通过远程连接到我的VM并放置断点来执行的），那么节点B认为节点a被分段（这是预期的行为）。 在执行上述场景后，节点A上的任何缓存查找都会被卡住，我们永远不会从IGniteCache中获得结果。 我已经编写了一个测试应用程序来重现这个问题。复制这个问题并不困难，但我已经尽力在readme.md中提供了指导 如果你仍然不清楚
-
摘要 本文描述了使用 QEMU 运行 RT-Thread 提供的基于多线程的非阻塞 socket 编程示例。 简介 随着物联网的发展，越来越多产品需要基于网络进行数据传输。在实际开发中，往往要求网络传输时不能阻塞当前线程，以致无法及时处理其他消息。在用户无法直接套用简单的 socket demo 时，RT-Thread 提供基于多线程的非阻塞 socket 编程示例，方便用户进行应用程序开发。 在