服务器端修改配置文件apache-activemq-xxx/conf/activemq.xml
1. 内存使用率过高
添加属性,单位是毫秒,它会阻塞指定的时间,如果超过了这个时间还是没有可用的内存,则会发送异常给客户端,其配置如下 :
<systemUsage>
<systemUsage sendFailIfNoSpaceAfterTimeout="3000"> <memoryUsage>
<memoryUsage limit="20 mb"/> </memoryUsage>
</systemUsage>
增加虚机内存,增加容器应用的内存预留,升级应用
2. 硬盘空间使用量告警问题
当prometheus监控到activemq_store_usage_ratio指标告警,则反映持久化消息几乎占满硬盘,分配的硬盘空间使用量接近耗尽, 此时生产者阻塞,但消费者可正常连接并消费消息,等消息消费掉一部分,文件删除又腾出空间之后,生产者又可继续发送消息,服务自动恢复正常
报错日志: Usage Manager Store is Full, 100% of xxxx. Stopping producer
原因分析:
如果持久订阅者很多,有几个一直不在线,则导致db-.log文件中的持久化消息一直保留,只有所有持久订阅者上线后才会删除db-.log , 若是有很多持久订阅者不在线,分配的磁盘就可能撑爆
解决办法:
检查持久订阅者是否异常下线,增加硬盘分配
<storeUsage> <!-- 持久化消息占用硬盘大小 --> <storeUsage limit="100 gb"/> </storeUsage>
3. 临时文件硬盘空间使用量告警问题
当prometheus监控到activemq_temp_usage_ratio指标告警,则反映产生的非持久化消息过多使得分配的临时文件硬盘空间使用量达到上限
解决办法:
在/opt/apache-activemq-5.14.3/conf/activemq.xml文件中增加临时硬盘分配
<tempUsage><!-- 非持久化消息占用硬盘大小 --><tempUsage limit="50 gb"/></tempUsage>
4. 监控到ActiveMQ的未消费消息数量告警问题
当prometheus监控到activemq_queue_queue_size(队列的未消费消息数量)或activemq_topic_queue_size(某主题订阅者未消费消息数量)指标告警,则反映未被消费的消息数量过多,pending消息堆积则可能导致activemq的整体性能下降
解决办法:
设置消息的全局过期时间,在broker节点下增加如下的配置
<plugins>
<!-- 86,400,000ms = 1 day -->
<timeStampingBrokerPlugin ttlCeiling="10000" zeroExpirationOverride="10000"/>
</plugins>
ttlCeiling表示过期时间上限(程序写的过期时间不能超过此时间,超过则以此时间为准) zeroExpirationOverride表示过期时间(给未分配过期时间的消息分配过期时间)
消息过期后会进入死信队列,AcitveMQ提供了一个便捷的插件DiscardingDLQBrokerPlugin来抛弃死信队列或主题,配置如下
<plugins>
<!-- 丢弃所有死信-->
<discardingDLQBrokerPlugindropAll="true" dropTemporaryTopics="true" dropTemporaryQueues="true" />
</plugins>
5. 超过最大客户端连接数问题
当连接到activemq的生产者消费者客户端超过一定数量,data目录下的activemq.log,发现报错
| ERROR | Could not accept connection : org.apache.activemq.transport.tcp.ExceededMaximumConnectionsException: Exceeded the maximum number of allowed client connections.
解决办法: 修改对应协议的参数
<transportConnector name="mqtt" uri="mqtt://0.0.0.0:1883?maximumConnections=100&wireFormat.maxFrameSize=104857600"/>
6. Activemq内存分配问题
配置内存分配:
<systemUsage>
<!-- 非持久化消息占用Jvm内存大小 -->
<memoryUsage percentOfJvmHeap="70" /></memoryUsage>
<!-- 持久化消息占用硬盘大小 -->
<storeUsage limit="100 gb"/></storeUsage>
<!-- 非持久化消息占用硬盘大小 -->
<tempUsage limit="50 gb"/></tempUsage>
</systemUsage>
7. 订阅者下线问题
ActiveMQ InactivityMonitor是一个活动线程,用于检查连接是否仍处于活动状态,如果默认30秒钟内未从连接中写入或读取任何数据,则InactivityMonitor将启动 InactivityMonitor引发InactivityIOException并关闭与该连接关联的传输。将导致以下调试日志记录
在建立连接的Uri中加入<wireFormat.maxInactivityDuration=0>,关闭不活动状态监测
<transportConnectors>
<transportConnector name="openwire" uri="tcp://0.0.0.0:61616?wireFormat.maxInactivityDuration=0>
</transportConnectors>