ActiveMQ Artemis产生/消耗延迟问题

Question

我一直在监视我的微服务应用程序的端到端延迟。每个服务通过ActiveMQ Artemis队列松散耦合。

-------------     -------------     -------------
| Service 1 | --> | Service 2 | --> | Service 3 |
-------------     -------------     -------------

服务1作为HTTPendpoint侦听并生成队列1。服务2从队列1消费，修改消息，并生成到队列2。服务3从队列2消耗。每个服务在单独的表中向db插入一行。从那里我还可以监视延迟。因此，“端到端”将进入“服务1”，并从“服务3”中出来。

每个服务处理时间保持稳定，并且大多数消息具有几毫秒的合理e2e延迟。我使用400请求/秒的JMeter以恒定的速率生产，我可以通过Grafana监控这一点。

java -jar destination-bench.jar --persistent --bytes 1000 --protocol artemis --url tcp://localhost:61616?producerMaxRate=100 --out /tmp/test1.txt --name q6 --iterations 5000000 --runs 1 --warmup 20000 --forks 4 --destinations 1 

编辑/更新我已经运行了几次测试，这是一个较短运行的输出。

java -jar destination-bench.jar --persistent --bytes 1000 --protocol artemis --url tcp://localhost:61616?producerMaxRate=100 --out ~/test-perf1.txt --name q6 --iterations 400000 --runs 1 --warmup 20000 --forks 4 --destinations 1

结果如下

 RUN 1   EndToEnd Throughput: 398 ops/sec
**************
EndToEnd SERVICE-TIME Latencies distribution in MICROSECONDS
mean              10117.30
min                 954.37
50.00%             1695.74
90.00%             2637.82
99.00%           177209.34
99.90%           847249.41
99.99%           859832.32
max             5939134.46
count              1600000

JVM线程状态是我注意到的，在我的实际系统中，在代理上有很多等待时间的线程，如果有尖峰，推到队列的延迟似乎会增加。

Answer 1

我启动了一个新的默认ActiveMQ Artemis 2.17.0实例，克隆并构建了artemis-load-generator（对处理时间超过1秒的消息进行了修改，可以立即发出警报），然后运行您运行的相同命令。我让测试在我的本地机器上运行了大约一个小时，但我没有让它完成，因为它将花费超过3个小时（以每秒400条消息的速度运行500万条消息）。在大约100万条信息中，我只看到了一条“异常值”--当然没有接近你看到的10%。值得注意的是，在这段时间里，我仍然在使用我的电脑进行正常的开发工作。

在这一点上，我不得不把这归因于某种环境问题，例如：

• 垃圾收集
• 低性能磁盘
• 网络延迟
• 不足的CPU、RAM等