Apache Camel拆分大文件

Question

我有一个骆驼路由，它需要将一个大文件（600k行ID）拆分为600k个单独的消息，然后将它们推送到Activemq队列中。我如何从骆驼侧优化路线以提高吞吐量？我目前达到了到AMQ的大约150个消息/秒的吞吐量。以下是当前的路线。如有任何建议，不胜感激！

from("file://directory")
  .split().jsonpath("$.ids").streaming().parallelProcessing()
  .log(LoggingLevel.INFO, "Split: ${body}")
  .to("activemq:queue:myqueue");

Answer 1

首先，正如@bedla所指出的，将连接池化（即将连接工厂包装在org.apache.activemq.Pool.PooledConnectionFactory)！根据网络条件、消息大小等，它很可能使您在x10到x100范围内提高吞吐量，对于较小的消息更多。

然后，在寻找吞吐量时，将每一个600k行转储到日志文件中不会对任何人有任何不利影响。将其移除或至少将其置于跟踪/调试级别。

如果您的代理位于其他地方，比如世界上的其他地方，或者通常网络延迟很差的地方，请考虑在ConnectionFactory设置上使用异步调度。它不会等待每个发送的消息的确认往返。

最后，如果上面的任何一种方法都不能给出令人满意的结果（我认为只有一个池才可以），那么就关闭消息持久性。代理磁盘可能是低规格/旧服务器的瓶颈。甚至还可以通过调整来增强某些操作系统/存储组合的性能。