Camel JDBC StreamList查询似乎会在拆分之前加载整个结果集

Question

我正在运行一个SQL消费者来读取表中的更改，这很好。然而，有时更改会大量发生，然后我的查询会因为内存溢出错误而中断，这可能是你所期望的。

不幸的是，我被困在Camel 2.17.6上，因此SQL组件的StreamList选项不可用。（尽管根据Camel SQL，为什么使用StreamList似乎会加载所有ResultSet？由于Spring JDBC的限制，它不能作为流列表使用。）

因此，我已经使用JDBC组件重写了我的路由，它支持流列表，当我增加要提取的记录数量时，我仍然会收到内存溢出异常。似乎出于某种原因，JDBC组件试图在传递给拆分器之前提取所有记录。

我现在看到的是这样的形式：

from("timer:timer...")
  .to( "language:constant:resource:classpath:pathToSqlStatement/sqlStatement.sql" )
  .to( "jdbc:msSqlServerDataSource?outputType=StreamList" )
  .split( body() ).streaming()
  .setBody().simple("$body[XMLDOC]")
  .setHeader("HeaderName").xpath("xpath/to/data")
  .to("jms:topic:name");

我最初有一个聚合策略uselateStaggegationStrategy，在split（）之后还有一个额外的步骤，但我已经去掉了它，试图删除可能导致整个查询被保存在内存中的所有内容，但我看不出现在还能做什么。

我注意到，camel jdbc内存不足异常引发了类似的问题，而且似乎没有解决方案。

（我应该注意到，我遇到的内存不足错误确实出现在不同的地方，包括GC开销限制超出了WinNTFileSystem的，我不理解，还有一些与ZippedInputStream有关的错误，我也不理解。）

这是否意味着StreamList也不能在JDBC组件上工作，或者我必须做一些特定的事情来确保JDBC组件不会试图缓存整个结果？




Answer 1

我在postgres上也有类似的问题，但将Transaction放在jdbc查询前面解决了我的问题。

问题的原因是，对于postgres，自动提交标志必须为false才能获得流式结果。在骆驼路线内，唯一的办法似乎是把Transaction放在电话前面。

Answer 2

从v.18. x版本开始，camel-sql支持输出类型。在早期版本中，camel-sql组件将结果集作为列表加载到内存中。我认为在2.17. x版本中无法避免。

通过camel sql组件将结果加载到内存后，聚合/拆分确实适用。

另一个相关的答案。