ApacheCamel:GB数据从数据库路由到JMSendpoint

Question

我现在已经在camel中做了一些小项目，但有一件事我很难理解，那就是当在camel路线上消费时，如何处理大数据(这不适合内存)。

我有一个包含几GB数据的数据库，我想使用骆驼进行路由。显然，将所有数据读入内存不是一种选择。

如果我是作为一个独立的应用程序这样做的，我会有代码来分页数据并将块发送到我的JMS enpoint。我想使用骆驼，因为它提供了一个很好的模式。如果我从文件中消费，我可以使用流（）调用。

我也应该使用 camel-sql/camel-jdbc/camel-jpa 还是使用 bean 从我的数据库中读取。

希望大家还和我在一起。我更熟悉JavaDSL，但希望人们能提供任何帮助/建议。

更新日期:2012年5月2日

所以我有一些时间来解决这个问题，我认为我实际上正在做的是滥用生产者的概念，以便我可以在路线中使用它。

public class MyCustomRouteBuilder extends RouteBuilder {

    public void configure(){
         from("timer:foo?period=60s").to("mycustomcomponent:TEST");

         from("direct:msg").process(new Processor() {
               public void process(Exchange ex) throws Exception{
                   System.out.println("Receiving value" : + ex.getIn().getBody() );
               }
         }
    }

}

我的生产者看起来像下面这样。为了清楚起见，我没有包括CustomEndpoint或CustomComponent，因为它看起来只是一个薄薄的包装器。

public class MyCustomProducer extends DefaultProducer{ 

    Endpoint e;
    CamelContext c;

    public MyCustomProducer(Endpoint epoint){
          super(endpoint)   
          this.e = epoint;
          this.c = e.getCamelContext();
    }

    public void process(Exchange ex) throws Exceptions{

        Endpoint directEndpoint = c.getEndpoint("direct:msg");
        ProducerTemplate t = new DefaultProducerTemplate(c);

        // Simulate streaming operation / chunking of BIG data.
        for (int i=0; i <20 ; i++){
           t.start();
           String s ="Value " + i ;                  
           t.sendBody(directEndpoint, value)
           t.stop();         
        }
    }
} 

首先，上面看起来不太干净。执行此操作的最干净的方法似乎是通过调度石英作业填充jms队列（代替direct:msg），然后我的骆驼路由使用该作业，这样我就可以在骆驼管道中接收到的消息大小上具有更大的灵活性。然而，我非常喜欢将基于时间的激活设置为Route的一部分的语义。

有没有人对这样做的最佳方式有什么想法。

Answer 1

在我看来，你需要做的就是：

from("jpa:SomeEntity" + 
    "?consumer.query=select e from SomeEntity e where e.processed = false" +
    "&maximumResults=150" +
    "&consumeDelete=false")
.to("jms:queue:entities");

maxumResults 定义每个查询获取的实体数的限制。

当你完成一个实体实例的处理时，需要设置< code > e.processed = true并< code>persist()它，这样实体就不会被再次处理。

一种方法是使用@Consumed注释：

class SomeEntity {
    @Consumed
    public void markAsProcessed() {
        setProcessed(true);
    }
}

您需要注意的另一件事是在将实体发送到队列之前如何序列化实体。您可能需要在 from 和 to 之间使用丰富器。