Apache Camel的幂等消费者模式可伸缩吗？

Question

我正在使用Apache Camel2.13.1轮询一个数据库表，其中将有300k行以上。我希望使用幂等使用者EIP来过滤已经处理过的行。

不过，我想知道这个实现是否真的是可伸缩的。我的骆驼上下文是：-

<camelContext xmlns="http://camel.apache.org/schema/spring">
        <route id="main">
        <from
            uri="sql:select * from transactions?dataSource=myDataSource&amp;consumer.delay=10000&amp;consumer.useIterator=true" />
        <transacted ref="PROPAGATION_REQUIRED" />
        <enrich uri="direct:invokeIdempotentTransactions" />                
        <!-- Any processors here will be executed on all messages -->
    </route>

    <route id="idempotentTransactions">
        <from uri="direct:invokeIdempotentTransactions" />
        <idempotentConsumer
            messageIdRepositoryRef="jdbcIdempotentRepository">
            <ognl>#{request.body.ID}</ognl>
            <!-- Anything here will only be executed for non-duplicates -->
            <log message="non-duplicate" />
            <to uri="stream:out" />
        </idempotentConsumer>
    </route>            
</camelContext>

 {1908988=null}

在1908988是request.body.id的情况下，我已经将EIP设置为键上，所以这并不容易合并到我的查询中。

是否有更好的方法将CAMEL_MESSAGEPROCESSED表用作select语句的反馈循环，以便SQL server执行大部分负载？

更新：

<el>${in.body.ID}</el>

select * from transactions tr where tr.ID IN (select cmp.messageid from CAMEL_MESSAGEPROCESSED cmp where cmp.processor = 'transactionProcessor')

Answer 1

是的，是的。但是您需要使用可伸缩存储来保存已处理的消息集。您可以使用Hazelcast-http://camel.apache.org/Hazelcast-idempotent-repository-tutorial.html或Infinispan-http://java.dzone.com/articles/clustered-idempotent-consumer-这取决于您的堆栈中已经有哪个解决方案。当然，JDBC存储库可以工作，但前提是它满足所选的性能标准。