集群中的骆驼读锁策略

Question

我们正在尝试使用Apache Camel进行集群。到目前为止，我们在一个节点上完成了它，并且工作得很好。

一个节点：我将readlock策略设置为“changed”，它将跟踪camelLock文件的文件变化，并且只有当文件下载完成时，它才会被拿起进行处理。但是camel readlock策略“已改变”在聚类中是不鼓励的。根据camel文档，建议使用“幂等”。这就是我使用5GB文件进行测试时所发生的情况。

两个节点：我有readlock策略到'idempotent'，它将文件分发到其中一个节点，但是camel甚至在文件下载完成之前就开始处理文件。

当readlock策略是幂等的时候，有没有一种方法可以阻止camel在文件下载之前进行处理？

Answer 1

即使“readlock=changed”和“readlock=idempotent”都导致文件使用者等待，但它们实际上解决了完全不同的用例：“readlock=changed”防止文件不完整（即仍然由某些生产者/发送者写入），“readlock=idempotent”防止文件由两条使用者路径读取。它们是由相同的选项处理的，这有点让人困惑。

首先，解决“已更改”的场景：发送方是否可以更改，以便将文件写入一个目录中，然后在写入完成后，将其复制到文件使用者监视的目录中？如果这是在您的控制下，这是一个让操作系统处理事情的好方法，而不是试图自己处理它。（这并不解决多个读取器的问题。）否则，我建议您恢复到readlock=changed

接下来，在多个读取器上，一个解决办法是只在集群的一个节点上运行此路由。有时这可能会破坏集群的目的，但很有可能您正在启动额外的节点来帮助处理其他路由，并且您可以只在一个节点上运行此特定的路由。做这样的事情有点hack，因为所有节点不再是平等的，但这仍然是一个需要考虑的选项。最简单的方法是用某个环境属性启动一个节点，将其标记为将处理文件读取的节点...或者类似的方法。

如果您确实想要多个节点上的路由，可以从使用“idempotent=true”选项开始，但这本身是不够好的。该选项使用一个存储库，在那里它记录了以前读取过的文件，默认的存储库是内存中的（即每个节点都有自己的）。因此，如果同一个文件实际上被多次接收，并且您希望跳过它，那么默认的实现是很有帮助的。但是，如果希望它跨节点工作，就必须使用不同的存储库。

一个中央存储库可以是数据库。在这种情况下，use可以使用Camel的基于JDBC或JPA的存储库。或者，你可以用像Hazelcast这样的东西。请参阅以下选项：http://camel.apache.org/idempotent-consumer.html