ReadLock=Changed时的Camel文件组件吞吐量

Question

    <route>
        <from uri="file:inbox?readLock=changed&amp;readLockCheckInterval=3000"/>
        <log message="copying ${file:name}"/>
        <to uri="file:outbox"/>
    </route>

for n in $(seq 1 100); do (echo line 1; sleep 2; echo line 2) > inbox/$n & done

面对网络延迟，如何在不牺牲完整性的情况下提高吞吐量？

Answer 1

如果生产者比使用者快，而你想跟上，你必须并行文件消耗。您可以通过多次部署使用者来实现这一点，所有这些都轮询同一个文件夹。这样，您可以并行处理与使用者实例相同数量的文件。

然而，分布式文件使用者有一个新的问题：多个分布式文件使用者可以尝试同时使用同一个文件。

为了解决这个问题，您需要使用分布式幂等存储库来确保同一文件不会在所有实例中多次使用。