维护已处理文件列表以防止重复文件处理

Question

我正在寻找解决应用程序中存在的一个问题的设计方法的指导。

我们在Java应用程序中安排了作业，并且使用了Quartz调度器。我们的应用程序可以有数千个作业，这些作业执行以下操作：

1. 扫描文件夹位置以查找任何新文件。
2. 如果有新文件，则启动关联的工作流以处理该文件。

null

如有任何指导，将不胜感激。在我看来，对于持续处理新文件的应用程序来说，这是一个常见的用例--因此需要寻找最佳的方法来解决这个问题。

Answer 1

如果不处理重复文件对您来说非常重要，那么最好的方法是将文件名存储在数据库中。请记住，这可能会很慢，因为您需要查询每个文件名，或者需要查询所有新文件名。

这就是说,如果您愿意处理可能是重复的新文件,可以做一些替代操作：

• 将已处理的文件移动到另一个文件夹，以便您的文件夹始终具有未处理的文件
• 向已处理文件添加自定义属性，并处理不具有该属性的文件。请注意，不是所有文件系统都支持此方法。有关详细信息，请参阅此答案。
• 保留对上次quartz作业启动时间的引用，并处理该时间之后创建的新文件。