有效识别差异

Question

每天，我们都会收到来自不同供应商的不同格式（CSV，XML，自定义）的巨大文件，需要将其上传到数据库中进行进一步处理。

问题在于这些供应商将发送其数据的完整转储，而不仅仅是更新。在某些应用程序中，我们仅需要发送更新（即，仅更改记录）。当前，我们要做的是将数据加载到临时表中，然后将其与以前的数据进行比较。这非常缓慢，因为数据集非常庞大，而且我们有时会缺少SLA。

有没有更快的方法来解决此问题？任何建议或帮助，不胜感激。我们的程序员用尽了所有的想法。

Answer 1

在完整的转储数据集中，有多种模式可用于检测增量，即更改的记录，新的记录和已删除的记录。

我所见过的一种更有效的方法是，为已有的数据行创建哈希值，在数据库中创建导入的哈希值，然后将现有的哈希值与传入的哈希值进行比较。

主键匹配+哈希匹配=不变的行

主键匹配+哈希不匹配=更新的行

传入数据中的主键，但现有数据集中缺少主键=新行

主键不在输入数据中，而在现有数据集中=已删除的行

哈希的方式因数据库产品而异，但是所有主要的提供程序中都有某种可用的哈希。

优点是仅需比较少量字段（主键列和哈希），而不需要通过字段分析来比较一个字段。即使是很长的哈希，也可以很快地进行分析。

这将需要对导入处理进行一些返工，但是花费的时间将一次又一次地提高处理速度。