如何根据数百条规则合并apache beam/dataflow中的相关记录？

Question

示例数据

Source System 1:
{userid = 123, first_name="John", last_name="Smith", many other columns...}

Source System 2:
{userid = EFCBA-09DA0, fname="J.", lname="Smith", many other columns...}

• 我可以使用大约100条规则将一条记录与另一条记录进行比较，以查看源系统1中的客户是否与源系统2相同。
• 某些规则可以推断记录值并将数据添加到关于客户的主记录中。
• 因为某些规则可能会向任何特定记录推断/添加数据，所以当记录更改时，必须再次应用这些规则。
• 我们每天有数百万条记录，我们必须统一

Apache波束/数据流实现

null

null

或者也许有一个更标准的方法来解决这类问题。

Answer 1

从我目前所能读到的情况来看，很难说什么解决方案最适合你。我会试着把这个问题进一步分开，试着分别处理不同的方面。

据我所知，目标是将不同来源中表示相同事物的匹配记录组合在一起：

• 记录来自多个来源：
  • 逻辑上是相同的数据，但格式不同；
  null
  null

  对我来说，这看起来很高，在这个细节层面上可能没有单一的“正确”解决方案。

  我可能会尝试通过首先更详细地理解它来解决这个问题（也许你已经这样做了），很少想到：

  • 数据的属性是什么？
    • 有图案吗？例如。当一个系统发布某些内容时，是否期望其他系统发布其他内容？
    null
    null
    null