如何区分两个PCollection Apache Beam

Question

我是Apache Beam的新手。

基本上，我有两个PCollection，每个都包含多个DataRecords，定义为：

class DataRecord {
    private String id;
    .......
}

每条记录都有一个id和多个数据字段。

我有两个收藏：

PCollection<DataRecord> p1 = pipeline.apply(...);
PCollection<DataRecord> p2 = pipeline.apply(...);

我需要找出：

• p1中存在但p2中不存在的数据记录

DataRecord只能通过其id字段进行区分。

到目前为止，我所做的是将两个PCollection实例转换为PCollection

PCollection<KV<String, DataRecord>> pkv1
PCollection<KV<String, DataRecord>> pkv2

然而，由于PCollection不允许通过键进行访问，我不知道如何像在Java中一样区分这两个映射。

有人能给我指出正确的方向吗？

Answer 1

您可以为您的用例更简单地实现它，而不需要间接层：

• 使用CoGroupByKey收集具有相同id的元素
• 对结果使用ParDo过滤仅出现在pkv1
中的元素

在Beam SQL代码库中，实际上有一些代码可以做到这一点，但您可以针对您的用例更简单地完成这一点，而无需太多间接操作。

最有效的实现将取决于集合的大小以及有多少元素可能有命中。另一个要尝试的算法是

• 使用查看。asMap（）从pkv2生成查找表