云数据流/波束-PCollection查找另一个PCollection

Question

a）从有界源读取，在数据流中运行时，PCollection的大小可以有多大？b）当处理大数据时，假设PCollection的大约5000万个数据试图查找另一个PCollection的大约1000万个数据。这能做到吗？beam/dataflow的性能有多好？在一个ParDo函数中，假设我们只能传递一个输入并返回一个输出，如何基于两个输入数据集执行查找？我试图查看Dataflow/beam，类似于任何其他ETL工具，在那里简单的查找可能会创建一个新的PCollection。请提供任何代码片段，这可能会有所帮助。

我也看到了侧输入功能，但是侧输入真的能容纳那个大数据集吗？

Answer 1

您绝对可以使用侧输入来实现这一点，因为侧输入可能任意大。

在Java中，您可以执行如下操作：

Pipeline pipeline = Pipeline.create(options);
PCollectionView<Map<...>> lookupCollection = pipeline
   .apply(new ReadMyLookupCollection())
   .apply(View.asMap());


PCollection<..> mainCollection = pipeline
    .apply(new ReadMyPCollection())
    .apply(
        ParDo.of(new JoinPCollsDoFn()).withSideInputs(lookupCollection));

class JoinPCollsDoFn<...> extends DoFn<...> {
  @ProcessElement
  public void processElement(ProcessContext c) {
    Map<...> siMap = c.sideInput(lookupCollection);
    String lookupKey = c.element().lookupKey;
    AugmentedElement result = c.element().mergeWith(siMap.get(lookupKey))
    c.output(result);
  }
}

FWIW，这有点伪代码，但它是您想要做的事情的一个片段。如果你想进一步澄清，请告诉我。