DataFlow/Apache光束核心转换

Question

apachebeam中的核心转换（Map、Filter、flatte）是否使用并行处理来处理数据元素，如果是，具体什么时候应该使用ParDo转换？

Answer 1

我会给你推荐apache_beam文档。

核心束变换

简单地说，当您有一个“用户定义函数”要应用于管道时，您可以使用ParDo，例如，您希望将段落中的每个句子拆分为单个单词。您可能希望应用split（）函数，但split（）不是核心束变换之一，因此ParDo允许您将其偷偷引入。

Answer 2

Beam实现了Map和Reduce的概念。所有“映射”操作，这意味着可以执行单一操作（过滤器、映射等），可以并行完成（在具有不同线程的同一服务器上或在不同服务器上）。

比较一组（PCollection）值所需的所有“REDUCE”操作都在同一服务器/线程上执行。

因此，在对PCollection中的单个条目执行酉操作时，请使用ParDo。