apache beam中的组合vs ParDo
共有1个答案
MapReduce仅限于形状为Map-Shuffle-Reduce的图，其中Reduce是一个元素操作，就像map一样，仅通过跟随shuffle来区分。
在Apache Beam中，可以具有任意拓扑结构，例如。
Map-Map-Shuffle-Map-Shuffle-Map-Map-Shuffle-Map
因此，根据洗牌后的阶段来划分阶段的概念不再成立。（Beam分别调用map/shuffle、ParDo和GroupByKey。）
组合操作是一种特殊的映射操作，它被认为是关联的（比如sum、max等，但它们可能要复杂得多），它允许我们在洗牌之前推进部分工作，例如。
Shuffle-Sum
变成
PartialSum-Shuffle-Sum
（大多数MapReduce系统也有这种概念，称为组合或半缩减或类似的概念。）
-
我有一个数据流工作，将单个文件分割成x个记录（表）。这些流在bigQuery没有问题。 不过，我发现没有办法在结果出来后执行管道中的另一个阶段。 举个例子 根据上述内容，我希望运行以下内容： 是有无论如何运行管道的另一个部分后，up到bigQuery或这是不可能的？提前感谢。
-
我试图在Apache Beam中使用BigtableIO的运行时参数来写入BigTable。 我创建了一个从 BigQuery 读取并写入 Bigtable 的管道。当我提供静态参数时，管道工作正常（使用 ConfigBigtableIO 和 ConfigBigtableConfiguration，请参阅此处的示例 - https://github.com/GoogleCloudPlatform/
-
我在读一篇关于OOP中的关系、关联、组合、聚合等的文章。有些事情令人困惑 因此，在PHP中，我们调用以下代码组合 在阅读了几篇关于作文的文章后 以下是组成示例： 因此，根据我的理解，聚合意味着A类的对象可以存在于B类之外，而组合意味着A类生命周期的对象取决于B类。 我正确理解了吗？
-
提前谢了。
-
因为聚合和组成是相关的关联，或者我们可以说它给出了对对象或其他任何东西之间关系的理解。 我发布这个问题是因为我在采访中问了一个问题，什么是组成和聚合。 所以根据我的理解，我给出了我的想法，如下所示。 http://www.coderanch.com/t/522414/java/java/Association-Aggregation-Composition 聚集、关联和组合 Java中的关联、聚合
-
问题内容： 我试图理解这些术语的含义。我举了一些例子，例如： 汇总：Facebook 有一个 用户 组成：facebook 中的 每个用户 都有一个 会话。 协会：人们 使用 浏览器 但是我对 具有 和 使用我的 示例感到困惑。为什么不能是用户 使用 Facebook帐户或Facebook 使用 会话来认证用户？ 就OOP而言，这是错误的吗？我在哪里想念这个概念？ 问题答案： 该 使用 关系意味着
-
请考虑以下情况: 我如何在类图上表示< code>A和< code>B之间的关系？如果< code>B只保存一个< code>A(而不是一个数组)，我会使用组合/聚合，但是在这种情况下，我不确定应该做什么。非常感谢你的帮助！
-
我有一本字典。 我想找到两个元素的组合，其中每个元素必须来自不同的判决键。 例如：就是这样的组合，而不是这样的组合。 我已经试过这个了 但是它给了和两个不同的组合，但是我只想要其中一个。