DoFn之间的区别是什么。设置和DoFn。开始付费？

Question

DoFn. Setup用于准备处理元素包的实例的方法的注释。

使用单词“bundle”，接受零个参数。

DoFn。用于准备实例以处理一批元素的方法的StartBundle注释。

使用单词“batch”，接受零个或一个参数（StartBundleContext，一种访问管道选项的方法）。

我需要在DoFn实例中初始化一个库，然后对“batch”或“bundle”中的每个元素使用该库。我通常不会对这两个词吹毛求疵，但在管道中，可能会有一些不同？




Answer 1

匿名用户

DoFn的生命周期如下：

• 设置
• 重复处理捆绑包：
  • StartBundle
  • 重复ProcessElement
  • FinishBundle

  一、 e.DoFn的一个实例可以处理多个（零个或多个）bundle，并且在一个bundle中，它可以处理多个（零个或多个）元素。

  安装程序和启动捆绑包都是可选的-可以在不使用它们的情况下实现任何DoFn，并且只在ProcessElement中执行工作，但是效率很低。这两种方法都允许优化：

  • 通常需要在元素之间批处理工作，例如，不是对每个元素执行RPC，而是对N个元素的批执行RPCStartBundle/FinishBundle告诉您批处理的允许边界：基本上，您不允许跨FinishBundle-FinishBundle批处理必须强制刷新批处理（并且StartBundle必须初始化/重置批处理）。这是我所知道的这些方法的唯一常见用法，但如果您对更一般或更严格的解释感兴趣，那么捆绑包是容错的一个单元，并且运行程序假定，当FinishBundle返回时，您已经完成了与该捆绑包中所有元素相关的所有工作（输出元素或执行副作用）；捆之间的作业不得“泄漏”
  • 通常需要管理长期存在的资源，例如网络连接。您可以在StartBundle/FinishBundle中执行此操作，但与挂起的副作用或输出不同，这些资源可以在bundle之间保留。这就是设置和拆卸的目的
  • 通常还需要执行代价高昂的DoFn初始化，例如解析配置文件等。这也最好在设置中完成

  更简洁地说：

  • 在Setup/Teardown中管理资源和昂贵的初始化。
  • 管理StartBundle/FinishBundle中的工作批处理。

  （在捆绑方法中管理资源效率低下；在安装/拆卸中管理批处理显然不正确，并将导致数据丢失）

  DoFn文档最近进行了更新，以使这一点更加明确。